Как лучше хранить статистику?

Т.е. какие преимущества может дать БД?

А смотря сколько ее у тебя и что ты хочешь с ней делать.

Хранить, и при необходимости смотреть всякие распределения. Получать планирую по крону раз в несколько часов.

За постановку вопроса - неуд.

Какую статистику? Какие параметры? Температуру чего? Речь идёт о данных с метеостанции, или из ветеринарной клиники?

Если сортировать не надо, то и БД не нужна.

Ок.

Тогда сразу появляется вопрос о формате хранения.

Для минимизации будущих проблем я бы выбрал sqlite.

Бинарщина ещё как вариант. Смотря сколько данных и как часто ими нужно ворочать.

А я в бинарном самопальном формате храню. Если заранее позаботиться о выравнивании, проблемы возникнут лишь при переходе на тупоконечную архитектуру. А это весьма маловероятно.

В БД хранить если:
1. Нет возможность делать ротацию, например, если нужен поиск по всем данным, допустим за N месяцев или лет.
2. Данных очень много (гигабайты) и нужен случайный доступ к участкам (опять-таки, поиск по всему объему).
3. Очень большой поток данных X записей в секунду, где Х - тысячи (цифра от балды, но принцип, думаю, понятен). Или такой же запрос на выборку.
4. Возможно что-то еще, например, когда много запросов от многих источников, чтобы доступ разруливать, но тут пусть спецы по БД подскажут.

В остальных случаях ИМХО не нужно.

БД имеет смысл заводить, если тебе нужен унифицированный доступ откуда угодно. Это _очень_ важно.

Есть безусловно ещё зависимость от объёма сохраняемых данных.

Для начала я бы советовал определиться средой анализа. Я бы выбирал между R и ROOT (если параметров больше одного естественно, если один, то подойдёт любая рисовалка). А там определился бы с форматом.

Я бы еще добавил, что БД имеет смысл, если не хочется заморачиваться с остро/тупоконечностью и разрядностью целевой архитектуры.

А, это просто: хранить данные в текстовом виде.

1) до фига места занимает
2) долго считывать

Это в фитсах хорошо — там данных немного, можно спокойно в шапке хранить. И то есть проблема: само изображение-то хранится в бинарном виде, поэтому надо проверять «конечность» архитектуры.

1) до фига места занимает

В БД оно занимает тоже дофига места, так что вполне сравнимо, да и при желании текстовый лог можно заархивировать.

2) долго считывать

Медленнее чем из бинарного файла (опять же можно архивацию прямо в программу чтения/записи встроить), но много быстрее чем из БД.

И то есть проблема: само изображение-то хранится в бинарном виде, поэтому надо проверять «конечность» архитектуры.

А что мешает изображение хранить не в бинарном виде? eps же.

В БД оно занимает тоже дофига места

Меньше: в БД ведь хэш идет не на каждое значение, а на запись. Конечно, если хранить по 1-2 32-битных целых числа на запись, в текстовом виде может быть будет компактней.

при желании текстовый лог можно заархивировать

А работать с ним потом как?

много быстрее чем из БД

Сомневаюсь.

Очень большой поток данных X записей в секунду

А не загнётся ли наоборот бд от такого? Ещё кстати есть изощрённый вариант: писать в бд напрямую, прямо в бинарные файлы хранилища. У MyISAM например структура очень простая (но у скулайта например наоборот, очень сложная, я так и не осилил).

Меньше

Компактность никогда не была целью БД. Можешь поизучать ту же документацию к PostgreSQL на предмет рекомендуемого объёма для базы. Тебя ждут неожиданные открытия :)

Просто БД можно поставить отдельно на хорошую машину с большим диском.

Сомневаюсь.

А я нет, так как тестировал в реальности и так и сяк. Чтение файла много быстрее, чем доступ к БД (так как она читает тот же файл, а потом его по сети пересылает в общем случае в ASCII виде). Польза от БД, когда тебе данные нужно сохранять из любого места (я вон libpq на VAX/VMS перетаскивал для этого) и когда данных много. Правда когда данных _очень_ много приходится приглядываться к SciDB, но это совсем другая печенюшка.

А в чём проблема? Всё же кэшируется.

Любопытно, Hierarchical Data Format (HDF) для этого не подходит?

А не загнётся ли наоборот бд от такого?

Я всегда думал что БД заточены под это. Если не они, то что?

Ещё кстати есть изощрённый вариант: писать в бд напрямую, прямо в бинарные файлы хранилища

Я бы не рискнул.