LINUX.ORG.RU

сохранение данных.


0

0

Делаю прогу для сбора информации. Имеются один или несколько потоков данных со скоростью примерно десятки-сотни кб/с. Необходимо продумать механизмы их сохранения для последующей обработки. Возможно ли всё упрятать в базу данных, например mysql? Как это лучше сделать практически? Полезно ли будет сжимать данные on fly?

anonymous

Можно прямо на диск ложить, ни что же не мешает :) А сжимать действительно полезно, обычно пользуют zlib, но bzip2 лучше, если он потоки держит, то лучше его.

е

anonymous
()

e, в том то всё и дело что кусков этих данных много может накопиться, желательно их как-нибудь учитывать и каталогизировать чтобы в них не запутаться потом. У каждого блока данных мег по 3-10 есть подробное описание например, по которому его желательно будет потом найти :)

anonymous
()

Ну напиши какой-нибудь бенчмарк для mysql и посмотри успевает ли он записывать с такой скоростью.

kpanic ★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.