LINUX.ORG.RU

Посоветуйте реляционную СУБД для слияния фидов


0

1

Нужно с помощью скрипта Python/Scala скачать на сервере много csv файлов, представляющих реляционные таблицы, загрузить их в БД и потом конвертировать в какой-то другой feed и его выложить статическим файлом. Раньше делалось мапами в памяти, но сложность возросла и не влезает в ОЗУ. Хотелось чтобы база максимально много инфы держала в памяти, но сбрасывала на диск если не влезает. Памяти не жалко, но желательно чтобы работало быстро

Скорее всего нужны JOINs и подобное. Но если можно сохранять под-обьекты, это плюс. Желательно embedded.

Если ничего лучше не посоветуют буду использовать H2

★★★★★

Последнее исправление: vertexua (всего исправлений: 4)

Из нормальных топиковых рСУБД есть только одна - PG. Но есть предчувствие, что что-то делаешь не так и собираешься заоверкилиться.

mashina ★★★★★
()
Ответ на: комментарий от mashina

Есть фиды, штуки 4, часть статическа. Размеры - несколько ГБ. Нужно создать новый фид, который строится некоторыми алгоритмами. Входящие фиды сначала загрузятся пакетом, потом будут обновляться инкрементально.

Результирующий фид нужно генерировать периодически и выкладывать как статику в zip. БД хорошо решит невлезание в память, дедупликацию (там есть дубликаты, фиды кривые), инкрементельное обновление (будут приходить команды create/delete на сущности)

vertexua ★★★★★
() автор топика
Ответ на: комментарий от Deathstalker

Ну и как, соответствует моим требованиям?

vertexua ★★★★★
() автор топика
Ответ на: комментарий от vertexua

Размеры - несколько ГБ.

Ну, для ETL с такими, прямо скажем, небольшими объемами и чтобы embedded можно глядетьт даже в сторону Firebird.

d_Artagnan ★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.