Смигрировать 450 Гб json-ов из oracle в postgres.

0

1

Есть oracle, внутри которого хранится много-много json-ов в clob.
Нужно все это дело скинуть в postgres, но уже для отчетников.
Что сейчас сделано:
настроен apache nifi, который доставляет json в postgres.
написан bash, который выдергивает json и отдает его в руки nifi.
это все работает, но имеет существенные недостатки.
вот несколько:
все это работает очень долго
для каждой структуры json-a, мне нужно вручную готовить таблицу и поддерживать ее в дальнейшем
bash ? неужели нет ничего лучше ?
коллеги, жду ваших замечаний.
чую, что заехал не совсем правильно.

Ссылка

←	Заставить систему забыть об установленном пакете, но не трогать его файлы

Кто нибудь использовал nginx_upstream_check_module?

→

Найфай умеет брать данные из оракла.
Найфай на груви спроцессит данные достаточно быстро.
В постгрессе есть jsonb, и он реально быстрый. Но надо уметь писать запросы.

И тормозит на каком этапе? Выгрузки, загрузки, трансформа?

Со схемой - можешь парсить на лету и раскладывать. Но лучше готовить вручную, автоматные ддли ничем хорошим не заканчиваются.

stave ★★★★★
(19.11.19 16:03:42 MSK)

Ответ на: комментарий от stave 19.11.19 16:03:42 MSK

Найфай умеет брать данные из оракла.

ты про executesql ?

И тормозит на каком этапе? Выгрузки, загрузки, трансформа?

ну я по селекчу по конкретному id из oracle, потом пишу в файл и т.д.
сделано все как-то не очень.
хочется все отдать nifi и сидеть смотреть за всем попивая чаек.

dada ★★★★★
(19.11.19 16:32:22 MSK) автор топика

Ответ на: комментарий от stave 19.11.19 16:03:42 MSK

это мой первый опыт =\

dada ★★★★★
(19.11.19 16:33:52 MSK) автор топика

Ссылка

json лучше хранить в чём-то, типа MongoDB
думаю, лучше хранимая процедура Oracle DB на выборку и отдачу json и вызов её планировщиком БД, т.е. средствами БД

anonymous
(20.11.19 06:31:54 MSK)