История изменений
Исправление
xtraeft,
(текущая версия)
:
Какой? 400кк строк - около 25Гб.
В эластик лью по 300к строк - эти чанки весят ну, до 100 мегабайт каждый.
Утром потестил - ура, 300кк чанк льется за 5-10 сек ( _id = string). Обрадовался, воткнул цикл и пошел пить водку. Вернулся - с ~700 куска (может и раньше) оно начало тормозить. Подозреваю, что тормозить оно будет в геометричской прогрессии, или еще того хуже. Есть вариант переделать архитектуру импорта, но вот на какую? И нужен ли тогда тут вобще эластик?
Исходная версия
xtraeft,
:
Какой? 400кк строк - около 25Гб.
В эластик лью по 300к строк - эти чанки весят ну, до 100 мегабайт каждый.