История изменений
Исправление KivApple, (текущая версия) :
Да, в этом и идея. Построить один раз базу, а затем много раз использовать. Иногда обновлять по запросу. Мне не нравится, что обновление занимает 15 минут, причём большая часть времени проводится в XML парсере (700 секунд) и вставке в SQLite (250 секунд).
Голый I/O (прочитать кусками в память 5 ГБ исходного XML) занимает меньше 100 секунд.
В целом, возможно, SQLite и не узкое место. Раз чтение 5 Гб занимает 100 секунд, то запись 2.5 Гб вполне может занимать 250. Скорее всего упирается в I/O.
А вот XML парсер явно узкое место. Да, эти 700 секунд с учётом I/O, но если вычесть 100 секунд, всё равно остаётся 10 минут.
Исходная версия KivApple, :
Да, в этом и идея. Построить один раз базу, а затем много раз использовать. Иногда обновлять по запросу. Мне не нравится, что обновление занимает 15 минут, причём большая часть времени проводится в XML парсере (700 секунд) и вставке в SQLite (250 секунд).
Голый I/O (прочитать кусками в память 5 ГБ исходного XML) занимает меньше 100 секунд.
В целом, возможно, SQLite и не узкое место. Раз чтение 5 Гб занимает 100 секунд, то запись 2.5 Гб вполне может занимать 250. Скорее всего упирается в I/O.
А вот XML парсер явно узкое место.