История изменений
Исправление AntonI, (текущая версия) :
Можно ведь каждому потоку считать локальную статистику и объединить их перед выводом
Можно. Но тогда по треду на чанк это фиговое решение, ну или число чанков должно быть равно числу тредов:-)
Я могу набросать однопоточное решение на питоне, но позже - сейчас я в дороге, с телефона неудобно.
А по хорошему надо анализировать входные данные - сколько метеостанций, какие у них имена? Правильный выбор ассоциативного массива на основе такого анализа может ускорить решение сильнее чем многопоточность.
Ну и лайфхак - если положить файло в tmpfs и отмапировать readonly в память, то проблем с ИО уже не будет:-)
Исходная версия AntonI, :
Можно ведь каждому потоку считать локальную статистику и объединить их перед выводом
Можно. Но тогда по треду на чанк это фиговый решение, ну или число чанков должно быть равно размеру тредов:-)
Я могу набросать однопоточное решение на питоне, но позже - сейчас я в дороге, с телефона неудобно.
А по хорошему надо анализировать входные данные - сколько метеостанций, какие у них имена? Правильный выбор ассоциативного массива на основе такого анализа может ускорить решение сильнее чем многопоточность.
Ну и лайфхак - если положить файло в tmpfs и отмапировать readonly в память, то проблем с ИО уже не будет:-)