LINUX.ORG.RU

Асинхронное программирование

 ,


0

3

Всем доброй ночи.

Есть такая задача: каждый день надо парсить относительно большое количество json-файлов (порядка 100-150 тысяч). Каждый файл весит примерно 5-30 метров. Файлы надо скачать, распарсить и уложить в базу. В принципе, на скорость пофиг, но не то, чтобы оно целый день это выполнялось. Выбираю между java и python (может быть, кто то что-то другое предложит). С питоном все понятно - тут рулит asyncio для таких штук и по бенчам из инета работает быстро, но не так быстро как Java, но я не знаю есть ли что-то подобное асинхронное для джавы? Что щас модно применять? Используется ли оно для подобных задач?

Ответ на: комментарий от system-root

А есть не прототип. Есть система, которая перестала вывозить объемы данных и нам спустили ее сверху, мол, надо, чтобы вывозила. За последнее время выросли объемы поставляемых данных и оно там накрылось. Написано так, что лучше переписать заново, чем разбираться в этом.

lazy_aleks
() автор топика
Ответ на: комментарий от lazy_aleks

Написано так, что лучше переписать заново, чем разбираться в этом.

Очередной студент с горящими глазами? Погугли

Джоэл Спольски Вещи, которые вам не стоит делать никогда

Впрочем, ты скорее всего работаешь в госконторе, так что можешь начинать переписывать. Только по-нормальному работать приложение начинает после 3-го переписывания...

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.