LINUX.ORG.RU

Асинхронное программирование

 ,


0

3

Всем доброй ночи.

Есть такая задача: каждый день надо парсить относительно большое количество json-файлов (порядка 100-150 тысяч). Каждый файл весит примерно 5-30 метров. Файлы надо скачать, распарсить и уложить в базу. В принципе, на скорость пофиг, но не то, чтобы оно целый день это выполнялось. Выбираю между java и python (может быть, кто то что-то другое предложит). С питоном все понятно - тут рулит asyncio для таких штук и по бенчам из инета работает быстро, но не так быстро как Java, но я не знаю есть ли что-то подобное асинхронное для джавы? Что щас модно применять? Используется ли оно для подобных задач?

У питона есть биндинги к c++ и прочим библиотекам, что как бы даст скорость

У java не знаю

ism ★★★
()

Для жабы есть хадуп, спарк. А вообще непонятно, за счет чего автор собрался оптимизировать. (наверное) го будет парсить жсон быстрее, за счет более маленького рантайма и меньшего оверхеда от более легких потоков (горутин), хотя я уверен, что производительность упрется в инсерты датабазы. Еще раз: непонятно за счет чего автор собирается масштабировать. За счет уменьшения потребления ресурсов приложения, за счет увеличения оперативы и процессора или за счет увеличения числа компьютеров?

nikolnik ★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.