Как ограничить количество потоков NodeJS?

у меня для тебя плохие новости

ПРИШЛО ВРЕМЯ ВКЛЮЧАТЬ СВОП НА СЕРВЕРЕ

в ноде один поток, а падает твой парсер скорей всего потому что реализован так, что сохраняет все данные и возможно работает постоянно(?), самый эффективный вариант переписать парсер на SAX.

Сохраняет все в базу. Минуту не успевает проработать

Я в смысле параллельности, он же сразу парсит все без остановки и параллельно кучу страниц. Вот эту кучу уменьшить можно? Очередь какую?

значит засирается просто память из-за большого количества объектов, либо парсить кусками надо и чистить старое, либо на SAX, в зависимости от того что вы там парсите.

так все в ваших руках, ручной пулл реализуйте :)

Чистить старое - это как? И что есть SAX? Относится к ноде или очередное другое?

Cпс! Создал своп - все спарсило и не упало!
Надо потестить в непрерывном парсинга.

Вернитесь на php, дети мои, он необидчив, он простит измену и примет обратно с распростёртыми.

p.s. не знаю, что у тебя там за парсер и чего он парсит, но сдаётся мне, что с привычкой пихать всё в память надо что-то делать.

Подскажи что делать с этой привычкой? А то я даже пути-дороги не знаю)
Куда пихать-то?
Пхп и питон пробовал - получалось медленно. На самом деле и ноду замедлить хотел только от безысходности. Но вроде своп помог и пока этого делать не буду. Если поможешь дельным советом - буду искренне премного благодарен

в ноде один поток, а падает твой парсер скорей всего потому что реализован так, что сохраняет все данные и возможно работает постоянно(?), самый эффективный вариант переписать парсер на SAX.

нода запускает потоки внутрях для эмуляции асинхронности, так что зависит от того какие модули используются. но врядли у ТСа проблема из-за этого.

сделай heap dump, и посмотри что выжрало всю память. потом переделай код, чтобы не выжирал всю память.

здесь подробнейшая инструкция: https://github.com/bnoordhuis/node-heapdump

А то я даже пути-дороги не знаю)

В сторону конечных автоматов, например. В сторону пакетной обработки. Зависит от того, что парсишь.

Но вроде своп помог

До тех пор, пока то, что ты парсишь не возросло хотя бы вдвое

Если поможешь дельным советом - буду искренне премного благодарен

Ты бы хоть сказал что парсишь и чем.

Ну, для асинхронности циклов использую async, например. Парсю с помощью cheerio

cheerio - основа
складывается в базу MySQL
Ставки на спорт

модуль async не создает потоков. он просто позволяет более удобно писать асинхронный код. надо смотреть что именно ты дергаешь через него, и как.

если ты просто дергаешь в цикле 10000 асинхронных функций — это приведет как раз примерно к тому, что ты получаешь.

например, это может открыть 10000 соединений с базой, или 10000 file handles (одновременно).

дергай порциями по несколько штук. думаю, тот же async может помочь в этом.

cheerio если я то нашел, то это дом.
попробуй xml-stream поточный парсинг xml.
Ну и конечно изучать профессию. Не важно какую, текущую, другую но точно изучать.