LINUX.ORG.RU

Debian ограничение на количество одновременных соединений

 , ,


0

2

Здравствуйте, есть сервер на debian 8, и есть python скрипт,который через pycurl отправляет запросы через прокси, скрипт создает потоки и в каждом потоке идет отправка данных, если стоит 400 потоков, скрипт работает нормально, если повысить до 1200 потоков, скорость работы падает. Нужна ваша помощь.

Нужна ваша помощь.

Нет.

если повысить до 1200 потоков, скорость работы падает.

И при чем тут ограничение на количество одновременных соединений?

Озвучь-ка задачу, чтобы упростить воспитателям работу.

t184256 ★★★★★
()
Ответ на: комментарий от t184256

основная задача проверка работает ли прокся, есть скрипт на питоне который при старте запускает поток, каждый поток берет проксю и отправляет запрос через pycurl на тестовый домен. Когда потоков 400, проверяется около 300 проксей одновременно, если повысить количество потоков до 1000 скорость падает до 20-30 проксей.

thirteen
() автор топика

О! Ещё один хэккер, который ничего не знает кроме потоков для обхода блокировки i/o. Дефолтный лимит на fd - 1024. Сама по себе затея создавать такое количество потоков не здоровая. Покури хотя бы пример pycurl multi, еще можешь посмотреть async.

PoMbl4
()
Ответ на: комментарий от PoMbl4

pycurl multi не подходит под задачу, он отправит 100 запросов одновременно и будет ждать пока они ответят

thirteen
() автор топика
Ответ на: комментарий от thirteen

Ты просто не умеешь его готовить. А именно ты тупо пробовал пример из поставки pycurl, в котором именно так и сделано, на то он просто и пример.

PoMbl4
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.