Мой проект по сбору проксей

SQLAlchemy

Я обычно подобную хрень сваливаю в mongo через motor.

А ты блокирующую алхимию с aiohttp используешь чтоли? Есть же peewee-async и какие-то костыли для алхимии.

А ты блокирующую алхимию с aiohttp используешь чтоли? Есть же peewee-async и какие-то костыли для алхимии.

Да, с этим надо будет что-то сделать потом. У них есть асинхронный клиент для постгреса https://github.com/aio-libs/aiopg и обещают работу с SQLAlchemy, но пока не пробовал.

https://github.com/RazerM/sqlalchemy_aio есть, сам не пробовал. pеewee-async вроде даже в туториале по aiohttp используется.

Ну а motor это асинхронный драйвер для mongodb с интерфейсом (почти) как у pymongo. Я один проектик накостылял на tornado+pymongo, потом переделал под motor всё стало работать намного лучше.

Если кто-нибудь опубликует это в интернет и сделает аддоны для браузеров - тогда заживем)

Внезапно, полезно. Что тебя надоумило это начать делать? Мне просто интересно.

Зачем это нужно? Разве что-то полезное недоступно без прокси?

Что тебя надоумило это начать делать?

Нужно было отправлять запросы с разных IP :) Пробовал тор, но там маленькая скорость, мало IP и не очень удобно использовать, если нужно больше 1 параллельного соединения.

я делал что-то подобное, но забросил

Увидел в примере на гитхабе этот код

if response['status'] == 'ok':

и советую.

На сервере, если случилась ошибка, вываливай эксепшен или меняй статус-код ответа с 200 на какой-нибудь другой. Иначе неудобно использовать в сторонних проектах - приходится каждый раз парсить json, а ведь можно просто на статус-код ответа глянуть.

Спасибо, поменяю на какую-нибудь HTTP ошибку

Эксепшен пользователю вываливать не надо. Должен быть какой-нить код ответа другой + json с описанием ошибки.

Ну, я и не могу эксепшен сделать никак на клиентской части :)

Специально для таких как ты в fail2ban включен фильтр nginx-noproxy и action, который шлет abuse владельцу пула адресов с выборкой лога, адресом и временем.

ты не прав. загугли статусы возврата HTTP запросов

Зачем мне их загугливать? Я же сказал должен быть код ошибки какой-нить, но надо не эксепшен в ответ вываливать, а описание ошибки в json(если нормальные ответы тоже в json).

Исправил, теперь если всё ок - 200, если неправильный запрос - 400, в остальных случаях - 500.

Спасибо конечно, но зачем тут нужно http?

Какие прокси ищет? Всмысле какие протоколы? (socks 5/4, http/s и т.д.)

Годная штука, пошел сырцы изучать.

Т.е. собираешь прокси с нескольких сайтов выкладывающие фрии прокси? Думал у тебя боты инет бороздят...

Спасибо конечно, но зачем тут нужно http?

Не понял. http прокси? А почему их не должно быть?

Какие прокси ищет? Всмысле какие протоколы? (socks 5/4, http/s и т.д.)

socks 4&5 и http. Проверяет на https, т.к. много проксей блокируют его видимо чтоб подменять трафик.

Т.е. собираешь прокси с нескольких сайтов выкладывающие фрии прокси?

Да, но не только собираю, а ещё проверяю, т.к. много не рабочих и собираю информацию о скорости ответа, uptime и т.д., а в последней версии ещё и информация о реальном ip и местоположении.

Думал у тебя боты инет бороздят...

На таких ботов у меня не хватит ресурсов :) С этих сайтов попадаются очень годные прокси, где даже не заметны тормоза по сравнению с соединением напрямую

Ну норм, нужная вещь, надо будет на джаве переписать, а то я питон не очень )

А капчи надо разгадывать или у всех сайтов есть нормальный АПИ?

А капчи надо разгадывать или у всех сайтов есть нормальный АПИ?

API есть лишь у нескольких, у большинства приходится парсить html, капча довольно редко бывает, но это решаемая проблема, я планирую туда добавить модуль по разгадыванию капчей от anti-captcha.

надо будет на джаве переписать, а то я питон не очень )

На мой взгляд, джава тут не нужна, т.к. питон проще, у него больше функционала из коробки(+ pip) и код пишется быстрее. У джавы лучше с производительностью, но здесь это абсолютно не критично. Также приложения на питоне проще деплоить и не нужна прожорливая виртуальная машина)

Итак, очень важно. Делали замеры по производительности? Со скольки источников одновременно может собираться прокси ?

Зачем отдавать результат по http?

Одновременно с 0 :) Там всего один поток. А так, там обработка идёт примерно так: асинхронно делаем запросы к коллекторам(источники) проксей(у каждого коллектора свой период, некоторые обновляются раз в 10 минут, некоторые раз в сутки) и полученные прокси обрабатываются пачками по N запросов, т.е. отправляется N асинхронных запросов и программа ожидает завершения всех или таймаута(в это время могут делаться другие задачи, как например обработка запросов к API), N устанавливается в настройках(CONCURRENT_TASKS_COUNT) и сейчас ограниченно до 128, таймаут(PROXY_CHECKING_TIMEOUT) - 20 секунд, т.е. в худшем случае 6.4 прокси в секунду(если хоть одна не отвечает), но у меня сделан период обновления в зависимости от качества прокси(плохие обрабатываются реже), это для того, чтобы они не тормозили и в целом можно было обработать больше проксей. Сколько получится добавить коллекторов не скажу, но много, сейчас они все обрабатываются минут за 20(там 2 медленных, но у них период обновления - сутки. Все настройки можно переопределить, я настраивал под vds с 512мб ОЗУ, т.к. если поставить большое количество задач, будет больший расход памяти.

Так проще, на продакшене оно ставится за nginx и получается уже не http, а https.

Попробуй напиши на aiohttp парсер всех id с этой страницы https://vk.com/catalog.php

Еще бы было хорошо, если эксперты по Golang и Java, nodjs тож подключились в этот челленж. И замерить сколько времени идет парсинг

Обновил образ виртуальной машины

Извини, у меня не так много свободного времени

И что собрался сравнивать? Как работает линуксовый epoll и как быстро его АПИ могут вызывать обертки?

Да это скорее мой бзик, не обращай внимание )

Новая версия тут proxy_py v2.1 - Сборщик проксей