Писал грабилки для сбора информации на определенных сайтах, столкнулся с проблемой на одном из этих сайтов. При большом количестве запросов к сайту, сайт просто банит на 30 минут по ip. Добавил в скрипт 7 прокси серверов, пустил их выбираться рандомно. Все равно со временем одну из проксей банят - как следствие другие начинают отрабатывать чаще и постоянно 5 из 7 проксей(примерно) находятся в бане.
Возможности завести еще свои прокси нет. Хотел использовать листинги ананимных прокси, благо их в сети хватает. Написал несложных скрипт который рповеряет работоспособность проксей и пишет их в БД.
Проблема в том что они работают очень медленно(если работают вообще). Скрипт проверки отрабатывает а через пару часов прокся уже еле пашет.
Может кто нить сталкивался с подобными задачами, хотелось бы услышать идее как решить проблему. Чисто теоретически, реализация в принципе не проблема.
