LINUX.ORG.RU

простые вопросы про работу с сетью

 


0

2

Ситуация такая - есть сервер с очень большой базой. Максимально даёт сделать несколько сотен запросов в день, после чего банит по ip на месяц. Что бы стянуть всю базу необходимо сделать сотни тысяч запросов + сервер ежедневно пополняется на те самые несколько сотен запросов. Какие есть варианты?

пс пишу программу для работы с этой базой, про такое ограничение узнал когда уже был написан прототип( с сетью не работал никогда, готов изучать, если это вообще реально сделать. Извините за, возможно, нубские вопросы.

ппс пишу в этот раздел, так как решение нужно в виде кода.

Ответ на: комментарий от handbrake

невозможно, всё это сделано для того, чтобы заинтересованные лица покупали их услуги работы с данной базой. услуги крайне дороги и низкого качества.

pseudo-cat ★★★
() автор топика

Всё зависит от того, какой протокол используется для общения с сервером и что подразумевается под «запросом».

tailgunner ★★★★★
()
Ответ на: комментарий от pseudo-cat

Если «запросом» считается обычный GET (или POST), то я не вижу вариантов обхода ограничения. Разве что указать такие критерии «запроса», под которые подпадает всё содержимое базы.

tailgunner ★★★★★
()

Используй прокси. После каждых 100 запросов меняй прокси. Например этом можно написать скрипт запускающий polipo и после каждых 100 запросов, изменяющий конфиг на другой прокси и перезапускающий.

rezedent12 ☆☆☆
()
Ответ на: комментарий от handbrake

сдурели ?
это у него за чужую работу платить денег нет, а на субару есть.

Понимаю твою злобу на халявщиков, но они неистребимы.

rezedent12 ☆☆☆
()
Ответ на: комментарий от edigaryev

мне нужно написать этот код, я спрашиваю про подход и идею.

pseudo-cat ★★★
() автор топика
Ответ на: комментарий от handbrake

если готов взяться за 100 баксов, готов обсудить в другом разделе или лично.

pseudo-cat ★★★
() автор топика
Ответ на: комментарий от handbrake

wtf? чем этот вопрос отличается от вопроса типа - как сделать наследование или как распарсить строку? обычный программерский вопрос, а ты, похоже, просто ищешь повод докопаться.

pseudo-cat ★★★
() автор топика
Ответ на: комментарий от rezedent12

ну так напиши и выгрузи базу, это к моей задаче слабо относится, компания заплатит)

pseudo-cat ★★★
() автор топика

юзай прокси
тор, например

ii343hbka ★★★
()
Ответ на: комментарий от pseudo-cat

спасибо, буду эксперементировать.

Положи спасибо на этот счёт в яндекс деньгах 41001790416417 :) Если не затруднит, как нибудь когда не затруднит.

rezedent12 ☆☆☆
()
Ответ на: комментарий от rezedent12

ну смотри, я предложил подработку, а за ответ на вопрос денег просить невежливо)

pseudo-cat ★★★
() автор топика

Покупаешь впс, пул айпишников на месяц и за день снимаешь базу.

С точки зрения программирования использовать bind для указания айпишника исходящего пакета/запроса. И в многопоточном режиме всё быстренько сработает.

nickleiten ★★★
()
Ответ на: комментарий от nickleiten

я не в курсе сколько айпишников в пуле, но их должно быть очень много, чтобы выкачать базу за день

pseudo-cat ★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.