История изменений
Исправление samson_b, (текущая версия) :
Но как мне кажется, правильный путь договориться о доступе к апи и получать информацию открыто.
API есть и их можно использовать, но там есть ограничение на количество записей, который можно получить по одному запросу, оно маленькое, смысл теряется.
Нужно смотреть как донор контента будет реагировать на большое количество запросов, возможно лимитов нет,
Сайт крупного бизнеса, там 100% есть защита от повышенной нагрузки, вопрос только где лимит. Можно, конечно, попробовать в него упереться, но пока я ставлю паузы короткие в скрипте, чтобы не сработала защита.
По поводу тора здравая мысль и ipv6 прокси тоже. Спасибо.
Исходная версия samson_b, :
Но как мне кажется, правильный путь договориться о доступе к апи и получать информацию открыто.
API есть и их можно использовать, но там есть ограничения на количество записей, который можно получить по одному запросу, оно маленькое, смысл теряется.
Нужно смотреть как донор контента будет реагировать на большое количество запросов, возможно лимитов нет,
Сайт крупного бизнеса, там 100% есть защита от повышенной нагрузки, вопрос только где лимит. Можно, конечно, попробовать в него упереться, но пока я ставлю паузы короткие в скрипте, чтобы не сработала защита.
По поводу тора здравая мысль и ipv6 прокси тоже. Спасибо.