История изменений

1. Легально ли это?

Поисковики хранят базу всего публичного интернета, но ты же не поисковик?

Не нарушает ли это законы РФ\США\Других стран?

Зависит от многих факторов, вплоть до того сколько у тебя бабосов на банковском счету. Или думаешь законы стран логичны и выверены? И вот это прост так придумали: Закон, что дышло, хе-хе, — забубнил Ездаков, — куда повернул — туда и вышло.

2. Я так понимаю что надо очень быстрый интернет, то есть арендовать выделенный сервер на гигабитами в секунду.

Нужно много ipv4 не заблоченных пациентом. У хетцнера, например, много ipv4 заблочены. Купишь и обломаешься.

Поэтому покупать лучше у малоизвестных хостеров, но которые не перепродают ресурсы известных хостеров. А еще можно попробовать проксей купить, кто гарантирует, что они не заблочены. Но есть риск купить базу зомбей и попасть под раздачу отделения «К».

Не забанят ли за это хостеры?

Им пох, если тебя не ддосят и абузы на тебя не шлют.

Не забнят ли «по IP» служба безопасности социальных сетей?

Забанит.

Не нарушает ли это правила социальных сетей?

См. подпункт 1 (про законы)

4. Может кто знает с чего начать?

С программирования. Лучше использовать джаву, если не осилишь, можешь попробовать питон или голанг. Больше тебе не подскажут, потому что ты спалишь пул ipv4 своими неграмотными действиями, а людям потом новый пул собирать.

Это должен быть shell script с использованием wget или есть специальные инструменты для этого?

Нет, это будет относительно сложная, многопоточная программа, с выверенными таймаутами для каждого потока, с биндингом ipv4 или прокси на каждый поток. С библиотекой для разбора HTML и умеющая в XPath запросы. И по итогу сливающая всё в одну базу.

1. Легально ли это?

Поисковики хранят базу всего публичного интернета, но ты же не поисковик?

Не нарушает ли это законы РФ\США\Других стран?

Зависит от многих факторов, вплоть до того сколько у тебя бабосов на банковском счету. Или думаешь законы стран логичны и выверены? И вот это прост так придумали: Закон, что дышло, хе-хе, — забубнил Ездаков, — куда повернул — туда и вышло.

2. Я так понимаю что надо очень быстрый интернет, то есть арендовать выделенный сервер на гигабитами в секунду.

Нужно много ipv4 не заблоченных пациентом. У хетцнера, например, много ipv4 заблочены. Купишь и обломаешься.

Поэтому покупать лучше у малоизвестных хостеров, но которые не перепродают ресурсы известных хостеров. А еще можно попробовать проксей купить, кто гарантирует, что они не заблочены. Но есть риск купить базу зомбей и попасть под раздачу отделения «К».

Не забанят ли за это хостеры?

Им пох, если тебя не ддосят и абузы на тебя не шлют.

Не забнят ли «по IP» служба безопасности социальных сетей?

Забанит.

Не нарушает ли это правила социальных сетей?

См. подпункт 1 (про законы)

4. Может кто знает с чего начать?

С программирования. Лучше использовать джаву, если не осилишь, можешь попробовать питон или голанг. Больше тебе не подскажут, потому что ты спалишь пул ipv4 своими неграмотными действиями, а людям потом новый пул собирать.

Это должен быть shell script с использованием wget или есть специальные инструменты для этого?

Нет, это будет относительно сложная, многопоточная программа, с выверенными таймаутами для каждого потока, с биндингом ipv4 или прокси на каждый поток. И по итогу сливающая всё в одну базу.