Исправление
bodqhrohro_is_back,
(текущая версия)
:
Гугол не индексирует
А вот ты же в курсе, что многие сайты защищены от массового краулинга? А боты попсовых поисковых систем у них в белом списке. Поднимешь свою нескучную поисковую систему, независимую от злых корпораций — останешься с носом. Притворяться гуглом по UA, конечно, можно, но против таких умников уже применяют белые списки по IP (они не публичны так-то, но легко собираются, как списки выходных узлов TOR).
Исходная версия
bodqhrohro_is_back,
:
Гугол не индексирует
А вот ты же в курсе, что многие сайты защищены от массово краулинга? А боты попсовых поисковых систем у них в белом списке. Поднимешь свою нескучную поисковую систему, независимую от злых корпораций — останешься с носом. Притворяться гуглом по UA, конечно, можно, но против таких умников уже применяют белые списки по IP (они не публичны так-то, но легко собираются, как списки выходных узлов TOR).