Пишу парсер для результатов поиска Google, столкнулся с странным поведением curl. Запрос через curl выдает только 9 результатов первой страницы выдачи, когда с таким же запросом, браузер выдает то что его просят. Хочу понять почему.
$cat test_next.sh
#Запрос 100 результатов поиска со страницы 2
next_page=`curl -v --silent -A Opera --cookie cookie https://www.google.ru/search?q=linux&num=100&start=2`
#Получение всех url с полученной страницы.
echo $next_page | grep -ioE "<cite>.*?</cite>" | sed 's/<[^>]*>//g' | grep -ioE "(https?:\/\/)?(www\.)?[-а-яa-z0-9_\.]{2,}\.(рф|[a-z]{2,4})"
