Отследить curl?

А User-Agent там какой?

С этим все ок было.

Браузер помимо самой страницы тянет ещё файлы. Например файлы стилей.

Это я думаю вряд ли отслеживают, как и картинки на странице.

Хотя, если какой-то .js-файл отдается серверным скриптом, то да...

Да, сейчас есть специальные системы для этого, защищаются от ботов. Реферер был важен пять лет назад. Теперь подсовывают js, который указывает браузеру, что ему делать (curl игнорирует скрипты). Попробуй headless browser/phantomjs/casperjs.

Да не, это чересчур в данном случае, мне кажется. Мобильные классники даже noscript-ом работают вполне себе.

конечно

подозреваю, что из-за запросов без паузы.

Ага, а еще, наверное, от самого количества запросов.

Ну, да, их куча была. За один раз порядка десяти выполнялось, а тестировалось это на протяжении пары часов, после чего был схлопочен бан:( причем в 3 часа ночи, чему я был довольно-таки удивлен.

Это, скорее всего, какой-то анти-ддос режет. На низком уровне. Я решал проблему путем лимитирования количества запросов в минуту.

Теперь подсовывают js, который указывает браузеру, что ему делать (curl игнорирует скрипты)

Зато гуглобот научился JS выполнять. Что было неприятным сюрпризом для тех, кто через JS закрывался от публикации каких-то внутренних ссылок :)

Я решал проблему путем лимитирования количества запросов в минуту

Я тупо храню в БД время генерации всех скриптов на IP или на бота. И если к обращению к скрипту сумма затраченного времени за последние N=10 минут превышает некоторый предел, то боту возвращается «503, зайдите позже». В результате статика отдаётся вообще без ограничений (ею сложно сервер положить), лёгкие динамические страницы отдаются свободно (мало влияют на сумму), а тяжёлые перестают отдаваться, когда бот или юзер сильно наглеет.

Я тягал ботом одну базу... Банили тупо по общему количеству запросов с одного IP. Попробуй selenium webdriver.