Есть странная задачка: нужно выдернуть из файла миллион URL-ов, по одному скормить их сайту (просто http-запрос сделать с этим URL), для каждого такого хттп-запроса убедиться, что сайт ответил, но не дожидаться полного ответа сайта (он будет мегабайт на пять), а проверить, что в первых XYZ байт ответа есть определённое ключевое слово, после чего оборвать соединение.
Чем бы это получше сделать ? Я слишком слабо знаю всякие bash-и и прочее, поэтому прошу помощи.
Спасибо заранее!
