Скачать сайт wget-ом, подменяя домен

если ты не разбираешься в этом то лучше в job а способ есть открываешь скачанный html и тупо делаешь замену одного домена на другой. Это если я правильно понял

открываешь скачанный html и тупо делаешь замену одного домена на другой

И так для каждого скачанного HTML, которых там порядка 6000 :) Поэтому нужно автоматизировать. Поэтому спрашиваю, вдруг уже сделали.

sed, awk

порядка 6000

Нанимаешь фрилансера за 500р. (не удивлюсь, если найдутся 300-рублевые особи) и он выполняет грязную работу.

если ты python знаешь то напиши скриптик для переименования

это себя не уважать так дешево работать.

question4 если что за 700 рр. сделаю скрипт который обойдет все файлы html и сделает замену, соглашайся.

а не проще в /etc/hosts прописать нужный домен на нужном IP ?

Через циклическое применение curl + grep + sed + sort + uniq написал за несколько минут. Но хочется более красивого решения.

а не проще в /etc/hosts прописать нужный домен на нужном IP ?

А можно ли задать свой hosts для конкретной программы?

ну если написал уже то какие проблемы? я то могу осуществить красивое решение но оно не надо уже вроде.

curl + grep + sed + sort + uniq

какая то адская смесь ну вот curl то здесь зачем? ты слишком все усложняешь.

А можно ли задать свой hosts для конкретной программы?

Нет, он общий.

в /etc/hosts прописать нужный домен на нужном IP

Сработало, спасибо. Чтобы нормально работало в браузере, необходимо было сбросить кеш DNS.

А где галка «решено»?

Не раньше, чем докачается.

sed -i 's/somesite.com/somesite.hoster.com/g' $(find . -type f)

Как ты предлагаешь применять это в процессе работы wget -m?

Никак. Сперва скачивай, потом заменяй.

Рекурсивное скачивание не работает. Как заставить его работать?

А, я недопёр что тебе именно во время выкачивания надо. Тогда костыль с hosts кмк самый элегантный. Если не хочется им систему затрагивать, можно wget в чрут или докер какой-нибудь завернуть.

Если не хочется им систему затрагивать, можно wget в чрут

Точно, спасибо.

я недопёр что тебе именно во время выкачивания надо

Именно. Качать в несколько приёмов — это как раз неэлегантное полуручное решение.

можно если использовать network namespace. ложить надо в /etc/netns/<название>/hosts

Какие посоветуешь средства для автоматического рекурсивного скачивания curl-ом?

Не читал топик так далеко.

В таком случае у wget тоже есть параметр --header.

Не читал топик так далеко.

Тут уже предложили несколько рабочих решений и я всё скачал. Но пока не закрываю, вдруг что новое сообщат :)

у wget тоже есть параметр –header.

Проблема не в том, чтобы подставить в заголовок запроса нужное имя домена, а чтобы при рекурсивном скачивании этот запрос ушёл на нужный IP, а не на захваченный домен.

Есть pavuk c миллионом настроек чего та пмсать.

Есть pavuk c миллионом настроек

Как называется соответствующая настройка? -tr_str_str — только для локальных имён, -js_transform — только для джаваскрипта.

Вот этого не знаю.

Я прошу прощения, может быть топик стартер маконенавистник, но попалась мне интересная прога SiteSucker ( название прикольное ). Прости, если напрасно потревожил.

https://ibb.co/9nj1WQJ

Закрытая. Платная. Под платформу, которой у меня нет и не будет.

4.2, man unshare

Странно, что никто не предложил httrack. Он подменяет все ссылки на относительные, и сайт можно читать хоть офлайн, хоть под другим адресом. Да и wget няп умеет то же самое.
Если ссылки ведут на что-то вне сайта - find и sed.

wget няп умеет то же самое

Как им скачать сайт, у которого все внутрисайтовые ссылки битые и требуют коррекции?

man unshare

С какими ключами? Достаточно одного --net?

Сорян, не сразу понял, что к сайту есть доступ под другим адресом, но ссылки ведут на старый.