Старая тема про скачивание содержимого сайтов

Похоже, понадобится html-parser, ну и php с curl. Выборочная закачка. Просто wget'ом с его ключами не обойтись.

Решения, вообще, существуют, или тут без данных серверной стороны не через web не обойтись?

Решение чего? В чём вопрос?

большинство современных сайтов генерят каждую страничку каждый раз заново. для такого решений нет.
под винду было большое количество сайтокачалок - глянь на них.

Ну если ты включишь понимание того, что делаешь, то вопрос отпадет сам собой.

Все качалки сайтов понятия не имеют, что там на серверной стороне, они видят только HTML (и хорошо еще, если это не Vue или Angular, которые страницу генерят на лету прямо в браузере, и часто даже файрфокс офигевает и пишет, что нечего показать, когда смотришь сорцы страницы).

И качает он тоже только содержимое, доступное по ссылке.

А анализ содержимого, выделение меню и прочего, инклуды этого друг в друга — это уже серверное.

Если тебе просто для бэкапа — при упаковке в архив, возможно, архиватор сделает за тебя работу и одинаковые элементы будут сжаты до размеров одного элемента, но не факт (я не особо спец в алгоритмах сжатия).

И под онтоп есть - Httrack. Но вагную, что он работает как wget.

надо прикручивать GPT чтобы разбирал чеготам на страничке накидано и качал тольок нужное :)

Не, чтобы просто генерил ему странички с флудом.

У сайтов есть sitemap, там все ссылки и время изменения страницы

Вопрос-то не в этом был.

таких сайтов и без ИИ навалом :)
периодически на такие натыкаюсь. посередине явная копипаста с какогото сайта с умным содержимым, а вокрест умного куча рекламы.

еще etag сервер отдает (иногда), при изменении контента он так же меняется

Ну у них там, если речь про GUI качалки, Offline Explorer. На руборде можно спросить, но и в мыслях нет понимания - а что клиент такого сможет, что бы обойти момент генерации страницы уже в «статику».

Ничего он не сможет. Он увидит тот же готовый HTML, если увидит, вообще. Потому что для этого ему надо обладать движком JS, которого во wget нет, само собой. Так что максимум он увидит портянку «собранного» скрипта — нечитабельное нечто.

никто не заморачивался такими сложными алгоритмами парсинга сайтов в сайтокачальщиках. тем более они узко заточены под один сайт.

будет качать каждую страницу, которая ладно, что будет весить каждая по мегабайту из-за оформления

Нет, картинки будут находится по одному и тому же адресу, и не будут дублироваться.

В общем случае задача не решается, но ты можешь передать wget или другой качалке какие-то регэкспы, которые будут отсеивать дублирующие страницы, допустим если есть гет параметр - сортировка, и т.д.

В общем случае задача не решается, но ты можешь передать wget или другой качалке какие-то регэкспы, которые будут отсеивать дублирующие страницы, допустим если есть гет параметр - сортировка, и т.д.
Да, но что бы узнать с дублем ли мы имеем дело, его нужно проанализировать - то есть, скачать. Пусть и удалить потом. Наверное, можно как-то отрисовать сайт иначе при помощи chrome devtools и построив свой dom, уже качать. Но вообще ни ногой, как это и можно ли вообще использовать chrome devtools. Ну, наверное где-то в докере пустить хром в режиме разработчика итц. С иксами, что не под видеокарты.

его нужно проанализировать

Нет, я про фильтр страниц по урлу, не скачивая.

Скачать само по себе вообще не проблема, большая часть веса странички не html, а css, js, картинки. Но если ты будешь слишком много качать страниц в единицу времени, тебя забанит антиддос. Ну и с анализом скачаного на дубли тоже будут проблемы.

Наверное, можно как-то отрисовать сайт

Для того, чтобы отрисовать страничку, браузеру ее ВНЕЗАПНО нужно скачать, и потом еще отрендерить, т.е. работы больше, чем просто скачать.

Страницы могут быть однотипные. Список ссылок, всякие сео темы и прочие, повторяющиеся на любой из страниц, помимо уникального содержимого - лишь маленькая часть может отличаться от главной страницы - разделы сайта. И это уже не дубли. А каждая такая страница может весить под метр, если ее качать. Если страниц штук под 100к, то уже 100 гиг на ровном месте.

Это всё не вопрос. Просто хотелось подойти к теме как-то разумней.

Если бы мне надо было сделать что-то для скачивания совершенно разных сайтов, то скорей всего я бы использовал это:

https://github.com/website-scraper/website-scraper-puppeteer

Об экономии места речи не идет, но можно накинуть что-то от себя на код из примера использования, в любом случае лучше чем puppeteer ничего не придумаешь для задачи

программа будет качать каждую страницу

Пусть программа качает в несколько потоков. У меня сейчас около 20 тысяч висит, если на голом курле, и сильно меньше если на пюпитре. А вопрос то в чем конкретно?

Если только контент страницы нужен, то https://github.com/mozilla/readability