LINUX.ORG.RU

Как скачивать зеркала больших сайтов на shared хостингах?

 ,


0

1

Можно взять VPS и там запускать httrack, но дисковое пространство относительно дорогое на VPS.

Есть большое количество shared хостингов с сгигабайтами пространства за копейки. Как на них организовать закачку зеркал сайтов?

Если они предоставляют ssh может быть на них тоже можно запустить httrack?

Или по крону запускать какой-то скрипт или httrack для закачки?

Какие еще варианты на недорогих shared хостингах?

https://www.hostingadvice.com/how-to/best-unlimited-web-hosting/

на них - никак. Когда пользовался такой хренью (шареніми хостингами) то там біл доступ по фтп.

можеш взять за 1 евро ВПС на арубаклауде и там уже кроном скачивать «большие сайті», отправляя сразу на хостинг по фтп.

На шареном хостинге доступа к бекенду у тебя нет.

PunkoIvan ★★★★
()
Ответ на: комментарий от PunkoIvan

Интересно, есть какой-нибудь способ прикинуть объем зеркала сайта заранее по его SEO показателям, гугл кэшу и т.п.?

simoshina
() автор топика
Ответ на: комментарий от PunkoIvan

А есть же ведь shared хостинги, НО с SSH доступом !

Может быть, на них можно оставить какую-нибудь background задачу типа screen или держать сессию со своего VPS?

Потом cron же есть, что мешает из крона дергать какой-нибудь perl/php скрипт с функционалом похожим на httrack (кроме того, что писать его самому конечно же не хочется) ?

simoshina
() автор топика

SSH строго говоря тебе не нужен для этой задачи. Если есть, например, шаред хостинг с пхп, то ты можешь на нем реализовать простенькое приложение с одним запросом, которое, проверив авторизационные данные (чтобы не пытались DoSить), по этому запросу будет обновлять зеркала. А дальше настраиваешь у себя на компе (или на пятибаксовом vds) крон и дергаешь запрос

annulen ★★★★★
()
Ответ на: комментарий от annulen

Даже лучше вместо авторизации проверять частоту запросов, так будет проще и надежнее. А если твой комп вырубится, любой анонимус сможет раз в сутки обновить зеркало :)

annulen ★★★★★
()
Последнее исправление: annulen (всего исправлений: 1)
Ответ на: комментарий от annulen

Хотелось бы что-то готовое для создания зеркал типа httrack, чтобы не изобретать свое.

Наверно, что-то из этого списка: https://en.wikipedia.org/wiki/List_of_Web_archiving_initiatives

что можно запустить на shared hosting с большими дисками и + небольшой VPS для скриптов если нужен.

Кто-нибудь знает, что лучше выбрать?

simoshina
() автор топика
Ответ на: комментарий от simoshina

Ну если твой хостинг позволяет запускать свои бинарники, то скрипт может дёргать httrack. Хотя я вангую что должны быть и чисто пхп реализации зеркал

annulen ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.