LINUX.ORG.RU
решено ФорумAdmin

Как средствами rsync создать зеркало русско- и англоязычных сайтов wikimedia?

 


0

1

Привет. Моя цель: иметь на локальном хосте зеркала русскоязычных и англоязычных сайтов Википедия, Викисловарь и т.п., благо место на диске есть. Есть хорошее руководство https://ru.wikipedia.org/wiki/Википедия:Как_сделать_копию_Википедии , но к сожелению там нет ни слова про rsync-сервера дампов сайтов wikimedia, ссылки на которые можно найти здесь: https://dumps.wikimedia.org/backup-index.html , а ведь rsync хорошо экономит трафик при регулярном обновлении дампов.

Собственно, в чём проблема: если я буду качать rsync://ftpmirror.your.org/wikimedia-dumps/ то ведь наверное скачаются все языковые разделы, а мне все не нужны. И я не знаю, как решить эту задачу, ведь просмотреть дерево каталогов на rsync-сервере, как я понимаю, нельзя, а судя по URI-адресам, дерево каталогов в ftp-сервере отличается от такого в rsync-дереве. Можно конечно попробовать первый раз скачать дампы традиционным способом (http или ftp), а потом обновлять через rsync, но я боюсь что в таком случае всё равно произойдёт загрузка всех дампов.

Ответ на: комментарий от pfg

вы должно быть невнимательно прочли вопрос. я спрашиваю как скопировать лишь часть дампов лежащиx на rsync-сервере а не все

russian-turist-2019
() автор топика
Ответ на: комментарий от pfg

а можно как-то узнать какие директории лежат на rsync сервере? иначе как я буду включать\исключить директорию если не знаю её путь

russian-turist-2019
() автор топика
Ответ на: комментарий от russian-turist-2019

читаем вдумчиво документацию :) это не шутка, дефолтные утилиты *никса продуманы давным давно и потому у них обычно всё есть в ключиках.
команда

rsync -rz rsync://ftpmirror.your.org/wikimedia-dumps/ > listfiles

-r   рекурсивно заглядывать во все поддирректории
-z   сжимать при общении по интернету
Так как нет целевой директории, то сия команда выведет в listfiles список файлов видимых по rsync протоколу. с параметрами, размерами и всем таким.

дальше пишешь командный файл

pfg ★★★★★
()

если я буду качать rsync://ftpmirror.your.org/wikimedia-dumps/ то ведь наверное скачаются все языковые разделы

А зачем всё делать единственной командой? Можно каждый сайт качать отдельно, просто скрипт с несколькими вызовами rsync.

просмотреть дерево каталогов на rsync-сервере, как я понимаю, нельзя

В http видно такое же дерево.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.