LINUX.ORG.RU
Форум — Admin  

Синхронизация контента между серверами (+)


0

0

Имееться HTTP мастер сервер и ряд слэйвов которые
непосредственно раздают контент.

Необходимо чтобы изменения контента произведенные
на мастер сервере в минимальные сроки происходили на слэйвах
причем копировались именно изменения.

На скорую руку сделал по крону паковать на мастере\
качать распаковать на слэйве, но это верх убожества :)

Как правильно решить задачу ?
Какие есть варианты ?

Контент представляет собой несколько гиг файлов и симлинков
разнесенных по куче дир, мега круто было-бы
чтобы к примеру некий демон на мастере
при обнаружении изменений высылал эти изменения на слэйвы
ну или на крайняк слэйвы с неким небольшим интервалом
раз в 5 мин опрашивали мастер и забирали изменения если они есть.

anonymous
← как уменьшить таймаут ретрансмита потеряных пакетов?
kubuntu8.04 не получает ip по dhcp →
Ответ на: комментарий от anonymous

Тоесть, я так понимаю, надо в крон добавить скриптик который раз в пару минут синхронизирует контент? А он не будет сильно грузить сервер(загрузка и так достаточно большая)?

anonymous
()

Кроме rsync можно еще использовать lftp -e 'mirror ...', если контент на мастере не удаляется, а только изменяется и накапливается.

И еще недавно открыл для себя 'tar ... -g ...', но это работает только для GNU tar, то есть, на FreeBSD, например, не работает.

eugine_kosenko ★★★
()
Ответ на: комментарий от MiracleMan

>как правило, особо не грузит.

А мне казалось по другому. Ему нужно сравнить всю файлуху, т.ч. в пару минут может и не управиться. Конечно, если кеш большой и все метаданные туда лягут, может быть приемлемо. Для больших систем я бы смотрел в сторону реплицирующихся файловых систем или чего-то на inotify (хотя-бы http://inotify-tools.sourceforge.net/).

DonkeyHot ★★★★★
()

А на низком уровне сделать не хочешь?

http://www.drbd.org/

На майстере создаёшь FS по верху блочного устройства drbd, и делаешь с него односторонний рейд-1 на все слейвы. Таким образом все изменения в файловой системе мастера моментально (уже оптимизировано) будут производится и на слейвах.

hse ★
()
Ответ на: комментарий от hse

Еще раз спасибо.

Идея с автоматически синхронизирующейся файлухой
в общем-то то что надо, ибо цель именно максимально быстрая
и наименее ресурсоемкая синхронизация. А т.к. контент может
меняться как раз в неделю так и раз в минуту, синхронизация
по факту оптимальный вариант.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← как уменьшить таймаут ретрансмита потеряных пакетов?
Admin
kubuntu8.04 не получает ip по dhcp →