LINUX.ORG.RU
Форум — Admin  

ftp прокси с кэшированием upload'a


0

1

Есть ферма openvz впсов, все в одной локалке. На каждом работает бакап-скрипт, который закачивает сделанный бакап на хранилище в другой ДЦ. Скорость медленная, бакапы большие, и время закачки иногда доходит до пары часов. Все бы ничего, да на высоконагруженных ВПСах процессы иногда прибиваются из-за нехватки памяти. Соответственно, lftp не успевает отработать.

Как решить это? Т.к. скорость сети внутри локалки в разы больше, можно сделать на одной ноде сабж. То есть остальные ноды _быстро_ заливают туда файло, оно кладется в кэш, дальше медленно льётся куда надо, в другой ДЦ. Печально, что ни squid, ни frox не поддерживают эту фичу.

Как поступить?

★★★★★
← nginx - прокси!!!
Debian - аналог Windows утилит ping и tracert →

В одном место сваливать все бэкапы не стоит наверное. Тем более, на виртуалку. В твоем случае надо попробовать разбивать бэкапы на несколько файлов небольшого размера. Посему 

man 1 split

o
()
Ответ на: комментарий от o

та виртуалка — всего лишь перевалочная база. В любом случае, всё можно прикрутить к нагиосу, так что опасения напрасны. А сплит не подходит, т.к.: то ли передается 1 файл 10Г, то ли 10 файлов по 1Г, время передачи одинаковое, а значит и вероятность сбоя тоже одинаковая.

Bers666 ★★★★★
() автор топика

Кто мешает вместо «кэширования» запустить обычный ftp/sftp/ftps сервер, а на нём - свой скрипт бекапа.

Т.е. виртуалки заливают бекап.tgz на промежуточный сервер, кладут рядом пустой файл бекап.tgz.ready, означающий что заливка завершена.

Скрипт на промежуточном сервере время от времени ищет файлы *.tgz.ready и заливает соответствующие файлы *.tgz на хранилище в другой ЦОД.

router ★★★★★
()
Ответ на: комментарий от Bers666

идея в том, что в случае отвала процесса тебе придется заново передавать не весь свой огромный файл, а только тот, что заливался последним плюс все последующие.

val-amart ★★★★★
()
Ответ на: комментарий от val-amart

val-amart,
это не проблема, lftp умеет mput -c

router,
спасибо, я и собирался делать что-то подобное. Недостаток тут в том, что придется хранить копии логинов\паролей от FTP аккаунтов всех хостов (у каждого свой) на перевалочной ноде, что не есть гуд. Поэтому я и обратился к поиску сабжа.

Bers666 ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← nginx - прокси!!!
Admin
Debian - аналог Windows утилит ping и tracert →