LINUX.ORG.RU
ФорумAdmin

распределённый storage — как организовать?


0

0

есть сервер в датацентре с большими каналами и есть сервер в офисе с каналом DSL. между ними поднята впнка.

в офисе появляются данные которые медленно-медленно аплоадятся на сервер в датацентре (чтобы не перегружать канал).

тем временем, извне на сервер в датацентре поступают запросу на данные, причём если эти данные туда ещё не зааплоадились — запрос должен перенаправляться на сервер в офисе.

как такую штуку принято реализовывать?


Ответ на: комментарий от true_admin

данные — файлы. бывают картинки, бывают видео. запросы — "а дайте мне воооон тот файлик".

понятно что задача не простая, но прежде чем садиться самому писать хотел поинтересоваться нет ли готовых решений.

stigger
() автор топика
Ответ на: комментарий от stigger

ну тогда rsync-ом синкаешь. И в nginx делаешь так:

server { server_name storage.ru; root /path/to/storage; error_page 404 = @404;

location @404 { proxy_pass http://storage.internal; } }

Плюс mod_upload для nginx чтобы загружать файлы.

Только вот надо сказать rsync чтобы пока файл не залился полностью ему бы присваивалось временное имя. Или он так и делает, уже не помню.

Есть ещё распределённые фс, но я их в продакшене не тестил, только немного игрался.

Можно варианты посложнее и похитрее, но я бы не стал особо мудрить, keep it simple.

true_admin ★★★★★
()
Ответ на: комментарий от true_admin

гм. интересно, спасибо.

не понял только зачем mod_upload. мне вроде как по http ничего заливать не надо…

stigger
() автор топика
Ответ на: комментарий от stigger

А как ты заливать на сторадж будешь? Если какими-то сторонними методами то, конечно, не нужно, а так бы получился модный RESTFul или как оно там называется..

true_admin ★★★★★
()
Ответ на: комментарий от stigger

Ещё через fastcgi_store сохраняли те файлы которые забирали из бэкенда, но для proxy_pass, на сколько помню, не работает.

Вообще, так хостинги картинок делаются. Если сервер не находит картинку у себя он опрашивает другие сервера и скачивает с тех у которых она есть.

true_admin ★★★★★
()
Ответ на: комментарий от stigger

>дык rsync'ом же вроде решили заливать?

rsync'ом собирались синхронизировать сервера между собой. Но предложенное решение с proxy_store позволит обойтись вообще без rsync'а.

nnz ★★★★
()
Ответ на: комментарий от true_admin

> Есть ещё распределённые фс, но я их в продакшене не тестил, только немного игрался.

Эээ, на таких каналах их лучше не юзать, иначе потом локи в случае split-brain запаритесь разруливать :)

zenith ★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.