LINUX.ORG.RU
ФорумAdmin

Кластерные системы хранения данных


0

2

Доброго дня.
Интересует решение для организации кластерной системы хранения данных. Имеем:


  • два продакшен сервера
  • данные должны быть консистентны на обоих серверах в текущий момент
  • Файлы мелкие и их много (10млн)
  • Объем порядка 1-2Т
  • Данные часто дергаются , но редко модифицируются. Важна скорость чтения.


На данный момент пользуемся GlusterFs (3.2.7), но он перестал устраивать, когда файлов было не много и не очень большой объем все было хорошо, но как не пытались настройка для текущих объемов не помогает, тормозит и иногда вешает ведро. Хотелось бы чего либо с поддержкой в ядре. Что можете посоветовать , кто на чем держит распределенные данные.



Ответ на: комментарий от pyatak123

ЧЯДНТ

листаете миллионы файлов, надо логику программы переделать, кроме того для сравнения попробуйте использовать чредующийся том, а не реплицируемый.

anonymous
()
Ответ на: комментарий от pyatak123

листинг директорий долгий и тормознутый , ЧЯДНТ ?

Умные штуки умеют метаданные хранить на быстрых дисках.

cipher ★★★★★
()
Ответ на: комментарий от anonymous

Только учтите, что при подыхании одной ноды под томом из двух бриков, данные превратятся в тыкву.

Это как раз не допустимо.

pyatak123
() автор топика
Ответ на: комментарий от cipher

Умные штуки

там метаданные размазаны между клиентом и бриками, потому надо сперва до 3.4 обновиться, вроде обещали что-то про их ускорение.

anonymous
()
Ответ на: комментарий от pyatak123

Это как раз не допустимо.

добавить ещё две ноды и сделать striped-replicated том, тогда при подыхании одной ноды всё продолжит работать, только мониторилка заорёт.

anonymous
()
Ответ на: комментарий от anonymous

К сожалению добавить две ноды не получится, архитектура уже согласована с соответствующими организациями , поэтому надо выбрать софтварное решение исходя из текущей архитектуры , либо какое то железное решение но минимально занимающее физическое пространство и меняющее логику, тобишь «коробочка» которую подключил и забыл.

pyatak123
() автор топика
Ответ на: комментарий от pyatak123

тогда остаётся посмотреть на ceph, pnfs и lustre, правда ceph и pnfs как бы нужен отдельный сервер метаданных,а про lustre я ничего не знаю. Ну или последовать советам слепого орацля с drbd, но тогда понадобится ещё несколько портов на свитче и пара могученьких сетевух.

anonymous
()
Ответ на: комментарий от pyatak123

А какой бэкенд у вашего глустеря? У меня, например, xfs поверх программного raid10 без битмапа.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.