ceph 0.80 «Firefly»

Основная идея файловой системы Ceph — быть свободным и полностью распределенным хранилищем без единой точки отказа, расширяемым до эксабайтного уровня.

Оно для доверенной сети («все компьютеры твои»), или и opennet поддерживает?

Как определяется размер хранилища при распределении? 10 ГиБ + 2 ГиБ сколько получится с учётом бэкапа данных (если он там есть)?

Джва года ждал. Нахрена?!

чтобы такие спецы как ты и китайская девочка ниже отметились здесь своим авторитетным мнением

Я не спец, но такое впечатление, что сейчас пишут не для публики, а для того, чтобы с гордость заявить: «Мы написали очередную [цензура], которая никому не нужна, но мы все равно крутые». Если написали для учебы или концепта, зачем об этом всем знать?

написали, значит было нужно/интересно/смогли
врядли авторам есть хоть какое-то дело до лора и его обитателей

зачем об этом всем знать?

Никто и не знает. В новости же сказано: «тихо и незаметно, вышла...»

Оно для доверенной сети («все компьютеры твои»), или и opennet поддерживает?

Не совсем понятно, что это.

Как определяется размер хранилища при распределении?

В зависимости от того, сколько копий данных будешь хранить. Если для одного блока будет еще 2 копии, то дели на 3.

Тогда другой вопрос - зачем новость постили? За скором?

Не совсем понятно, что это.

Ну вот есть фринет. Там одно хранилище для всех юзеров, и каждый может в него класть данные. А чтобы достать обратно, надо знать ключ.

А бывают системы чисто для своей сети, в которых дданые видны любому имеющему доступ.

Чувак, ceph используется во многих компаниях. Это конкурент Гластера. Поддерживается в Proxmox, Cloudstack, Openstack. Много ты распределённых стореджей можешь к ним подкючить?

Ты в курсе, что такое Люстра, Гластер, Свифт?

Нет, поэтому и спрашиваю.

На эту тему хз, так как не являюсь админом датацентра.

до эксабайтного уровня.
Наиболее часто используемый кэш может быть помещен на SSD

Т.е. первое - тупая дань моде, а не фича.

распределенные хранилища очень нужны.

Капитан Очевидность.

Так а зачем ты зашел в новости из раздела «кластеры»? Ах, тут пятизвездые же шкворец майнят!

А чтобы достать обратно, надо знать ключ.

Хех, Ключа недостаточно. Надо еще и успеть достать :)

некто в этой теме написал «ненужно», видать не всем это очевидно

// я бы очень хотел, чтобы на этом ресурсе было поменьше таких пользователей, как вы. уверен, что не только я

Весьма интересно, использовали ли Вы их на деле?

В принципе можно чуть пропатчить свою ноду, чтобы она не удаляла положенные лично тобой данные.

Основная идея файловой системы Ceph — быть свободным и полностью распределенным хранилищем без единой точки отказа

Требование выделенных узлов для метаданных в этом смысле выглядит как-то стрёмно.

У меня скромный кластер на 72ТБ который буду расширять в следующем месяце до 102ТБ.

Для метаданных выделенные узлы необязательны, а только желательны из соображений производительности. Можно вообще на одном узле и виртуалки запускать, и данные хранить, и метаданные, и монитор запустить. Будет не очень оптимально, не ради этого ceph разрабатывали.

Требование выделенных узлов для метаданных

Это где так?

Это где так?

Насколько я понимаю структуру ceph, там требуется Metadata server, один на кластер. Что будет, если он отвалится?

Есть Ceph FS, которая еще не готова для продакшена, а есть Ceph Storage Cluster. Это разные вещи. При этом MDS должен быть минимум один на кластер, но не обязательно один.

Понял. Это модератор поправил определение ceph в изначальном описании, и из хранилища появилась файловая система. Бида-пичаль.

И в чем смысл такого *кластера*, если не секрет? Года 2-3 назад купил такую машинку формата 4U под nearline сторадж за 10-15 штук, не помню точно... Солярка + ZFS + NFS.

Pinkbyte Небольшая просьба вернуть описание в новости обратно. Ceph это не только Ceph FS - http://ceph.com/docs/master/ . Есть же и storage cluster, который готов для продакшена.

А в чем профит от одной машины? Вторую такую же уже купили на случай отказа первой? Как место расширять? Тут ноду добавил, и готово.

Можешь объяснить в чем разница между сабжем и люстрой, они для одного и того же, или нет? У нас несколько петабайт на люстре, для более серьёзных дел GPFS, но она дорогая.

Ceph это не только Ceph FS - http://ceph.com/docs/master/ . Есть же и storage cluster, который готов для продакшена.

А в чём польза storgae cluster без fs?

И попутный вопрос — ceph требует под себя исключительно выделенные разделы? Поднять локальную ноду в обычном каталоге хостовой ФС, как в GlusterFS в ceph нельзя?

на этой ФС можно хранить виртуалки openvz от проксмокса? или лучше gfs2 выбрать?

А в чем профит от одной машины?

Меньше места занимает в стойке, более энерго-эффективна, лучше производительность, ниже административная нагрузка.

Вторую такую же уже купили на случай отказа первой?

Я же сказал, что под nearline, если пару дней полежит ничего страшного не произойдет.

Как место расширять? Тут ноду добавил, и готово.

Ну, можно ещё одну полку подцепить, если так надо. Я просто к тому, что 72Т, это мне кажется как-то совсем смешно для кластера, если только HA не является жестким требованием.

По умолчанию кластер использует xfs. По моим скромным тестам смысла заморачиваться с ext4 нет.

Можешь указать, куда писать данные. В этом плане разницы с Гластер нет.

Они для одного и того же. Для личных предпочтений нужны тесты.

на этой ФС можно хранить виртуалки openvz от проксмокса?

Вот, вроде, виртуалки под этой системой держат:
http://habrahabr.ru/company/performix/blog/218065/

Можешь указать, куда писать данные.

Т.е. не только на выделенный физический раздел, но и в каталог на имеющемся разделе?

Хорошо, зайду с другой стороны: в плане архитектуры есть принципиальные различия? Просто развелось этих систем уже итак, а всё пилят и пилят новые.

Во, надо почитать.

Я просто к тому, что 72Т, это мне кажется как-то совсем смешно для кластера, если только HA не является жестким требованием.

Если не нужен НА, то это локалхост на виртуалке. Вот серьезно.

если пару дней полежит ничего страшного не произойдет.

Любая система должна работать 7/24. Даже самый захудалый бэкап. Это аксиома.

Меньше места занимает в стойке, более энерго-эффективна, лучше производительность, ниже административная нагрузка.

Принцип KISS никто не отменял. Проще самые простые 1-2U ноды, чем 4U которые у нас ждать месяцами.

Как обычно «для продакшена и безопасности мы рекомендуем», бла-бла-бла. По факту у меня диск замонтирован в /var/.../.../

Отличия есть. Пальцев двух рук хватит, чтоб пересчитать все системы. Конкретно под каждую систему лучше свои тесты провести. Для анализа хватит Гугла. :-)

Прочитал как «Fluttershy»

То, что тебе это не нужно, это не значит что это не нужно никому.

Хотя да, админам локалхоста ceph не нужен

Я использовал и использую

Нет, «по умолчанию» ты можешь заюзать и xfs и ext4

Не позорься, ну!

У меня скромный кластер на 72ТБ который буду расширять в следующем месяце до 102ТБ.

О, замечательно.
1. Это именно кластер (т.е. все машины связаны локально)?
2. Какие используются технологии (10GbE/IB/FC, Linux, ZFS, Ceph/Luste/GFS2/OCFS2/Gluster/XtreemFS/PVFS/MogileFS/HDFS)?
3. Что за сервис на этом крутится?
4. Как организована внутренняя сеть передачи данных?
5. Какие у Вас скорости чтения/записи на каких блоках? Какой уровень резервирования?
6. Storage и Computing ноды совмещены?
7. SSD-кэш не используете?
8. Как бекапите?

9. Джаббер или другой IM есть? :)