LINUX.ORG.RU

ceph 0.80 «Firefly»

 


3

3

7-го мая, тихо и незаметно, вышла 6-я мажорная версия ceph 0.80 «Firefly».
Основная идея Ceph — быть свободным и полностью распределенным хранилищем без единой точки отказа, расширяемым до эксабайтного уровня.

Список основных изменений:

  • чистка кода для стабилизации работы и минимизации накладных расходов при работе с данными;
  • поддержка пула кэшэй. Наиболее часто используемый кэш может быть помещен на SSD для увеличения скорости работы;
  • возможность указать, какие OSD будут хранить основную копию данных;
  • эксперементальная поддержка бэкэндов OSD типа ключ/значение;
  • эксперементальная поддержка radosgw в одиночном режиме.

>>> Подробности

★★★★★

Проверено: Pinkbyte ()
Последнее исправление: Pinkbyte (всего исправлений: 5)
Ответ на: комментарий от Mr_Alone

По умолчанию кластер использует xfs. По моим скромным тестам смысла заморачиваться с ext4 нет.

В смысле? Под Ceph для хранения сторадж-объектов? Проблем при отключении питания не боитесь (я бы просто сразу форматировал XFS-раздел в таком случае и перезаливал данные, т.к. XFS очень плохо переживает внезапные отключения)?

ktulhu666 ☆☆☆
()
Ответ на: комментарий от dvrts

Что используете?

Ну и вопросы сразу:
1. Это именно кластер (т.е. все машины связаны локально)?
2. Какие используются технологии (10GbE/IB/FC, Linux, ZFS, Ceph/Luste/GFS2/OCFS2/Gluster/XtreemFS/PVFS/MogileFS/HDFS)?
3. Что за сервис на этом крутится?
4. Как организована внутренняя сеть передачи данных?
5. Какие у Вас скорости чтения/записи на каких блоках? Какой уровень резервирования?
6. Storage и Computing ноды совмещены?
7. SSD-кэш не используете?
8. Как бекапите?

9. Джаббер или другой IM есть? :)

ktulhu666 ☆☆☆
()
Ответ на: комментарий от ktulhu666

1) Да, именно кластер.
2) так это нищеброд-стайл, то гигабит + дешёвые диски + ceph
3) сейчас это всё подключено к Proxmox для виртуалок + хостинга, но уже пришла часть оборудования для переноса всего этого в Cloudstack. Через пару недель будет миграция.
4) обычные гигабитные свитчи
5) в пике отдаётся до 400МБ/с. Вот прям сейчас 25МБ/с и 700 iops, но у нас утро, да. По дефолту каждый блок имеет 2 копии на разных нодах.
6) нет конечно. А смысл?
7) Нет. В документачке много всего написано, и там очень хорошо освещён пример с SSD. Ссылка к сожалению на другом компьютере сохранена. Если в двух словах, то в моей конфигурации смысла выносить кэш на SSD нет.
8) снэпшотами и бакулой

Неа, не использую IM. Мыло в профиле.

Mr_Alone ★★★★★
() автор топика
Ответ на: комментарий от Mr_Alone

Эм... Что-то я недопонял видать. Storage cluster - это разве не накрутка поверх rbd? А Ceph - это всё-таки фс(тоже поверх rbd), не?

Pinkbyte ★★★★★
()
Ответ на: комментарий от KRoN73

А в чём польза storgae cluster без fs?

qemu например можно гонять поверх rbd-устройства. То есть ФС уже делается внутри виртуалки.

Pinkbyte ★★★★★
()
Ответ на: комментарий от ktulhu666

я бы просто сразу форматировал XFS-раздел в таком случае и перезаливал данные, т.к. XFS очень плохо переживает внезапные отключения

Кто там говорил, что XFS ненадёжна? (комментарий)
(вот уже лет пять, как при сбоях питания ничего не терялось — что-то там докрутили)

KRoN73 ★★★★★
()
Ответ на: комментарий от Pinkbyte

Storage cluster - это кластер, который основан на RADOS.
Ceph FS - это файловая система, которая использует storage cluster для хранения данных. Так как FS еще не готова для продакшена, о чем большими буквами написано на странице FS, то многие используют просто storage cluster без ceph FS.

Mr_Alone ★★★★★
() автор топика
Ответ на: комментарий от Mr_Alone

Рекомендация - XFS. Либо btrfs, но с оговорками.

Странно, где-то там же видел и рекомендацию по использованию ext4.

dvrts ★★★
()
Ответ на: комментарий от ktulhu666

1. Это именно кластер (т.е. все машины связаны локально)?

Да.

2. Какие используются технологии (10GbE/IB/FC, Linux, ZFS, Ceph/Luste/GFS2/OCFS2/Gluster/XtreemFS/PVFS/MogileFS/HDFS)?

10GbE, Openstack (на Ubuntu), Ceph используется как block storage.

3. Что за сервис на этом крутится?

Крупный кластер Openstack.

4. Как организована внутренняя сеть передачи данных?

Что именно интересует?

5. Какие у Вас скорости чтения/записи на каких блоках? Какой уровень резервирования?

Сходу не скажу, задашь вопрос в IM)

6. Storage и Computing ноды совмещены?

Нет

7. SSD-кэш не используете?

Нет

8. Как бекапите?

Что именно?

9. Джаббер или другой IM есть? :)

пиши на мыло $мой_никнейм@ya.ru

dvrts ★★★
()
Ответ на: комментарий от KRoN73

В чём её смысл по сравнению с EXT4 при использовании как прокладку между диском и файлами-объектами хранилища?

ktulhu666 ☆☆☆
()
Ответ на: комментарий от Mr_Alone

почему мигрируете на с проксмокса и почему именно на Cloudstack? с чем связан выбор платформы виртуализации?

у вас на проксмоксе крутились только KVM или еще и openvz виртуалки?

awesome
()
Ответ на: комментарий от awesome

почему мигрируете на с проксмокса

Не распарсил.

почему именно на Cloudstack? с чем связан выбор платформы виртуализации?

Меня устраивает архитектура CloudStack и тесты показали, что это именно та платформа, что мне нужна.

у вас на проксмоксе крутились только KVM или еще и openvz виртуалки?

Только KVM. OpenVZ на Proxmox глючит, виртуалки периодически уходили в ребут, или вырубали сервисы без видимых причин. Тем более мне нужно только пару виртуалок, которые можно разместить в контейнерах, остальные нужны «честные». Ну и на данный момент виртуалок с вендой для различных клиентов больше, чем с Линуксом. Лично по моим тестам и на моих нагрузках Xen более выгоден для венды, чем KVM.

Mr_Alone ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.