ceph и с чем его едят ?

Distributed object storage. Объекты могут выглядеть как файлы или как блочные устройства, то есть ceph может работать и почти как классический сторадж, и как кластерная ФС.

у нас в проде используется под статику с s3 нгинковским модулем на erasure пуле

Ceph — объектное хранилище данных. Оно умеет принимать в себя кусочек с данными и отдавать его по запросу. Поверх этого наращиваются более полезные сервисы, например кластерная файловая система CephFS, распределённое блочное устройство RBD или реализация API других объектных хранилищ (S3, Swift).

Ключевое отличие Ceph в алгоритме размещения. Он абсолютно предсказуемый и кроме общепринятого натягивания данных на хэш кольцо принимает во внимание физическую топологию кластера хранения, размещая данные в разных стойках, например. Следствие этого — более бережливое отношение к переносу данных при изменении топологии (добавление узлов, разнесение стоек, вот это всё).

Ну и не забываем про широкую поддержку в OpenStack, KVM и куче другого нужного софта. Как-то так.

я насколько понял из выше прочитанного, что ceph это инструмент для создания хранилища как хранилище файлов так и блочных устройств для виртуальных машин из нескольких серверов с дисками по сети. Ну например у меня есть дисковая полка от ibm и объединить по сети я с другой не могу что бы получить единое хранилище, а так с помощью ceph я могу поднять несколько серверов и объединить их в 1 хранилище которое будет прозрачным для серверов исполнителей.

В первом приближении именно так. Есть хорошее развёрнутое объяснение по ссылке ниже, если хочется подробностей.

https://www.terena.org/activities/tf-storage/ws18/slides/120215-Ceph.pdf