Посоветуйте решение по обьединению винтов на разных машинах

DRBD Доки - https://linbit.com/drbd/
Если есть время можно доклад посмотреть https://www.youtube.com/watch?v=otr55vmKf30

А почему не Ceph, gluster fs?

Опыта ни в том ни в другом не имею, это просто еще один вариант

... для Clickhouse...

Но зачем? ClickHouse же умеет в шардинг из коробки.

ох намучался я с его сплитбрейнами на каждый чих

Это тоже вариант, его рассматривал, просто чем оно лучше чем другие решения ?

Можно плиз поподробней, сколько было узлов ( их было четное количество ) и тд?

сколько узлов и планируется ли расширение? DRBD в active/active режиме не факт что нормально будет работать вообще, а тем более если узлов больше двух(не в курсе умеет ли он вообще так для >2 узлов).

ceph лучше крутить всё же поверх доверенной сети, ну и накладных расходов там изрядно будет на проц.

С glusterfs дел практически не имел, тут не подскажу.

Обьем где то в 10-12 тб , соотвественно машин 5-10 ( зависит от хостера)

Ceph ты умрешь, кроме шуток. Там штат девопсов нужен. Ну и cephfs кривая пока. Глистер начинает рожать ежа на крупных фс.

Совет - подумай нужна ли именно фс. Если нет - бери minio. Кучу нервов сэкономишь. Решали аналогичную задачу, после полугода cephfs перешли таки на ceph rgw s3, жить стало в разы легче

Ну и это, ДРеБеДень не бери, оно ещё хуже чем ceph

А по цене minio который s3 и какой вы тип amazon s3 используете ?

Не распарсил, сорри. В плане «по цене минио который s3»? S3 в общем случае это набор API для object storage, minio - один из серверов, который его имплементит, равно как и ceph rgw, Amazon s3 и многие другие.

Суть моего поста была - ты на 146% уверен что тебе нужен именно posix fs, и гораздо более простой и как следствие стабильный s3 тебе не зайдёт?

Сорри за предыдущий пост .

Да буду смотреть в сторону minio .

Может я не верно понял. Но если ты хочешь подсунуть Кликхаусу кучу дисков с помощью Ceph, чтобы он это воспринимал как локальный диск, то ты идешь не верным (тупиковым) путем, как тебе МумийТроль уже писал.

Вообще любой s3 пойдёт. Posix всё-таки жирный, на нем распределенных фс мало и они либо кривые либо тяжёлые. Либо и то и другое. Только с s3 помни про eventual consistency

Да согласен, тут надо шардинг в этом случае

Коллеги всем огромное спасибо!