Ceph надо уметь готовить. У нас на простой инсталяшке 2 ноды хранения и 3 ноды монитора на 16 дисках по скорости он был медленный, мдадм+иет на 8 дисках выигрывал прилично у него.

Учитывая, что планируется размещение БД - вопрос хранилки встаёт в полный рост.

И сразу забивай больше памяти, обычно это более расходуемый ресурс, чем ЦПУ.

Пс Мускл под 1с не идёт, постгре или бесплатный МС Скул. 2-3 сервера приложений 1с на 40 клиентов?

У меня надежда на 10 ГБ сеть. С ней может скорость Ceph будет достаточной. Или ошибаюсь? По поводу готовить - я так понял, что Proxmox сам настройки Ceph пропишет. Памяти добавлю... А про Mysql мне сказали в фирме, которая 1С поставлять будет. Может я, что-то перепутал... Уточню. А на сколько клиентов хватает сервера приложений 1С ?

Добавь в бюджет по SSD на ноду и ставь nutanix ce.

Все зависит то количества и типов дисков. Можно сделать Бонд гигабитных карт и немного сэкономить. Свич нетгир 708?

Не пользовался проксовым цефом, у нас была отдельная инсталляция. Не забывай еще память для самого цефа, там набегает нормально.

Хм, может ситуация изменилась, но в списке поддерживаемых 1с пускала не было. Мс, постгре, ибм.

Затык точно будет не в сервере приложений.

Соответственно добавиться сервер MySQL и 2-3 сервера приложений 1С.

Одинасс не работает с mysql ни в каком виде, только патченный посгрес.

Хочу попробовать в 10 ГБ сети

Рано. Попробуй для начала совет выше с гигабитным бондом.

в кластер с хранилищем ceph

ceph рулит на кластерах с количеством нод от 7 и больше. На три ноды его использовать можно, но это как экскаватором яму под телеграфный столб копать. Сложно настраивается, в последних версиях аж спецутилиту сделали, чтоб это говно руками не лопатить.

Возможно тебе стоит глянуть drbd+clvm (8 версия - это типа «рейд1 по сети», 9я - уже реплицируемое блочное устройство one-to-many) или sheepdog в качестве альтернативы ceph'у (настраивается НАМНОГО проще, скорость чуть выше, минус - заточена под qemu, аналога /dev/rbdX в штатной поставке нет).

Далее, для 1С тебе важна не только скорость линейного io, но и количество iops'ов. Оба зависят от скорости самой медленной ноды в реплике и от задержек сети между нодами. У любого распределённого хранилища будет оверхед на запись относительно чисто локального i/o, вопрос только в его величине.

Благодарю за советы.

По поводу SSD - в бюджет включен. Читал рекомендации использовать его под систему в ноде кластера и оставшееся свободное на нем место под журналы Ceph. По поводу количества нод - их будет 5. Сначала сделаю из трех кластер, затем перенесу на него ПО домена и освободившиеся два компьютера добавлю в кластер. Ну если будет не хватать, выбью еще 2 компьютера для полной гармонии:)... По поводу сервера под 1С - действительно Postgree. Меня ввели в заблуждение. Но сути не меняет. Вообще мы сейчас арендуем в облаке 3 рабочих места. У них в техподдержке порекомендовали брать в аренду не клиент - серверный, а файл - серверный вариант как раз из-за быстродействия. Видимо и у себя стоит попробовать что будет быстрее ... По поводу 10 ГБ сети - почему рано? Просто нашел на ebay недорогие интеловские сетевухи. Ну и свитч тоже сравнительно недорого купить можно. С 10 ГБ сетью могут быть какие-то сложности? По поводу сложности настройки Ceph - в документации Proxmox все довольно просто - на первой ноде 3 команды из консоли:
pveceph install –version hammer,
pveceph init --network 192.168.10.0/24,
pveceph createmon
а далее все через их веб морду. Видимо какие - то базовые настройки автоматом сгенерируются и заработает, ну а уж далее тюнингом заниматься...

Ну если бюджет дают на 10Гб - бери, пригодится.

pveceph install –version hammer

А если оно не сработает, что делать будешь? ceph сложная штука, там настроек и тонкостей до ебени матери, низкоуровневые команды всё равно учить придётся. И лучше бы ты их знал к тому моменту, когда возникнут проблемы с ceph'ом.

Конечно. Я и не рассчитываю одним мышетыканием обойтись.

Еще вопрос...

Как я понимаю, чем больше нод в Ceph, тем выше производительность. Тут прозвучало предложение установить 2 сетевухи и объединить их. А если не объединять, а для каждой сетевой карты поднять отдельную ноду? Улучшит это ситуацию?

Учти, пока ты учишься работать с ceph тебе нужны каждодневные бэкапы
и ты должен уметь их оперативно разворачивать. На каждый терабайт данных тебе нужно 1.5 гига памяти. Нод нужно минимум три. Соответственно, я бы под HA рекомендовал 48-64 гига памяти на каждом серваке.

Давняя практика - еженочный инкрементальный бакап, еженедельный полный, с хранением копий на отдельных носителях вне офиса, протестированный и подробно задокументрованный механизм восстановления. Иначе в отпуске очень неуютно себя чувствуешь... :)
А по поводу предыдущего вопроса есть какие нибудь соображения?

Больше нод - проще добиться хорошей производительности.

Мде. По итогу топика выходит, что вместо цефа дешевле купить самое простое двухголовое хранилище, которое будет проще управляться и вполне может иметь большую скорость и иопс, чем цеф.

Единственный минус, на нем не запустить виртуалки.

Ceph выходит дешевле, в разы, если уметь с ним обращаться.
Посмотри сколько стоит SAN с брендовыми дисками.

В начальных санах самое дорогое - диски. Если взять не бренд, то диски будут дешевле, поцене цефовских. А вот количество и суммарная цена серверов прилично превзойдут голову и полки.

Сервера так-то ещё и пользовать под различные нужды можно.