прошу помощи в подборе железа для цод

lga 2011

Экономия?

и вот вопросы

Извините, но судя по уровню вопросов Вам решение сформулированной выше задачи не под силам. Очень рекомендую обратиться к какому-либо из системных интеграторов.

По сути. Вам нужны не «дисковые полки». Вам нужны полноценные СХД (системы хранения данных). Там вопросы резервирования уже решены производителем.

Собственную СХД с резервированием контроллеров можно собрать из доступного железа, но Вам, увы, эта задача не по силам, IMHO.

Для конкретных советов по железу СХД нужны данные по нагрузке - размер и число баз, число клиентов и т. п.

Советую написать вот сюда:

http://forum.ixbt.com/?id=66

На этом форуме есть представители разных интеграторов, они помогут Вам решить поставленные задачи.

да.

еслибы я хотел опять просрать пару милионов то не бралсябы за дело и не спрашивал совета. думаю тем товарищам и так есть кого развести за разумный откат. и это буду не я.

по этому прошу, дате совета как лучше сделать, по какому пути пойти и какие инструменты использовать. это ведь не трудно? по сути дав ответ вы напечатали в 4-5 раз больше символов ниочем, чем нужно было, отвеь вы по сути вопросов.

пс. и да, я просил советов как и на чем реализовывать, говорить что я не справлюсь не совсем корректно, может получится не так хорошо как у опытных дядек, но в том что получится, можете не сомневаться. готов поспорить с вами на вменяемую сумму денег если вы так уверены в своей правоте) рискнете? и пока не дали свой ответ, небольшой инсайдик. на этом форуме мне уже говорили что я не справлюсь и не смогу написать веб морду для серверной телеком оператора, иди мол лучше плати а не спрашивай как форыч писать. в итоге справился, гораздо быстрее чем планировалось и лучше чем задумывалось.

Какие Ксеоны, какой lga2011, когда есть эпичные Эпики от АМД?

но очень хотелосьбы esxi.

почему?

потому что есть именно эти машины, в дальнейшем их безболезненно можно заменить. не акцентируйтесь на них. сейчас собирается тестовая среда, в которой железо для гипервизоров не имеет значения.

если можно, дайте примеры бюджетных материнок и процессоров от амд, очень любопытно глянуть. крайне. а то везде и вокруг одни ксеоны. читал про райзены и чтото не вдохновили, дорого а у 2011 выхлоп больше по тестам. при соразмерной цене.

вопросы в основном касаются дисковой системы для гипервизоров. это самое узкое место на мой взгляд и самое сложное.

лет 5 работал с виртуализацией и все 5 лет работал именно с этим гипервизором. + виндовый точно не оплатят, отсюда и выбор, kvm который хвалят но который я не знаю или esxi который какбэ в сторонке но с которым я хотябы работал.

Как насчёт software defined storage? Ceph, например?

почитаю про технологию, посмотрю тесты.

пока по отзывам в инете както не понравилось. потому что 1) размазывать «файловую систему» по нескольким серверам мне не хочется, в итоге то все равно имеем тотже сетевой доступ к файлам с темиже накладными расходами

2) почемуто люди рекомендуют другие решения, типа локальный ссд или ссд кеш + хдд сторэдж на гипервизоре и обычную дисковую полку, либо бездисковый гипервизор + крутую полку

но я в любом случае почитаю, думаю даже успею потестировать для обьективности сравнения с другими решениями

посмотрел цены, скажите, один сервер на эпиках будет производительнее и надежнее чем 8-10 серверов на 2011 ксеонах?

думаю тем товарищам и так есть кого развести за разумный откат. и это буду не я.

Зачем Вы так? Обвинять неизвестных Вам людей просто вот так, без всяких фактов, не очень хорошее дело, не находите? Я совершенно искренне посоветовал Вам форум, где общаются куча специалистов по железу, многие из которых неоднократно сами решали похожие задачи.

и да, я просил советов как и на чем реализовывать, говорить что я не справлюсь не совсем корректно

Согласен, был не прав, извините. Научиться можно чему угодно, тут Вы правы. Переформулирую, Вам придется очень сложно, если решать эту задачу самому (по крайней мере, в исходной постановке).

Самая большая Ваша проблема - это не виртуализация и не серверы. Самое сложное будет самостоятельно собрать СХД без точек отказа.

Что касается софта, смотрите на iSCSI target или на FC target.

Но это еще цветочки. Самое сложное в Вашей задаче - решить проблемы SPoF (единой точки отказа). Иными словами, создаваемая Вами СХД должна быть устойчива к отказу любого элемента.

Вот один из способов решения. Ссылке уже 4 года, возможно, появилось что-то новое на рынке, но Вы же не хотите у профессионалов спросить, которые каждый день с подобными проблемами сталкиваются?

готов поспорить с вами на вменяемую сумму денег если вы так уверены в своей правоте

Извините, спорить не буду, наоборот, буду очень рад, если ошибался, и Вы справитесь.

Удачи, она несомненно Вам понадобится.

Насколько высокий уровень доступности сервисов неодходимо обеспечить? Резервирование площадки? Возможно выбор полноценной СХД (EMC,IBM, NetApp...) будет более рационален, чем использование Software-Defined Storage.

дисковые полки очень хотелосьбы видеть в виде двухпроцессорного сервера на ксеонах, 64гб оперативки под кеш, если надо то 500-1000гб ссд под тотже кеш, 8-12 сата дисков на 2-4тб каждый( есл иповезет то будет сас)

Дисковые полки - это не то, что ты под этим понимаешь, это тупо корзина с дисками, подключаемая к СХДхе. На СХД нарезаешь волумы и отдаёшь в SAN - по iscsi, ну или как угодно. Они отдаются прозрачно для серверов, что где хранить и как резервировать - определяется на самой СХД-хе.

Соответственно, гугли про СХДхи. NetAPP какие-нибудь и в том же роде.

В качестве ядра SAN лучше всего рассматривать коммутатор 10/40G, со всякими FC сейчас заморачиваться смысла нет никакого.

То, что ты описал - это будет адская помойка.

По FC весьма спорно. Достаточно простой и беспроблемный транспорт + реализована поддержка FC-NVMe.

Лучшее что можно посоветовать, это iscsi + регулярные бекапы. Для синхронизации схд должна быть хорошая сеть между схд, можно кстати в сторону gluster и drbd глянуть если очень хочется, но ceph сейчас это мейнстрим

вот за такой ответ спасибо. форум тоже гляну, почемуто в вашем первом ответе увидел только совет попросить сделать задуманное за меня за какуюто сумму денег. у нас так пол айти перепилили уже, смотрю и плачу.

советы обдумаю, почитаю. спасибо.

по результатам отпишусь, думаю еще не единожды. 2\3 железа закуплено, бюджетненько получилось могу сказать. вместо планируемых 5кк гдето 180к за тоже самое. осталось дождаться и правильно навернуть подходящий софт.

не очень высокий. первостепенно бекапы, скажем ежедневные\еженедельные

первоочередная задача как писалось выхе сделать быстрые хранилки, с большой скоростью линейного чтения\записи, чтобы показать - смотрите как быстро 100 гигабайтная виртуалка целиком бекапится. ну и с вменяемым иопс, чтобы уже без всяких понтов все нормально работало.

пока склоняюсь к следующему решению

2 сервера по 2 ксеона 3.6ггц на 8 дисков, в первом сата диски на 2тб, на втором 8 дисков сас на теже 2 тб каждый, все это в рейд10 или рейд1+рейд1+рейд1 и так 6 раз и это все в лвм + ссд кеш на 1тб + 128гб ддр3 кеш

связываться эт овсе будет через 10гб ethernet или 8гб fc, куплено и то и другое.

ну и отдельная дисковая полка с темиже двумя ксеонами 3.6ггц + 48гб ддр3 под кеш и 4 ссд по 1б каждый в рейд 10, куда эту полку приткнуть пока не знаю, но думаю ссд полка лишней не будет, в ней 10 2.5 салазок, задел на будущее есть, по ram до 200гб можно воткнуть

направление правильное? или все фигня и надо по другому?

брендовых полок не будет. точно, никаких.

почему помойка то? 40г коммутатор точно не выделят, слишком дорого.

ddr3 кеш на 128гб не тащит? вроде пишут что норм. ssd кеш не катит? вроде пишут что тоже норм, даже в оболочках всех схб и в esx есть специальная кнопка - подключить ссд кеш да и люди пишут что ddr+ssd кеш в связке норм работают...

если проблема в fc ну ок, можно и без него, в него всего 15к вложено для обвязки всей серверной по fc 8g.

в чем помойка то? не брендово? ну так бюджет мелкий в 200к упихнуть 4 гипервизора по 128гб каждый и 2 ядра и 2 медленные полки и 1 быстрая на ссд. +12 портовый 10г коммутатор, есть варианты лучше как потратить эти деньги? чтобы было больше ресурсов (процессорной частоты, оперативки, дискового пространства и общей производительности) так вы это, поделитесь, не держите в себе, я буду рад любым предложениям.

lga 2011

Это же мусорка сейчас уже по сравнению с десктопными процами даже, да, ецц на десктопных есть.

подберите лучше комплект чем этот мать x79 чипсете с 64гб ddr3 + xeon 2689 + 32гб ssd +корпус\бп\куллер = 12к руб, все новое кроме проца.

чтобы он был производительнее и\или дешевле, ну и в идеале чтобы в случае провала проекта его можно было спихнуть на авито по цене закупки в кротчайшее время.

а то мне тут амд эпик предложили, где один б\у самый простой проц стоит как 4 моих сервера на 2011 сокете.

kvm + zfs + ssd + много рамы c ecc, 2011v3 попривлекательней и в продаже есть + возможность апнуться. рязань - развод.

где мамки брать, поделки катайские с алишки - это хлам.

смотрите как быстро 100 гигабайтная виртуалка целиком бекапится

only zfs + снэпшоты

а какую ось лучше накатывать? софт под рам + ссд кеши можете посоветовать?

solaris конечно)))

Ну тут без вариантов на самом деле. Солярка на x86 по нынешним оценкам будет актуальна ещё лет 15-20 по меньшей мере. А там может и riscv допилят до уровня power, это реальность уже сегодняшнего дня.

со всякими FC сейчас заморачиваться смысла нет никакого.

если уже есть fc инфра, то очень даже есть.

Дай догадаюсь - ты устроился «в крутую контору по блату» и теперь задаешь вопросы, ответов на которые не знаешь, чтобы тебя не выгнали ?

Тогда тебе в Job ...

есть варианты лучше как потратить эти деньги?

пробухать и уволиться, в противном случае просто уволят, когда этот чудесный набор из палок-копалок развалится.

Непонятно, зачем FC. Обычно это нужно для подключения одной СХД к нескольким хостам и использования на этих хостах shared disk (esxi умеет vmfs volume на shared disk).

Но shared disk это удар по бюджету, поскольку нужна умная дорогая СХД. Если бюджет поджимает, надо к каждому хосту подключать DAS (Directly Attached Storage), тупую полку с SAS expander-ом. Самое быстрое — 4-полосный SAS по 12Gbps на полосу. Дешевле — 4-полосный SAS по 6Gbps на полосу.

Видимо в текущей инфраструктуре была или есть полноценная СХД для которой наступил EOL и уже нет возможности покупать расходники. При относительно копеечной стоимости ssd дисков и минимальных требований можно вообще без внешних дисков обойтись.

нет, просто текущая серверная неахти, предложил руководству собрать новую, недорого и хорошопока что мне все обошлось в 200к, половина едет. если соберется хорошо и будет годно работать, мне возвращают затраты + премию. если нет то часть этого добра идет на балконную серверную дома, часть на авито. учитывая цены по которым покупал, разлетится как пирожки.

да я в принципе уже давно планировал нечто подобное собрать, чисто себе, а тут такой вариант что и попрактикуюсь и все деньги потом вернут, почему не попробовать?

почемубы не попробовать сэкономить фирме 3-4 милиона на железе с затратами в 500-600к ? докупив еще железа к уже имеющемуся? руководство одобрило, сказали ну если не зайдет то купим брендовое, не парься.

пс. и это уже второй проект. первый реализовался успешно и уже сэкономил фирме 4кк на телефонии.

в итоге будет 10-12 гипервизоров и 3-4 дисковых хранилища

почему нельзя сделать умную хранилку самому? ну да, она будет не как те что умные дядьки разрабатывают но тем не менее лучше текущей которая еле-еле работает и за ночь не может 1тб скопировать по 10г каналу

вот солярку очень хотелосьбы поставить, во первых отзывы только положительные, во вторых ZFS родная про которую тоже только хорошее пишут.

можете подсказать пропрцию ram\ssd\hdd для сервера? 128\680\4000 норм? 128 если на 64 заменить сильно хуже будет?

и по стеку софта, что использовать? для рам+ссд кеширования ну и подключать по 10g iscsi или 8g fc ? или обоими способами и применять для разных задач?

почемубы не попробовать сэкономить фирме 3-4 милиона на железе с затратами в 500-600к ?

во-первых, экономить деньги фирмы в ущерб своему удобству и спокойствию по ночам - глупо, а по-вторых, потому, что это фантастика.

вот солярку очень хотелосьбы поставить, во первых отзывы только положительные, во вторых ZFS родная про которую тоже только хорошее пишут.

https://ru.wikipedia.org/wiki/O_RLY?

криворукие красноглазики негодуют?

половина едет

Что, реально хуанан заказал с али что ли в продакшн???

Отсыпь чуток

Этож троль

Мне чёт показалось траль тут ты. Ну или просто такой ограниченный.

Наверное можно. Задача вобщем несложная, надо сделать scsi target. Лучше по 8g fc, чем по 10g ethernet, латентность у fc ниже. fc поддерживают многие программные таргеты, и lio, и scst.

Тут важна поддержка оборудования. И она у линукса лучше соляры. zfs на таргете вообще не нужен.

нет конечно, заказал для тестов, если тесты пройдут успешно возмем нормальное б\у либо на 2011 сокете либо на чемто аналогичном, а хуанан пойдет домой в стационарник, второй домой вместо жутко гудящего супермикро, а пару оставлю на работе для тестов.

Свежие эпики не продают горстями по сто рублей как семки, а старым на помойке место.

с которым я хотябы работал

Вот так и рождается говённое легаси на пустом месте ещё на этапе проектирования.

поверьте, я знаю о чем говорю. ситуация такая, либо я беру норм железо б\у и немного устаревшее, но то которе я хочу, которое нормальное и дешевое, в необходимом колличестве, добавляю новые диски потому что бу не доверяю и получаю более менее конфетку, за 500к, либо манагер покупает какойто херни на 3-4кк, из которых 1.5-2 пойдут ему в откат. само собой все новое и супербрендовое. понимаете что там в итоге получится? по колличеству гигабайт\процессоров? в лучшем случае половина от того что сделаю я.

надеюсь я достаточно четко разьяснил почему это делать стоит и получится лучше чем если влить 4 ляма и это не фантастика?

то есть вы утверждаете что один сервер с двумя эпиками будет лучше 15-20 серверов на 2011 сокете? по производительности и надежности. все верно?

я непротив квм, я лишь упомянул с чем я работал и если есть возможность использовать те инструменты которыми я работал в этом проекте то будет просто супер чтобы не затачивать руки под новые.

Сильно от задач зависит. По производительности вообще влёгкую, а если всё же два сервера, то БД, например, я бы посадил лучше на них, чем на трухлявые 2011-е.

Но вообще, я ничего такого не имел ввиду, наоборот, я бы тоже старьё взял, только нормально, с гарантией в тринити.

P.S. Вообще ни разу не претендую ни на какую экспертизу, я разраб и с железом дел не имею. Я поглядеть зашел, а не советовать.