LINUX.ORG.RU
ФорумAdmin

прошу помощи в подборе железа для цод

 , , , ,


1

4

здравствуйте, идея такая

4 а в дальнейшем 12-15 машин lga 2011 + 128gb ram + 64 gb ssd, по софту либо kvm чистый или ovirt либо esxi free, вероятнее всего kvm но очень хотелосьбы esxi. вопрос лицензирования в госконторе.

2 а в дальнейшем 6-8 «дисковых полок»

по виртуалкам, будут виртуалки - с фалопомойками из мелких файлов, доки, пдф - с серверами mssql - почтовые сервера - терминальники - веб сервера

набиваться сервера все будут с нуля и можно выбирать какие сервера на каких дисковых хранилищах будут лежать.

сеть между гипервизорами и полками могу сделать 10g ethernet + 8g san

дисковые полки очень хотелосьбы видеть в виде двухпроцессорного сервера на ксеонах, 64гб оперативки под кеш, если надо то 500-1000гб ссд под тотже кеш, 8-12 сата дисков на 2-4тб каждый( есл иповезет то будет сас)

и вот вопросы

1) если с серверами более менее понятно, то насколько адекватен выбор вот такой «полки» ? хотелосьбы получить быстрые хранилища, текущие 10мбайт\сек это жесть, я смотрю на это и плачу

2) как лучше это все резервировать? на каждой полке делать зеркальный рейд или делать одну полку без рейда или рейд0 а вторую както зеркалить с первой? что получится профитнее по скорости работы системы в целом

3) имеет ли смысл собирать дисковые полки из ссд? в интернете пишут что в любом случае дисковая сетевая полка не даст раскрыть потенциал ссд и лучше их пхнуть локально в гипервизор

4) как лучше подключать дисковые полки, по 10g ethernet или 8g fc ? или и то и другое? в обычной работе нужны iops но иногда будет необходимо перетаскивать файлы по 400-900гб

5) на каком софте лучше крутить дисковые полки? и можно ли както туда запилить ssd и\или ram кеш? реально планировал 64-128гб оперативки отдать на дисковую полку + если надо 500-1000 гб ссд

6) стоит ли использовать какоето по для дисковых полок из коробки? хотелосьбы выжать прям максимум, чтобы старая серверная смотрела и грустила как чотко работает новая.

Ответ на: комментарий от diakon2

поверьте, я знаю о чем говорю

нет, не поверю, и по твоим вопросам это точётливо видно.

понимаете что там в итоге получится?

прекрасно понимаю, а ещё я понимаю что такое отказоустойчивость, время восстановления после сбоя и промежуток времени за который могут просраться данные.

надеюсь я достаточно четко разьяснил почему это делать стоит и получится лучше чем если влить 4 ляма и это не фантастика?

ты себе разве что нафантазировал.

anonymous
()
Ответ на: комментарий от anonymous

Да, но не суть. Мысль была в том, что новая амудя дорогая, а интелы копеечные. Я почему-то думал, что серверная линейка у них давно так называется (в жизни не встречал AMD на серверах).

WitcherGeralt ★★
()
Ответ на: комментарий от anonymous

какой здравомыслящий человек покупает аваю + лицензии на 4 миллиона и пользуется только звонками туда и обратно? почему мои цыски за 6 тысяч и аппараты в томже колличестве за 30 тысяч полностью удовлетворяют условиям использования?

почему покупаются 25г свичи с 100г аплинками, комплектуются 10г модулями и используют 200-300 мбит на порт?

зачем покупать сертифицированный ссл шлюз за 2.5кк на всю сеть когда по тз достаточно простейшей железки за 100к на 1 сервер?

софт который пхп программист напишет за вечер под пивко пилят уже второй год, просрав 30кк...

сколько еще примеров назвать?

по этому да, я знаю о чем говорю и что получится в итоге.

про отказоустойчивость и время восстановления ненадо, не тот проект, тут нужны быстрые хранилки, как я и писал в первом после, остальное опционально.

и подобных гниденышей которые за откат упарывают все до чего дотягиваются я буду давить, не потому что у меня бомбит от факта их обогощения за счет фирмы, а потому что при этом они гробят айти и сваливают в закат когда воровать уже нечего, а нам потом с этим работать. и не былобы все так печально еслибы это были фантазии а не суровая реальность.

я вас прошу, выпилитесь из треда, вы тут не в кассу.

diakon2
() автор топика
Ответ на: комментарий от WitcherGeralt

в задачах нет особой необходимости, самую сложную задачу вытянет core i5 в одно лицо если не будет других задачь. но вот дисковая система хромает на обе ноги.

я правда не пойму, почему все привязались к гипервизорам, вопрос то не про них как и весь проект.

тутже человек уже написал что самое сложное это хранилки, про них и вопросы.

diakon2
() автор топика
Ответ на: комментарий от diakon2

Ну, ты БД упомянул, а под БД всегда самые суровые сервера заказывают.

WitcherGeralt ★★
()
Ответ на: комментарий от Anoxemian

Чего это ты так агрессивно? Ну, упоролся человек, тебе-то что? Невиданную хрень описывает, интересно же, почти троллейбус из хлеба.

WitcherGeralt ★★
()
Ответ на: комментарий от diakon2

дисковая система хромает на обе ноги

не знаю как у кого, но я использую аппаратный рейд 10 на sas 15к оборотов, ssd - расходники под кеш, сервера старые даже не 2011, им уже по 13-15 лет, но тянут пока, они стоили по 10000$ в середине нулевых, да сейчас это мусор, но мусор рабочий.

anonymous
()
Ответ на: комментарий от diakon2

Тебе кажется странным, что никто тебя не может понять? А ты сам посуди. Задачу с виртуализацией ты озвучил — виртуалочки быстро копируются. Но из этого не следует, что нужен СХД. Виртуалочки быстрее всего копируются на DAS.

Ладно, допустим нужна СХД. Виртуалочки будут быстро копироваться, если между хостом и СХД будет толстый и низколатентный интерконект — SAN. Это либо infiniband коммутатор, либо fc коммутатор, либо sas коммутатор и соответственно hba в СХД и хостах. Однако ты говоришь iscsi поверх 10gbe. Причем 10gbe san уже есть в эксплуатации и не блещет. Почему тогда новый 10gbe будет работать лучше? Непонятно.

Говоришь при обычной работе нужен рандом аксес иопс. А сам спроектировал «полки» по 8 шпинделей сата. Это 8*150 сырых иопс да подели пополам при зеркалировании. И не спасут никакие кеши при рандом аксесе, надо тупо больше шпинделей либо all flash.

Вобщем быстрая схд это шпиндели и san коммутаторы. А у тебя всё сокеты да оперативка.

И вот все в этой теме что не тронь такое же е%анутое.

iliyap ★★★★★
()
Ответ на: комментарий от Anoxemian

Ты боишься, что по итогам деятельности ТСа в Москве на одного интернет-провайдера станет меньше? Не вижу в этом ничего плохого.

WitcherGeralt ★★
()
Последнее исправление: WitcherGeralt (всего исправлений: 1)
Ответ на: комментарий от anonymous

1) на каком софте организовать рам+ссд кеш для файлопомоек подключенных к серверам по 10g ethernet iscsi или 8g fc scst

2) какую ось взять для этого

3) в какой пропорции ставить ddr3+ssd для кеша рейд 10 из 10 дисков sas 2tb на первой схд и 10 sata 2tb на второй схд

3) сколько ddr3 взять для третьей схд из 8 ssd 1tb и как ее лучше подключить по fc или ethernet

diakon2
() автор топика

4 а в дальнейшем 12-15 машин lga 2011 + 128gb ram + 64 gb ssd

64 gb ssd

Интересная конфига

Shulman
()
Ответ на: комментарий от diakon2

У меня «сейчас» (сейчас это образно, уже скоро год отпразднуем) тоже костыльный вариант «фигаг-фигаг-и-в-прод-подешевле» и эта «падла» все больше обрастает костылями. Заказчик «а можем ещё и это сделать?» «да в целом можем» но «попой чую» что эта хренатень уже на «палочках и пластилине держится».
Отношения с заказчиком более чем лояльные, он в курсе что это из «желудей построено». Но когда «бабахнет» я его знаю, он забудет про то, о чем его предупреждали, точнее долго придется напоминать.
Это я все к тому, что если есть возможность, «не стройте домик из пластилина и сломы». Я вот уже жалею, что изначально на «такой развод» повелся.

anc ★★★★★
()
Ответ на: комментарий от diakon2

Еще раз посмотри в сторону zfs, при использовании zfs не нужны будут аппаратные рейды, zfs умеет инкрементальные снапшоты и их цепочки, т.е. на резервный сервак не нужно передавать полные снапшоты, а только разницу по последним изменениям. При организации массива на zfs нужно следить за тем чтобы пространство не заполнялось более чем на 80%, хотя бы один диск должен висеть под замену, кеши zfs вынести на ssd, zfs активно работает с рамой, так что памяти надо много, благо ddr3 стоит копейки на том же али, рама должна быть с коррекцией ошибок. Выбор оси дело вкуса, есть такие поделки как proxmox, там всего намешано - https://habr.com/ru/company/stss/blog/279589/ но предпочитают ими не пользоваться и городить свой огород.

anonymous
()
Ответ на: комментарий от anc

У меня по такой системе работало 10 лет и бабахи тож были, по причине отказа железа, но все быстро восстанавливалось, т.к. под рукой всегда был резерв.

anonymous
()
Ответ на: комментарий от diakon2

2011 - вполне нормальная платформа, если мамки брендовые найти, что сложно, процы и рама копейки стоят.

anonymous
()
Ответ на: комментарий от anonymous

У меня по такой системе работало 10 лет и бабахи тож были, по причине отказа железа, но все быстро восстанавливалось, т.к. под рукой всегда был резерв.

Выделено. Я так тоже работал ещё в конце 90-х начало 2к, резерва не то что много а очень много, пошел на склад и взял новую «фигнюшку», корпус, мать, проц, память, харды... все что угодно, «собирай не хочу из чего есть». :)
Только в моем текущем случае «бабах» это на другом континенте. И там нет не резерва не склада ни ИТ-ков...

anc ★★★★★
()
Последнее исправление: anc (всего исправлений: 1)
Ответ на: комментарий от diakon2

какой здравомыслящий человек покупает аваю + лицензии на 4 миллиона и пользуется только звонками туда и обратно? почему мои цыски за 6 тысяч и аппараты в томже колличестве за 30 тысяч полностью удовлетворяют условиям использования?

почему покупаются 25г свичи с 100г аплинками, комплектуются 10г модулями и используют 200-300 мбит на порт?

ты приводишь примеры неправильных сайзингов и откатных закупок, только причём тут это? тебе говорят, что строишь ты из говна и палок и получится у тебя в итоге вестимо что. что тебе мешает самому провести тендер и закупить подходящее оборудование, а не побираться по помойкам, да ещё и за свои деньги(это вообще отдельный фейспалм).

софт который пхп программист напишет за вечер под пивко пилят уже второй год, просрав 30кк...

пхп программист в треде, все по палатам. после этого, в общем-то, можно не продолжать.

anonymous
()
Ответ на: комментарий от diakon2

и да

по этому да, я знаю о чем говорю и что получится в итоге.

поэтому нет, не знаешь ты о чём говоришь.

anonymous
()
Ответ на: комментарий от anonymous

можно с вами както переговорить устно или письменно? есть вопросы, немного но есть и со временем тоже будут, само собой затраченное время будет финансово компенсировано.

вопросы в основном по архитектуре.

diakon2
() автор топика
Ответ на: комментарий от anonymous

потому что либо по моему либо не по моему, читай говно за откаты. по моему это дешего, если будет дорого то просто релизнут вариант манагера за откаты. идти стучать я не буду что ктото откатывает.

сегодня орнул, год назад купили однопроцессорные сервера на томже 2011 сокете, за 900к штука. и да, человек который закупал сказал - ну кушать то хочется, давай ты лучше свои сервера гендиру не показывай а мы все с одной кормушки кормиться будем. аж затрисло.

по этому вы, с вашим мнением, пожалуйста лесочком и подальше, вы тут лишние.

и чем плох пхп под сайт-каталог пдф-жпг файлов, базу, условно из четырех столбцов, id,имя документа, путь к файлу, краткое описание файла. на сайте поиск по столбцу краткое описание файла.

все. весь сайт. эту залупу на какомто говне пилят 2 года, дважды переделывая, влили 30кк.

diakon2
() автор топика
Ответ на: комментарий от diakon2

все. весь сайт. эту залупу на какомто говне пилят 2 года, дважды переделывая, влили 30кк.

ты либо вообще не понимаешь масштаба работы, что в принципе и видно, либо втираешь мне какую-то дичь, что уже тоже имело место быть.

anonymous
()
Ответ на: комментарий от anonymous

да, да, ноунейм с форума полюбому больше занет про проекты нашей компании, как они разрабатываются и что из себя представляют, вот даже не сомневаюсь.

выже понимаете что ваши высеры мною расцениваются как троллинг?

diakon2
() автор топика
Ответ на: комментарий от diakon2

да, да, ноунейм с форума полюбому больше занет про проекты нашей компании, как они разрабатываются и что из себя представляют, вот даже не сомневаюсь.

Работать-то хоть «большая честь?»

anc ★★★★★
()
Ответ на: комментарий от diakon2

Отошел от дел админских несколько лет назад. Сейчас занимаюсь только разработкой железа, в прямом смысле этого слова. Нет времени ни на что другое. На форуме немало людей способных решить эту задачу намного лучше.

anonymous
()
Ответ на: комментарий от anonymous

прошу немного разьяснить за iscsi и scst таргеты\инициаторы.

есть сервер, на нем рейд10 из шести 2тб дисков есть 4 гипервизора

можно ли все 4 гипервизора подключить к серверу с рейдом средствами iscsi или fc scst чтобы они могли создавать виртуальные диски виртуальных машин на этом диске?

или надо рейд бить на отдельные диски, из каждого делать таргет и к каждому гипервизору подключать свой таргет?

diakon2
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.