Gentoo в мире высокопроизводительных вычислений

2Sloboda

>Третьи (Gentoo) используют полный набор Black & Decker, несмотря на упреки вторых, что это не ТРУ.

:) забавно - молодец.

Одно дело дома юзать, другое - на кластер тащить...

Явно с этим кластером пионеры развлекались.

Во-первых, ту же федору (хотя и ей на кластере не место) можно также перекомпилять под себя. Во-вторых, непонятно что за софт на этом кластере крутится? Скорее всего фигня какая-нибудь. Так как после очередного апдейта с высокой степенью вероятности пришлось бы модернизировать и этот софт.

>Во-первых, ту же федору (хотя и ей на кластере не место) можно также перекомпилять под себя.

В федоре это требует усилий :) а в генту - одна команда.

>Так как после очередного апдейта с высокой степенью вероятности пришлось бы модернизировать и этот софт.

Я конечно не претендую, что наш софт не фигня, но переживает уже не один апдейт гентуу, причем очень мирно и спокойно :)

Как много сказочников на ЛОР...

>Во-первых, ту же федору (хотя и ей на кластере не место) можно также перекомпилять под себя.

Gnome на ней не пытались более свежий скомпилить?

> Я конечно не претендую, что наш софт не фигня, но переживает уже не один апдейт гентуу, причем очень мирно и спокойно :)

Это пока ваша установка развивается. Посмотрим когда она заработает под полной нагрузкой :)

Понятно. Кластер самопальный, софт - самописный.

Федора тоже одной командой перекомпиляется.

>Федора тоже одной командой перекомпиляется.

научи!

>Gnome на ней не пытались более свежий скомпилить?

На кой тебе на кластере гном и на кой более свежий без патчей от fc? Ты же не LFS собираешь.

>На кой тебе на кластере гном и на кой более свежий без патчей от fc? Ты же не LFS собираешь.

я не про кластер. просто дяденька утверждает, что он может всю федору одной коммандой перекомпилить.

>Пересборкой решить можно, правда спек менять надо, что гимор. а как быть после апгрейда постфикса? Опять лезть в srpm? В пень...

Так часто апдейтится? Все равно ведь тестировать что там насобиралось придется.

>Философия Gentoo - это метадистрибутив. То есть масштабируемость от карманного компьютера до высокопроизводительного кластера. Среда мгновенно интегрируется в любую задачу или совместимую систему. Нельзя забывать, что Линукс - это по сути ядро. А вот окружение от дистрибутива к дистрибутиву разное. Окружение Федоры и иже с ним ориентировано на десктоп.

Ну вообще-то fc - тестовая платформа для RH. А там линейка не столь однозначная.

Я просто вижу периодически патчи и решения, мигрирующие из fc в gentoo, при том, что отрабатывались на первой. И мне так кажется, что стабильность в данном случае лучше у более целостного решения.

>А чтобы накатить mldonkey предлагаешь облазить кучу разных репозиториев в поисках самого mldonkey, окамла и всего, что они еще захотят ?

yum install mldonkey -y

> Так часто апдейтится?

Думаешь, только один постфикс не родной ? :)

>И немного усложняем задачу - чтобы всё это обновлялось автоматом вместе со всем остальным, а не постоянными ползаниями по сети в поисках информации:"а не обновилось ли чего?"

А оно и обновляется каждую ночь (или день, если есть желание на день ставить) благодаря крону и yum update'у. Сервис обновления включен по умолчанию.

man rpm

>Во-первых, ту же федору (хотя и ей на кластере не место) можно также перекомпилять под себя.

Каждый выбирает для себя ...

>Во-вторых, непонятно что за софт на этом кластере крутится?

То что нужно для численного моделирования, ifort, PETS and etc

> yum install mldonkey -y

В юме уже появились ссылки на rpm.livna.org или atrpms.net или их самому надо добавлять ? А то на ftp федоры ни в коре, ни в екстрах осла нету.

> А оно и обновляется каждую ночь (или день, если есть желание на день ставить) благодаря крону и yum update'у. Сервис обновления включен по умолчанию.

Возвращаясь к вопросу о постфиксе - vda-патч уже наложен или самому нужно накладывать ? Я так понимаю, постфикс приходит родной и без этого патча.

"Я так понимаю, постфикс приходит родной и без этого патча", зато с кучей патчей от RH/FC, после которых приходится перелопачивать vda, чтобы patch реджектов не накидал :)

Ого, сколько противников Gentoo собралось! Перечитал коменты, но так и не понял, почему нельзя юзить Gentoo на кластере. ИМХО, на кластере ему самое место, тем более, что машинки там все одинаковые. А если еще поставить distcc и GEMS (http://www.gamehound.net/gems/), то не вижу вообще не одной из перечисленных проблем.

>В юме уже появились ссылки на rpm.livna.org или atrpms.net или их самому надо добавлять ? А то на ftp федоры ни в коре, ни в екстрах осла нету.

Нет. А что, религия позволяет пересобирать весь софт, править USE-флаги, скачать с ливны rpm'ку и поставить ее, чтобы репозитарий появился - нет?

Вы зажрались с такими претензиями и я бы даже сказал, - не в обиду - что охуели. ;)

>Я так понимаю, постфикс приходит родной и без этого патча.

Хз, если честно. Можно заставить yum скачивать srpm'ки.

>Ого, сколько противников Gentoo собралось!

Я не противник. Я просто удивлен формулировкой новости.

В ней говорится, что поставили типа ради увеличения скорости.

Потом оказывается, что поставили так, ибо админу удобнее.

А скорость такая, ибо сравнивали с древним дистрибом, а обновить его, как я понимаю, админ просто не знал как.

Я лично в ахуе.

Я же говорил - фигня для студентов. Если бы вы на этом кластере гоняли что-нибудь такого типа http://www.flowvision.ru/index.php?id=4, саппорт вам бы обошелся дороже самого кластера.

> Ого, сколько противников Gentoo собралось! Перечитал коменты, но так и не понял, почему нельзя юзить Gentoo на кластере.

не обращайте внимания, это орут ниасилившие, в беззвучной зависит кусая локти и пытаясь хотя бы на ЛОРе обоср@ть Gentoo.

допустим есть еще другие переспективные задачи.... например молекулярная динамика квантовая химия гибридные рассчеты...

и софт там очень требователен к тому на чем его собирают... так что гента для кластеров самое то... с тем же gromacs на федорином горе и др рпм-базед дистрах одни проблемы с гентой у меня их не разу не было...

На ЛОР много флуда было по поводу всяких оптимизаций и компиляций. ИМХО, в некоторых случаях, даже мизерный прирост производительности, за счет той же компиляции и оптимизации, а так же убирания ненужного, может что-то значить. 8% от 24 часов - почти два часа, за неделю - почти 14, за две недели - день и т.д.

Отличная новость! Есть у нас и суперкомпьютеры, и современный линукс на них. И админ сам решает, что на него ставить, а не кто то очень умный из министерства.

> ...для особо фанатичных жентушников...

Ну ка давай, признаки именно моего жентушного фанатизма укажи, трепло.
А ещё я, ахринеть!... иногда собираю HLFS, давай побрызгай слюной на мой красный галстук. :P

> Давайте ещё кто-нибудь скажет что надо было кластерный вариант оффтопика ставить!

Кстати, да, Батарейкина в топике очень не хватает...

>Буш гарантийный модуль разбирать и вытаскивать из него хард ? ;))

Мальчик, а ты не знал что винты в серверах на салазках? Вижу ты сервера тока на картинке видел. Гарантийные наклейки обычно на крышке корпуса и на самом харде а не между хардом и hard drive bay или как эта херовина называется куда они втыкаются.

> Я думаю ставить надо было Minix3. Там микроядро, а оно круче.

Само собой. Особенно, когда ядро на одной ноде исполняется, а драйвера -- на другой, ага...

> Плюс к тому очень дружелюбное комьюнити, что в рамках невозможности купить RHEL c поддержкой - очень ценно.

А где вы купили дженту с поддержкой? А CentOS чем плох в этом случае? Не подумайте ничего плохого, я ничуть не против дженты, если с умом к этому делу отнестись и отдавать себе отчёт о том, что ты делаешь. В противном случае лучше и надёжнее отдаться в руки дистростроителей.

> иногда приходится так упражняться в словесности, что птицы поблизости дохнут :/

А по телеку сказали куриный грипп... :)

>Одна дома, одна на работе, еще одна - наш рабочий сервер. Все три работают как часы. Ни одного сегфолта.

У меня одна джента на ноуте, одна дома, одна на работе и одна на своем сервачке. Первые три на самом деле одна и та же клонированная система. В отличие от друзей которые что-то вечно допиливают в fc и дебиане у меня проблем никаких нет. Правда и опыта у меня побольше.

По поводу установки ОС на кластерах. У меня фелшка которую вставляешь, жмешь f8, в меню выбираешь флешку. Остальное она сделает сама. Определит конфигурацию, подсунет нужное ядро, поставит нужный имидж, отошлет письмо с доступами, скажет мастер-серверу что появилась новая нода, по мылу же даст комманду добавить тачку в нагиос и ребутнет сервер. Правда ось freebsd, но можно и другие, на двухгиговой флешке влезло три фряхи(5.4, 6.1 и 4-stable), gentoo(обновленный 2006.1 stage3 с минимальным набором ПО типа whois, netcat, bind-utils итп) и initrd с установкой fc5 по сети по ftp через kickstart-конфиг. Еще даже место осталось. Тут самое главное не забыть наклеить на нее наклейку с номером тачки и не продолбать саму флешку(последнее некритично), соответствие между айпи, мак-адресом и портом на свитче скрипты потом сами установят.

> ... отдаться в руки дистростроителей

как-то не слишком оптимистично звучит...

Граждане анонимусы - вы хоть АСИЛИТЬ можете для каких задач этот тазик используется? готов поспорить многие из учасников флейма ВСЕХ слов по ссылке просто не поймут - многа букав. если люди такими весчами занимаются то не для "поиграццо" и имеют достаточно оснований поставить то что им НАДО, а не то что советуют на ЛОР

пацанам - риспект и уважуха! модераторам - закройте тупой флейм

> как-то не слишком оптимистично звучит...

Обезьяна с гранатой, звучит ещё менее оптимистично. Дистрибутив в любом случае вторичен, кадры решают всё.

2 года юзаю гентуу, до этого были шапки и мандрейки. по ходу встречались дебианоподобные желания менять дистр пока не возникало что я делаю не так?

>Мальчик, а ты не знал что винты в серверах на салазках? Вижу ты сервера тока на картинке видел.

Ага. "Картинки" в соседней комнате стоят ;)

>Гарантийные наклейки обычно на крышке корпуса и на самом харде а не между хардом и hard drive bay или как эта херовина называется куда они втыкаются.

На, девочка - любуйся.

http://en.wikipedia.org/wiki/Image:IBM_HS20_blade_server.jpg

Чтобы вытащить/вставить диск надо сначала вытащить лезвие.

Но это IBM. Он поддерживает горячую замену _лезвий_

типичный HPC-шный кластер на блейдах в сборе в обвязке выглядит примерно так http://www.t-platforms.ru/images/t-forge20hb.gif

Кстати если брать не блейдовый и не стоечный конструктив а простой тауэр то там не открывая крышки можно вытащить только половину дисков. чтобы добраться до корзины нужно полюбому откинуть крышку.

Ну, я в принципе даже не удивлен. Знaю одних перцев, которые торгуют высокопроизводительными кластерами с их собсвенной версией Генты:

http://www.cyberlogic.ca/fr/accueil2.aspx?sortcode=1.2.5 (сорри, там по-француски...)

А в URL'е вообще aspx...

Ну, вообще-то, молодцы ребята.. ;-) Хорошее дело сделали, да и Gentoo, а почему бы и нет, вполне себе подходящий вариант..

> Я даже не удивлюсь, если у них FS - ReiserFS :-)

ну, извините, лучше хоть Райзер чем ext3 на раздел для временных файлов ставить. А то на новом рабочем месте кластер (покупной, у солидной фирмы) с ext3 на разделе для временнных файлов для расчетов (чато на десятки-сотни гигов). Идиоты...

ННП

после двух лет использоваия дженты, я бы с трудом отказался от USE-флагов.

большинство софта в оригинале распространяется в исходниках и имеет ./configure с кучей --with-XXXX --without-YYYY

в Дженту это прозрачно ложится на юз-флаги. у разработчиков в же бинарных пакетов есть два выбора - либо компилять софт со ВСЕМИ включенными опциями (что утяжеляет и возможно замедляет получившийся бинарник, не говоря о том приводит к хуевой туче зависимостей - хрестоматийное вытягивание иксов при установке mc), либо рожать кучу пакетов типа mysoft-mysql, mysoft-postgres, mysoft-sqlite. при этом очевидно, что пакетов для ВСЕГО многообразия вариантов сделать нельзя.

хорошим примером был бы пыхпых, где этих --with-XXXX несколько десятков - но, к счастью для бинарных дистрибутивов, в пыхпых модули можно подключить отдельно so-шками, поэтому для каждой сошки сделали свой микро-пакетик.

кстати, на большинстве коммерческих выделенных серверов с которыми мне приходится общаться стоит RHEL разных версий. и ВЕЗДЕ админы ставят сбоку в /usr/local из исходников отдельынй апач+пыпых, т.к. нужны конкретно свои опции компиляции. только на дженте в /etc/portpage/package.use были прописаны две строчки и запущен емердж, который поставил последнюю стабильную версию с нужными флагами.

> не обращайте внимания, это орут ниасилившие, в беззвучной зависит кусая локти и пытаясь хотя бы на ЛОРе обоср@ть Gentoo.

еще надо добавить гадливых старперов, от них на ЛОР-е больше всего вони, им по большому счету пофигу все, лишь бы трудовой геморой был в тепле, а убогие по жизни ламаки просто на них смотрят и тоже слюной брызгают, поставили какую-нибудь сине-зеленую зюзю, федору или мандраку и пруться от взрослости, либо их как то допустили к железяке, которая дороже их самих стоит, а потому гента им только в страшном сне является в котором эта железяка вдруг стала раком, а затем издохла от их врожденной тупости, суппорта нету а теперь и их очередь настает .. понятно, что тут уже не до флагов и компиляния - дело идет к английскому флагу и свастике ..

>Ну, я в принципе даже не удивлен. Знaю одних перцев, которые торгуют высокопроизводительными кластерами с их собсвенной версией Генты: http://www.cyberlogic.ca/fr/accueil2.aspx?sortcode=1.2.5 (сорри, там по-француски...)

Тут ключевое слово - "поддержка"

>ну, извините, лучше хоть Райзер чем ext3 на раздел для временных файлов ставить. А то на новом рабочем месте кластер (покупной, у солидной фирмы) с ext3 на разделе для временнных файлов для расчетов (чато на десятки-сотни гигов). Идиоты...

Из всех попробованных на кластере вариантов локальных систем наиболее устойчива пожалуй JFS.

> Из всех попробованных на кластере вариантов локальных систем наиболее устойчива пожалуй JFS.

и по бытроте она самая лучшая (XFS чуть медленне на больших файлах)

>Это пока ваша установка развивается. Посмотрим когда она заработает под полной нагрузкой :)

:) К сожалению (или к счастью!), линукс так быстро развивается в области увеличения удобств, что приходится постоянно быть на гребне волны или вернее немножко за этим гребнем. Потому, когда я все тут собирал и расставлял, я приложил некоторые усилия, чтобы этот принцип работал. И пока получается, по крайней мере пока я тут работаю :)))