LINUX.ORG.RU

Linux в CERN


0

0

Исследователи в CERN с каждым днем сталкиваются с проблемой хранения и обработки данных, получаемых в процессе исследований. Например один из последних проектов (Large Hadron Collider), который будет запущен в 2007 году будет генерировать от 100MB до 1GB данных в секунду. Это обозначает приблизительно 15 петабайт данных в год с четырех экспериментов. Такое количество данных выходит за пределы возможностей одного датацентра, и поэтому CERN имеет для хранения информации более 120 датацентров по всему миру. Мощность, которая требуется CERN, равна приблизительно 30000 CPU. Данные пересылаюся по оптическим каналам и хранятся на магнитной ленте. Структура датацентров CERN имеет многослойную архитектуру отвечающую за хранение и анализ данных.

И все это работает на x86 процессорах и Linux!

"Одна из основных причин - это цена такого решения", - заявила д-р Хельге Майнгард (Dr Helge Meinhard). Так же было зявлено, что многие проекты CERN просто невозможно было бы профинансировать, если бы они использовали проприетарное ПО.

>>> ZDNet

★★★★★

Проверено: Shaman007 ()
Ответ на: комментарий от anonymous

> они попросят суппорта в мэйллистах

У самих себя? Напомню, что есть Scientific Linux.

stassats ★★★★
()
Ответ на: комментарий от anonymous

> Хочу посмотреть как несколько тысяч докторов науки ежедневно бегают между 30000 CPU, накладывая патчи на 2.6.x, затем непременно компилируя их, потом они в течении нескольких месяцев будут ждать пока Вася Пупкин пофиксит ошибки в драйвере устройства ____ (впиши свое),

Хочу посмотреть, как кто-то покупает маленький кластер в 30.000 голов, а потом на каждом юзает новейший софт, новомодные жопопотирающие девайсы ______ (впиши своё) без драйверов и прочую муть, требующую ежедневного накладывания патчей на ядро и переписку в мейл-листах с Васей Пупкиным.

AngryElf ★★★★★
()
Ответ на: комментарий от AngryElf

>P.S. Не ты нынче анонимусы, не те... Или я старею?

Не те, не те... Вымирают?

Noord
()
Ответ на: комментарий от catap

я лет через 5-7 всерьез собираюсь преподавать. В школе ли, или в универе - посмотрим.

Зарплата ессно не является определяющим фактором :)

gr_buza ★★★★
()
Ответ на: комментарий от anonymous

Мне доводилось работать в ЦЕРНе, правда не очень долго.

В том что касается вычислительно-компьютерной инфраструктуры - этим управляют очень грамотные и прагматичные люди.

Пример - я решал проблему с магнитной лентой на super-IBM-mainframe мне взялся помочь немного подвыпивший сотрудник ВЦ.

Спросил его - что за праздник. Оказалось - принято решение демонтировать Cray-(XYZ) (не помню модель). Русско-советских к нему даже близко не подпускали.

КАК??? ТАКОЙ СУПЕР??? НА ПОМОЙКУ???

И что же? Вместо суперкомпьютеров образовался кластер из 10-20 рабочх станций IBM под AIX, но скоро все стало работать под Linux увеличившись в количестве и качестве железа.

В оффисах работали на чем хотели, но поддерживался и внедрялся оффтоп95 со словами, мол, будет что получше - перейдем на него. В это время OS/2 УЖЕ была намного лучше, но они, видать имели инсайд насчет ее будущего.

Многие тут часто задают вопрос - когда же венде .... Ну, в общем, сами знаете, что.

Я бы посоветовал смотреть на ЦЕРН - если там венде приходит конец, то глобально этот вопрос уже не стоит задавать. Лучше помотреть на что они пересели - скоро все там будут.

Такие вот путевые заметки.

mr_step
()
Ответ на: комментарий от anonymous

Вотвот, у министраже дети есть? Есть. Они ему и говорят: "Папапапа, на нашем PIV 3800 виста уже не запускаецца. Купи новый!"

anonymous
()
Ответ на: комментарий от anonymous

Не гони!

Они сделали свой дистрибутив - Scientific Linux. И там есть все, что нужно для их работы.

Повторю еще раз - у них достаточно квалификации и ресурсов пофиксить все что нужно самим, не дожидаясь, пока это сделает безвестный анонимус

mr_step
()
Ответ на: комментарий от catap

>А ты бы пошел работать в школу за $100-$150?

В универе преподавание - 400-500 руб. в месяц на одну группу. НичЁ преподаём - дИтей мучаем. Деньги не самое главное, самое главное заинтересованность.

vtVitus ★★★★★
()
Ответ на: комментарий от anonymous

>Так они рассматривают переход на Solaris. А все из за потдержки. (всего 100$ в год)
Эскузе муа, а что, Novell & RedHat отказали в поддержке? Как давно?

anonymous
()
Ответ на: комментарий от beleg

>ну может студенты с голодух поперли б ...

Студенту, если он способен преподавать информатику, и без школы работа найдется. Пока вменяемые варианты из того что видел --- сорокалетние энтузиасты, да аспиранты на педпрактике. Так что пока госчиновники не придумают схему с откатами по выплате зарплаты, надеятся остается только на альтруистов.

dn2010 ★★★★★
()
Ответ на: комментарий от anonymous

>Ндя... Заместо нормального Unix'а с поддержкой, оно CERN выбрало Linux. Хочу посмотреть как несколько тысяч докторов науки ежедневно бегают между 30000 CPU, накладывая патчи на 2.6.x, затем непременно компилируя их, потом они в течении нескольких месяцев будут ждать пока Вася Пупкин пофиксит ошибки в драйвере устройства ____ (впиши свое), а когда возникнут проблемы они попросят суппорта в мэйллистах и на форумах, пока тот же Вася Пупкин им не ответит, в это время все Монте-Карло будет тихонько курить...

Похоже, курит здесь кто-то другой, и поскольку нормальное курево детям не продают, отнюдь не табак.

dn2010 ★★★★★
()
Ответ на: комментарий от anonymous

>>Так они рассматривают переход на Solaris. А все из за потдержки. (всего 100$ в год)

> Эскузе муа, а что, Novell & RedHat отказали в поддержке? Как давно?

А ничего что у Novell поддержка в год стоит $800 (не более 2-х CPU), а у RedHat -- $1000 (аналогично)? Для всего CERN-а умножаем на 15000...

anonymous
()
Ответ на: комментарий от mr_step

> Они сделали свой дистрибутив - Scientific Linux. И там есть все, что нужно для их работы.

который в своей природе RHEL

anonymous
()

Интересно какая СУБД используеться в CERN для хранения результатов экспериментов ? ... да кстати где хранить 1G/сек данных ?

I_one ★★
()
Ответ на: комментарий от I_one

Написано ж русским языком - на лентах. Под такое дело какой массивчег не ставь - все одно, разоришься вмиг.

Gharik
()
Ответ на: комментарий от anonymous

и на меня нашло озарение! где тут ближайшая стена?

anonymous
()
Ответ на: комментарий от anonymous

>Заместо нормального Unix'а с поддержкой, оно CERN выбрало Linux. Хочу посмотреть как несколько тысяч докторов науки ежедневно бегают между 30000 CPU, накладывая патчи на 2.6.x, затем непременно компилируя их, потом они в течении нескольких месяцев будут ждать пока Вася Пупкин пофиксит ошибки в драйвере устройства.

Это как раз ты описал схему поддержки комерческого Unix. А CERN это научное учереждение - у них там экзотических железок дохрена, и никакие HP и Sun писать подержку этого не будут - разве что за _очень_ большие деньги. Это тебе не патчики к купленому ораклу раз в пол-года накладывать. Потому они все пишут сами, а самому писать это лучше на OSS, по причине открытости последнего. Там в статье указано к стати что в CERN огромное количество софта пишут сами, а не ждут пока патч к "нормальному unix" расчехлится через месяц.

r ★★★★★
() автор топика
Ответ на: комментарий от anonymous

>А ничего что у Novell поддержка в год стоит $800 (не более 2-х CPU), а у RedHat -- $1000 (аналогично)? Для всего CERN-а умножаем на 15000...

Блин - вы так разговариваете как будто в CERN надо поддерживать апач с мускулем, и незагибающееся мыло с FTPями. Таким компаниям как CERN нужна поддержка совершенно иного рода, и заказывается она отдельно за совершенно отдельные деньги. Рассказывали про случай с очень большой европейской компанией, которая купила у IBMа WebSphere с поддержкой - так у нее on-site сидят 20 человек работающих в IBM и "поддерживают" чтобы все работало ASAP в случае проблем. О каких нафиг стабаксах вы говорите?

r ★★★★★
() автор топика
Ответ на: комментарий от anonymous

>А ничего что у Novell поддержка в год стоит $800 (не более 2-х CPU)
Где ограничение по CPU?
http://www.novell.com/products/server/howtobuy.html
Если внимательно читать прайс, то есть ограничение до 32 процессоров за указанную цену.
>а у RedHat -- $1000 (аналогично)? Для всего CERN-а умножаем на 15000...

$1499 - Red Hat Enterprise Linux AS Standard Edition
4. Entries marked '-' will have upper limits defined by hardware, software or architectural capabilities.
Сие означает, что количество процессоров ограничено только аппаратурой/программами.
Сколько будет стоить солярка для 16/32/64/...-процессорного, к примеру, сервера? Или в CERN стоят одно-двухпроцессорные?

anonymous
()
Ответ на: комментарий от anonymous

> А ничего что у Novell поддержка в год стоит $800 (не более 2-х CPU), а у RedHat -- $1000 (аналогично)? Для всего CERN-а умножаем на 15000...

SLC =/= RHEL !

anonymous
()
Ответ на: комментарий от mr_step

> Так они рассматривают переход на Solaris.

Видимо сведения переданы по сарафанному радио ;).

Согласно первоисточникам, например "LHC Computing Grid Project Quarterly Status and Progress Reports 2006 Q2" от 4 сентября текущего года обсуждается только "migration to the next SL4 Linux platform", слово Solaris не упомянуто не разу...

> Они сделали свой дистрибутив - Scientific Linux.

Ну это скорее не они, Scientific Linux -- проект, ведущийся FermiLab (кстати, во вторник на Linux World Russia выступал один из основных маинтейнеров из FermiLab -- Troy Dawson). CERN работает с ними в тесном сотрудничестве и делает собственный вариант дистрибутива (site), см.:

http://www.scientificlinux.ru/community/sites/

anonymous
()
Ответ на: комментарий от anonymous

> Хочу посмотреть как несколько тысяч докторов науки ежедневно бегают ...

Езжай и посмотри - очень весело :) и так уже десять лет ;)))

fi ★★★
()
Ответ на: комментарий от anonymous

> Видимо сведения переданы по сарафанному радио ;).

По примеру Саныча инфу под юбками ищут, чтоль?

Gharik
()
Ответ на: комментарий от r

> Scientific Linux CERN 4 is a Linux distribution build within the framework of Scientific Linux which in turn is rebuilt from the freely available Red Hat Enterprise Linux 4 product sources under terms and conditions of the Red Hat EULA.

Конечно-конечно. From RHEL sources. Тогда причем здесь платная поддержка RedHat, о цене которой здесь так пекуться?

anonymous
()
Ответ на: комментарий от anonymous

>Тогда причем здесь платная поддержка RedHat, о цене которой здесь так пекуться?

Совершенно не при чем. Это лоровский цирк:)

r ★★★★★
() автор топика
Ответ на: комментарий от anonymous

Пардонте плз, действительно забыл упомянуть RH и Fermilab.

Ну, вообще-то у всех дистров общие корни. А с Fermilab ЦЕРНа настолько тесные связи, что практически родственники.

Замечу лишь, что для анализа и представления данных в этом клубе используется самописный и отнюдь недетский софт. Ну, ROOT, например.

Держать в форме полномаштабный дистр - большая работа. Респект этим ребятам.

mr_step
()
Ответ на: комментарий от anonymous

>Хочу посмотреть как несколько тысяч докторов науки ежедневно бегают между 30000 CPU, накладывая патчи на 2.6.x, затем непременно компилируя их, потом они в течении нескольких месяцев будут ждать

Хотел бы я взглянуть на гения, который думает, что тут все как в винде или в конторе с зоопарком разных линуксов разных лет.

>пока Вася Пупкин пофиксит ошибки в драйвере устройства ____ (впиши свое),

Конечно, куда уж разработчикам линукса до анонимного лоровского писателя - он сам уже написал кучу ядер и запостил кучу кода в линукс. Ветеран...

>а когда возникнут проблемы они попросят суппорта в мэйллистах и на форумах, пока тот же Вася Пупкин им не ответит, в это время все Монте-Карло будет тихонько курить...

Чую, у тебя так на работе и происходит. Все от уборщицы до менеджера латают дыры и сидят в мейллистах...

jackill ★★★★★
()

Вот это маштаб, это я понимаю.. ;-)

MiracleMan ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.