Ванкувер-2010 (ИТ-инфраструктура Олимпиады)

Мда. Кластеры это маленькое железо, да :) А большое только сан делает, ясное дело. Наноболт. Больше железо только наши могут сделать, да?

>что наглядно видно по топ500

Там тем у кого в ЮА написана солярка выдают другие данные, чтоб не расстраивались, все 500 под СунОС пашут. Не надо саныча винить, он тоже жертва этой манипуляции.

>У чуваков спрашивали про линакс. Они сказали, что он тупо сосет на «большом железе» (big iron).
Если бы спросил не у САНовски чуваков а у профессионалов, то мог бу узнать много полезного.
А Сановцы изза своей ненависти к Линуксу просрали контору.

К примеру те милионы, что они отдали SCO на войну, могли бы быть потрачены с пользой.

>Если бы спросил не у САНовски чуваков

А сейчас их как раз увольняют эффективные менеджеры оракала, у которых бизнес на бигайроне с линаксом.

>В общей сложности система готова обеспечить оперативную передачу более 100 ТБ данных по 10 000 информационных каналам в режиме реального времени.

100 Tб (~8*10^14 битов или если быть точным 8*2^42) данных передаются по одному десятигигабитному линку ~10^10 битов/сек) за время ~8*10^14/10^10 = 8*10^4 сек, что составляет примерно 22 часа.

Реальное время передачи (длительность олимпиады) более двух недель.

Большим железом тут ваще не пахнет.

Мультикаст рассылка 224.0.0.0/4 обеспечивает одновременную рассылку на 268435454 узлов.

Реально узлов всего 10 000. Обеспечивается деревом где-то из сотни коммутаторов.

Засерание извилин на лицо.

«when one thread reaches an idle state, the executing thread can then fully leverage shared resources

иии? это и есть принцип работы usvi. ... чем это отличается?

Сдается мне кроме картинок в рекламе ты про usvi/usvii ничего не знаешь. Выдержки которые я привел описывают принцип работы _именно_ us vii (simultaneous multi threding). Принцип работы us vi называют vertical multi threding и описаны абзацем выше в том-же доке. Чем они отличаются - посмотри в документации, вместо того чтобы „гадить на форуме“. Самому пригодится. Названия документов я привел.

Если цепляться к словам - в Mx000 нету obp, там XSCF с линуксом. Да, назначение примерно то-же, но уж больно много у тебя подобных оговорок.

примитивные числовые расчеты с массивами integer и float

подозреваю, это не самые лучшие примеры многопоточности ))

Обоснуй. И подумай о том, что чем больше обрабатываемый поток данных - тем сильнее будет деградироват производительность при разделяемом кэше.

со временем туго, так, нагадить на форуме хватает, но если есть интерес, можно померятся письками в привате.

Мне все равно где мерять письки ультраспарков. Результаты тестов о которых говорил я запощу сюда чуть позже. Если за твоими словами кроме „нагадить в форуме“ что-то стоит - можешь провести свои тесты и прислать результаты сюда или мне в приват, я перешлю сюда.

срач такой срач.

столько фарса ради комедии...

>с линаксом

Проследуйте на прием.

>Мультикаст рассылка 224.0.0.0/4 обеспечивает одновременную рассылку на 268435454 узлов

А FF::0/8 - и того больше. :-)

>текнолоджи-текнолоджи, всем плясать

А как же - тут втирают, что у сунь (RIP), точнее, у Fujitsu-Siemens мега-пупер-Ынтерпрайз текноложди оф айо систем, а на деле - пшик, дерево из свитчей.

конечно не 16х, как в модных пц, но 8х.

Это всего или на каждый CMU? Хотя все равно мало на столько портов. В «модных пц» корневые концентраторы имеют сильно больше 16 лейнов.

а вы что-то более 8х видели, кроме видеокарты

Например, вот такие игрушки: http://www.qlogic.com/SiteCollectionDocuments/Solutions/Dell/Brochures/QLE728...

http://directory.advancedimagingpro.com/product/68107/One_Stop_Systems_PCI_Ex...

И вообще, при чем тут число лейнов на портах? PCI-e - пакетная шина.

Но потом настроение вернулось в предыдущее состояние, когда издалека показали компы, на которых венда хр.

Да-да-да, по евроспорту показывали. Отличное кино. Восхищен канадцами. В Сочях наверняка все будет на откатах, даже поставка букетиков для победителей. А в Канаде даже мысли об этом не возникло - дали букеты собирать бывшим теткам-зечкам, что б в социум их вернуть и денег дать заработать. Вот жеж, мля, страна так страна!

пля... «мысли не возникло», LOL. почему чужому агитпропу веришь, а своему нет? он вообще говоря везде одинаковый. а до _их_ масштабов афер и откатов нам как до китая раком. почитай например «Как зовут вашего бога». Или «Восходящее солнце» (это в целом, про бардак) Крайтона если своим не доверяешь. а то как дети малые, блин.

краснаглазики негодуе опять - лялекс не пустили к большим дядям в продакшн. удел лялекса - гуглы и прочие УГ-говносайтики в говноинетке.

>Если цепляться к словам - в Mx000 нету obp, там XSCF с линуксом. Да, назначение примерно то-же, но уж больно много у тебя подобных оговорок.

эээ... ну, как бы, ты не прав.
XSCF - это тип системного контроллера, которых у сана много (sc, rsc, lom, ilom, alom и системный контроллер на базе соляриса у амазонов).
А OBP (интерфейс к микрокоду машины, а точнее, домена) есть у всех Sun SPARC машин.

эээ... ну, как бы, ты не прав.

ок, принято

со временем туго, так, нагадить на форуме хватает, но если есть интерес, можно померятся письками в привате. мыльце в профиле. тоже интересно погонять. железо есть.

Итак.
http://rapidshare.com/files/350649580/test_m5k.zip.html - скрипты и результаты. Гонялось на m5k, 8 x 4core US VII CPU. Запускались test_plsql.sh и test_gzip.sh в 8 потоков либо на 1cpu x 4 core x 2 strands (res_1x8) либо 2 cpu x 8 core x 1 strands.
Результаты смотреть в test_plsql.log и test_gzip.log в каталогах res_1x8 и res_2x8 соответственно.

После этого можешь еще раз рассказать о том насколько независимы потоки на usvii и продемонстрировать это наглядным примером. Или в очередной раз «нагадить на форуме».

Для Ъ озвучу результат - при использовании потоков производительность в данных примерах падает в 1,3-1,6 раз. В реальных приложениях бывало и более.

В биореактор, быдло!

Судя по первым трансляциям с олимпиады, система ГОВНО. Ничего толком не понять, кто впереди, кто позади, у кого какой выигрыш/проигрыш... Есть же вполне устоявшаяся система отображения информации. Зачем изобретать велосипед с квадратными колесами?

Помнится, на олимпиаде в Нагано использовали OS/2, теперь посчитайте, сколько осталось жить OS Solaris :)

> Гонялось на m5k, 8 x 4core US VII CPU

спросим любителя цепляться к словам, что такое есть US VII?

> Помнится, на олимпиаде в Нагано использовали OS/2, теперь посчитайте, сколько осталось жить OS Solaris :)

чего ж тогда линухоиды страдают, что линух не берут в информационные системы олимпиады? ведь, согласно вам, сдохнет же после этого?

линухоиды страдают

Может быть я и линуксоед, но не страдаю. Немного удивлён, но ведь мы-то знаем...

согласно вам

Смотри на чей пост отвечаешь. Я не «вы» и не «линухоиды».

а мне бошльше интересно что за система управляла визуальными, аудио и аппаратными эффектами на открытии олипиады, у кого нибудь есть информация на эту тему?

Топик не читал. Кто-нибудь уже сказал, что люмпениады не нужны? Хотя, лучше шесть в Канаде, чем одна в Сочи. Надеюсь, она сдохнет до рождения.

Наши, как всегда, позади. Что тебе не понятно?

>Наши, как всегда, позади.

Ололо! Про долго запрягают, а потом быстро скачут тебе рассказать или сам помнишь?)

ЗАЧЁТ ЗА АВАТАРУ

Наши будут впереди не раньше, чем вернется Советская власть.

спросим любителя цепляться к словам, что такое есть US VII?

Это ты EvgGad_303 спросил, именно он употребил это термин первым в http://www.linux.org.ru/jump-message.jsp?msgid=4551725&cid=4552724

>Наши будут впереди не раньше, чем вернется Советская власть.

Значит надо быстрее вернуть. Пока лимпиада не кончилась - чтоб успели нарубить золота.

Кто желает быть Лениным? Броневичок, так уж и быть, раздобуду.

> Может быть я и линуксоед, но не страдаю. Немного удивлён, но ведь мы-то знаем...

Смотри на чей пост отвечаешь. Я не «вы» и не «линухоиды».

Ну ладно, с волками жить, по-вольчи выть. На твой пост отвечаю. Потому как ты намек высказал. А про линуксоедов это не тебе было, а как комментарий к треду. Впрочем, то что ты среагировал, красноречиво говорит о том, что ты страдаешь, несмотря на то, что утверждаешь обратное.

>> спросим любителя цепляться к словам, что такое есть US VII?

Это ты EvgGad_303 спросил, именно он употребил это термин первым в http://www.linux.org.ru/jump-message.jsp?msgid=4551725&cid=4552724

Это был вопрос или утверждение? Впрочем, «спарк7» ничем ни лучше.

Кстати по поводу результатов. Они показывают не совсем то, что вы думаете, а скорее то, что вы выбираете весьма странные тесты для измерений, либо не понимаете, что вы измеряете. Во всяком случае, ваши два теста очень напоминают анекдот про японскую пилу и суровых сибирских мужиков.

Или у вас продуктивные системы только и делают, что жмут данные из /dev/urandom и производят массированные вычисления с плавающей точкой?

Это был вопрос или утверждение?

Это утверждение, по ссылке - первый случай

Кстати по поводу результатов. Они показывают не совсем то, что вы думаете, а скорее то

Изобрази хоть что нибудь, что с одинаковой скоростью выполняется на 2х отдельных ядрах и на одном ядре в 2 потока. А то языком трепать, как известно, не мешки ворочать.

> Изобрази хоть что нибудь, что с одинаковой скоростью выполняется на 2х отдельных ядрах и на одном ядре в 2 потока. А то языком трепать, как известно, не мешки ворочать.

Вагон мешков перетаскал пока свои тесты делал? В курсе, что скорость и пропускная способность - это несколько разные понятия (хотя и связанные некоторым образом)?

Че добиться-то хочешь? Открыть всем глаза на известную особенность SPARC64 VII?

Вобщем, пешы исчо...

Че добиться-то хочешь? Открыть всем глаза на известную особенность SPARC64 VII?

В данном случае - конкретному нидивидуму, не знающему об этой особенности и утверждающему что ее не существует.
Лично к тебе не обращался. Так что можешь умолкнуть.

В курсе, что скорость и пропускная способность - это несколько разные понятия

А каким боком SMT относится к пропускной способности?

известную особенность SPARC64 VII

Кому она известная? У Сана про нее ни слова. Когда столкнулись с этим впервые, сановский саппорт так и молчал как партизан.

спасибо, счетовод, поржали всем отделом.
а ничего, что в первом случае ты считаешь одним физическим процессором, а во втором двумя, задачу чисто на герцы?
конечно у него падение производительности, только вот это не падение, а прирост.
я тебе говорил, что они просто по другому работают, здесь вам не х86 хайпертред. или скажешь ядра тоже беспонтовая тема, но у них же тоже разделяемые ресурсы.
тут вопрос в том во сколько потоков ты сможешь запустить задачу. и таких задач, чтоб один процесс занимал 100% процессорного времени очень мало. еще и без обращений к памяти.
а с каким пафосом приводил выдержки из доков которых не понимает.
english muthafukka... do you speak it?!?!

а после перла с obp можешь бабушке-вахтеру рассказывать про управления ресурсами.

зы насчет usvii, это для таких неокрепших умов, а то бывают вопросы про что это.
однако ust2 работает по принципу sparc64 vi, так что почти usvi, но это немного юмора.

за сим разрешите откланятся, ибо тебе со мной меряться больше нечем...

ему походу как раз мешки таскать, с его уровнем спарка, страшно за машины ему довереные.
кстате, поведайте, что за особенность?

конечно молчал, все под столом лежали ;)

и smt очень даже относится к io подсистеме. много одновременных процессов, подумай об этом...

>>Это всего или на каждый CMU?
это на каждый слот.

по ссылке раз штука для объединения машины в числодробилку, м серия совсем не для этого.
на т2 есть 16х, но тоже не для таких девайсов )
а когда их две по 8х то и скорость не теряется, и в случае отказа все работает.

по ссылке два чего-то я не совсем понимаю что это

может там host channel adapter имеется ввиду?

Похоже, с тобой разговаривать бесполезно, посколько кроме как на гадить в форуме ты похоже ни на чо не способен.

Твои слова?

на usvii отключив треды по-сути отключишь половину проца. они просто по другому работают.

В документации которую я приводил на прямо и ясно говорилось об обратном. Если ты не способен прочесть и понять - твои проблемы.

за сим разрешите откланятся, ибо тебе со мной меряться больше нечем...

а ничего, что в первом случае ты считаешь одним физическим процессором, а во втором двумя, задачу чисто на герцы?

Предложи пример демонстрирующий иное. До тех пор можешь кланяться, т.к. меряться с тобой трепом я не буду.

ты свой уровень уже показал
думать тоже иногда надо, а не тупо документацию запоминать.
там ошибки/опечатки тоже бывают.
потому что там где нужны такие машины редко бывают задачи забивающие 100% в один поток_или_как_еще_это_назвать_чтоб_ты_понял.

Предложи пример демонстрирующий иное.

что иное??
что тебе еще продемонстрировать? 8 процов с одним ядром против одного но все включено и заставить посчитать цифры - И Д И О Т.

а не тупо документацию запоминать.

ты не смог ее даже прочесть.

что тебе еще продемонстрировать? 8 процов с одним ядром против одного но все включено и заставить посчитать цифры

8 процов с 1 ядром посчитают быстрее. и?

И Д И О Т.

Сколько эмоций. Странно что мало восклицательных знаков.
Когда нет аргументов определенная категория переходит на личности, это известно.

Возможно, у тебя хватит ума и в IBM написать, что мол они идиоты и предлагают отключать половину ядер на своих серверах, для повышения производиельности в некоторых задачах.
http://www.cnews.ru/news/top/index.shtml?2010/02/08/378872

>>8 процов с 1 ядром посчитают быстрее. и?
и о чем тогда твои тесты?
о даа, не используя второй поток, но задейтвуя второй cpu, однопоточник рвет в тряпки герцовую задачу, для этого еще и тесты надо придумывать.

Возможно, у тебя хватит ума и в IBM написать

а ничего что ibm и sun разные конторы и производят разное железо?
но мне таки кажется да, маркетологи их совсем пходу того, нужно много попугаев, купите себе 50 х86 и щелкайте цифры аки семечке.
раз больше не придумать, чем машину занять.

> Лично к тебе не обращался. Так что можешь умолкнуть.

Да вы, сударь, банальное хамло.

В курсе, что скорость и пропускная способность - это несколько разные понятия

А каким боком SMT относится к пропускной способности?

А подумать? Или все разжевывать надо? Или вы думаете, что к пропускной способности только CMT относится?

известную особенность SPARC64 VII

Кому она известная? У Сана про нее ни слова.

Тем, кто головой думает, как минимум. Объем кэша второго уровня у SPARC64 VI и SPARC64 VII одинаковый, а количество ядер у второго в два раза больше. Поэтому очевидно, что если запускать задачи, которые будут конкурировать за кэш и вызывать так называемый cache thrashing, производительность будет страдать. И в этом случае выключение вторых потоков на каждом ядре приведет к уравниванию количества потоков со SPARC64 VI, но это будет 4 независимых потока по одному на ядро, в отличие от 2 потоков на каждом из двух ядер в случае SPARC64 VI, которые, к тому же, VMT.

Впрочем, глядя на ваши результаты, нельзя сказать что это имело место:

gzip 1x8: real   1m25.59s user   3m31.88s sys   6m2.13s

gzip 2x8: real   1m3.41s user   2m11.18s sys   4m55.82s

То есть со всеми потоками тот же объем работы был выполнен на 22 секунды быстрее.

С plsql'ем такая же фигня:

plsql 1x8: real   2m57.48s user   19m48.24s sys   0m1.20s

plsql 2x8: real   1m49.45s user   12m15.19s sys   0m0.73s

Аналогично - один и тот же объем работы был выполнен на 1 минуту8 секунд быстрее.

Почему не в два раза? Дык вроде никто и не утверждал, что будет в два раза быстрее. Еще на HotChips об этом говорили:

http://hotchips.org/archives/hc20/3_Tues/HC20.26.921.pdf

Когда столкнулись с этим впервые, сановский саппорт так и молчал как партизан.

Саппорт - это организация, призванная помогать, когда что-то сломалось. Поскольку у вас ничего на самом деле не сломалось, но вы, по всей видимости, думали иначе, то вы просто обратились не туда. Вам надо было в консалтинг.

> однако ust2 работает по принципу sparc64 vi, так что почти usvi, но это немного юмора.

Это, мягко говоря, не так.

И да, давайте называть процессоры своими именами. Потому как usvi и usvii не бывает, бывает UltraSPARC VI+, SPARC64 VI и SPARC64 VII.

> бывает UltraSPARC VI+

тьфу, UtraSPARC IV+ конечно..

> Впрочем, глядя на ваши результаты, нельзя сказать что это имело место:

My bad, 1x8 и 2x8 надо было интерпретировать с точностью до наоборот. Я почему то думал, что 1x8 - это по одному потоку на ядро, а 2x8 - два потока на ядро. А оказывается, 1x8 - это один процессор со всеми включенными потоками, а 2x8 - это два процессора с половиной потоков.

Но тогда эти результаты не вполне понятно, как сравнивать. Впрочем, то, что результаты с одним процессором хуже не в два раза, а гораздо меньше, то нужно признать, что SMT свое дело таки делает.