LINUX.ORG.RU

параллельные и распределённые вычисления: нужны советы по выбору инструментов

 , , ,


0

3

Доброго времени суток,

я тут начинаю новый проект и нахожусь на первоначальной стадии выбора инструментов для научно-исследовательских вычислений в своей области. Т.е. несмотря на то, что шефы советуют пользоваться мак-компьютерами, взял старенький компьютер, поставил туда Линукс и спокойно работаю на этом резвом товарище, т.к. основые расчеты всё равно будут проводиться на суперкомпьютерах, кластерах и в сети EGEE (возможно, но не уверен). А там всё равно линкус стоит.

Шефы изначально не хотят чтобы все расчёты были завязанны на коммерческие продукты вроде Matlab, поэтому буду идти в сторону использования бесплатных языков программирования и скриптов. Что само по себе мне нравится.

Следующий момент - в расчётах точно нужно будет вести параллельные расчеты (на нескольких ядрах, процессорах или компьютерах одновременно). Возможно нужно будет организовать обмен данными между этими ядрами, процессорами и хостами, но я бы хотел избежать это по возможности. Важно чтобы быстро можно было посчитать и не важна возможность вывода данных в графическом виде. Всё равно для подготовки графиков я буду использовать что-то другое.

Пока читаю и смотрю в сторону использования MPI, openMP, openMPI, Erlang (слышал, но ещё не добрался до него).

Можете посоветовать еще варианты и в какую сторону посмотреть? Какие могут быть подводные камни? Что почитать? До библиотеки по этой теме не добрался еще, т.к. читаю пока другое. Так что если посоветуете что почитать, то это будет как раз вовремя.

спасибо :)

Ответ на: комментарий от AIv

Ты не имеешь к науке никакого отношения. Ты не можешь показать обсчетсву ни одной своей статьи.

Это явная ложь. Думаю, математик должен уметь делать логические заключения, основываясь на фактах. А все основания для такого вывода - это то, что я не собираюсь деаномизироваться на ЛОРе. При желании, можно было бы сообщить приватно. Но опять же - зачем. Если человек мнит себя чуть ли не Перельманом.

По пунктам:

1. Создание ПО - это достойно степени, но не к.ф.-м.н., а скажем, кандидата технических наук.

2. Статья - это выжимка из диссера, где вместо 120 страниц предлагается в десять раз меньше, чтобы понять - стоит это изучать или нет. Но я должен объяснять эти прописные истины. Перельман не диссер предлагал читать, а статьи. Поэтому ваши заявления про «читайте диссер» - ни в какие ворота.

3. То, что регистрант на ЛОРе бьет себя пяткой в грудь и заявляет про радикальный прорыв, для меня ни разу не аргумент. Статья - это реклама. Значит, вы не умеете создавать себе рекламу. Зато послать оппонента на три буквы или гугл - это вы всегда горазды.

4. И что я найду в этом гугле? Журнал РАН «Информационные технологии и вычислительные системы»? Во-первых, 2005, 2006 год, а после - затишье. Что, результаты закончились? Опять же, если есть тема, в нее надо бить постоянно, каждый год по статье или чаще. Во-вторых, в этих ваших журналах РАН пишут тАкое, что его авторитет ничтожен.

5. Отсутствие англоязычных статей. Писали бы хоть в переводной журнал. Перельман, с кем вы себя сравнили, написал на английском. И признание получил за рубежом, после чего был быстро восстановлен в должности в ПОМИ РАН.

iVS ★★★★★
()
Ответ на: комментарий от devl547

хлам и старье, но зато его много;-) И не в одни флопсы все упирается, еще диски, память, связь между узлами... к100 вполне актуальная машина.

Понятно что моно купить все что угодно если есть деньги. Я думал Вы знаете какие то другие кластера GPGPU на которые можно получить доступ.

AIv ★★★★★
()
Ответ на: комментарий от iVS

1) если бы Вы потрудились почитать заклбчение диссера, что именно защищалось, то не писали бы тут ерунды. это 2 страницы. А Вашел фапание на наукометрию показывает Вашу удаленность от науки совершенно очевидным образом.

2) статьи укзаны в том же диссере и в гугле, интересно - читайте.

3) мы обсуждаем маркетинг или научный результат? Я с Вами общаюсь ровно в том тоне, который Вы сами и задали.

5) Вы че то попутали. Я лично себя никем не мню, диссер не мой. Автора диссера я тоже не мню Перельманом, Перельман был лишь примером того, что вся эта наукометрия яйца выеденного не стоит. Отсальное Вы себе придумали сами.

4) Если б Вы заглняули в список литературы диссера - там есть статьи и посвежее 2006г. Если бы погуглили - нашли бы и англоязычные сатьи.

Мнение, что эти результаты являются прорывными далеко не только мое. Впрочем, Вас я в этом убеждать не собираюсь, интересно - спрашивайте, не интересно - идите троллить в тему про логарифмы.

AIv ★★★★★
()
Ответ на: комментарий от AIv

И в науке ты думаешь так же, есть неск. чиселок, характеризующих ученого.

И тем не менее эти «чиселки» во всем мире считают.
Рамануджанов, перельманов и мотидзуки единицы. А тех перельманов, которые не осилили выложить в интернет свое исследование на английском языке (да так, чтобы оно кого-нибудь заинтересовало), наверное, еще меньше.

basp
()
Ответ на: комментарий от AIv

Кстати нвидиа дает бесплатный удаленный доступ к свои теслам. Разработку так вести, конечно, не получится, но потестить таким образом нам кое-что удалось

basp
()
Ответ на: комментарий от AIv

4) Если б Вы заглняули в список литературы диссера - там есть статьи и посвежее 2006г. Если бы погуглили - нашли бы и англоязычные сатьи.

http://lmgtfy.com/?q=LRnLA
Ну и где результаты? Меня интересуют англоязычные статьи. Впрочем, я уже вторую страницу не могу их из вас вытянуть клещами.

iVS ★★★★★
()
Ответ на: комментарий от AIv

Вот, кстати, еще одна отечественная работа, не получившая, на мой взгляд, достаточного признания http://en.wikipedia.org/wiki/Group_method_of_data_handling . Но тут и публикаций полно и зарубежных в том числе

basp
()
Последнее исправление: basp (всего исправлений: 1)
Ответ на: комментарий от AIv

1) если бы Вы потрудились почитать заклбчение диссера, что именно защищалось, то не писали бы тут ерунды. это 2 страницы.

А сам-то читаешь, прежде, чем пустословить? Все пункты, исключая первый, про программный комплекс. Это не к.ф.м.н.

iVS ★★★★★
()
Ответ на: комментарий от basp

а оно таки есть на английском, и в неплохом журнале. Но ИМНО вся система журналов загнется в обозримом будущем. Архив куда оперативныей рабоатет, а в англицких рецензируемых журналах чуши не меньше пишут. Давеча был скандал, про бактерии и онкологию... англицкий вариант корчевателя.

Тесла у нас своя есть, интересен клатер на теслах.

AIv ★★★★★
()
Ответ на: комментарий от iVS

Вы наркоман штоле? Там применение комплексам к физтическим задчам в основном, это комплекс?

С телефона, да из веского каеф, мне не с руки эти статьи тут искать и выкладывать. Интересно найдете сами, нет - я Вас уже в игнор-лист добавил.

AIv ★★★★★
()
Ответ на: комментарий от AIv

Там применение комплексам к физтическим задчам в основном, это комплекс?

Если прога применяется в медицине, это тоже делает кандидатом медицинских наук? Может и людей лечить можно?

iVS ★★★★★
()
Ответ на: комментарий от AIv

дык и в обсудаемой работе публикаций полно, это iVS упоролся в хлам.

Почему у вас вопрос про публикации вызывает такие приступы ярости? Ну спросил человек какая у вас самая классная статья в журнале отличном от вестников российских университетов, что ж теперь его ненавидеть за это?

Давеча был скандал, про бактерии и онкологию... англицкий вариант корчевателя.

Сий корчеватель был за ради троллинга открытых журналов. К слову сказать PLoS ONE оказался на высоте.

ebantrop
()
Ответ на: комментарий от ebantrop

«ярость» вызвает не вопрос о публикациях, а заявления типа " у вас все фигня потому что нет публикаций". Во первых публикацмй достаточно, человек просто искать не умеет. Во вторых сама оценка результата по такому критерию как публикационная активность есть полная фигня. Это в турецом центре его дрючат за отсутвие публикаций, но мы то не в турции... нашим заказчикам интересно мы посчитать можем, а не число наших статей.

AIv ★★★★★
()
Ответ на: комментарий от AIv

Мне извинится за что?

Попробуй за это параллельные и распределённые вычисления: нужны советы по выбору инструментов (комментарий)

И ты же меня заигнорил, чего так вдруг снизошел? Я жду англоязычной публикации, а меня - в игнор. В диссере таких не указано, емнип.

iVS ★★★★★
()
Ответ на: комментарий от AIv

Во вторых сама оценка результата по такому критерию как публикационная активность есть полная фигня.

Так я ж и говорю, у вас что не плюнь в ИПМ - одни Перельманы. К ним, видите ли, особый подход нужен!

Это в турецом центре его дрючат за отсутвие публикаций, но мы то не в турции

Да ты еще и клоун! Географию учи!

iVS ★★★★★
()
Ответ на: комментарий от AIv

«ярость» вызвает не вопрос о публикациях, а заявления типа " у вас все фигня потому что нет публикаций".

Ну как я понял у вас все в русскоязычных журналах опубликовано.

Во первых публикацмй достаточно, человек просто искать не умеет.

Ну когда просят я обычно с удовольствием высылаю статьи, а не посылаю собеседника искать.

Во вторых сама оценка результата по такому критерию как публикационная активность есть полная фигня. Это в турецом центре его дрючат за отсутвие публикаций, но мы то не в турции...

Ну это кабэ общепринятый критерий. Можно долго рассуждать хороший он или плохой, но критерий есть.

нашим заказчикам интересно мы посчитать можем, а не число наших статей.

Что значит заказчикам?

ebantrop
()
Последнее исправление: ebantrop (всего исправлений: 1)
Ответ на: комментарий от iVS

Да я в курсе, у него каждый раз на своей лрнла истерика случалось. С предыдущего раза я у него в игноре даже оказался. Ты следующий.

aedeph_ ★★
()
Ответ на: комментарий от iVS

Я жду англоязычной публикации, а меня - в игнор.

Это врдядли. Вообще это явление — какая то обще РАНовская попаболь.

ebantrop
()
Ответ на: комментарий от aedeph_

Да я в курсе, у него каждый раз на своей лрнла истерика случалось. С предыдущего раза я у него в игноре даже оказался.

Это систематически так его забирает?

ebantrop
()
Ответ на: комментарий от ebantrop

я щас в Вене, сижу с телефона. У меня физичисеки нет возможности ему че то послать, толкьо в гугл.

бщепрриянытй критерий - если ты ученый - смотришь работу (пофик где она опубликована) и говоришь «да, это круто». Или «это аццтой». Или «я ниче не понял, это не моя область». А когда чел грит «это аццтой потому что нет статьи в нейчер», то как мин чел сноб, а как макс просто дурак. Потому что уровень результата не зависит от того где и на каком языке он опубликован.

Заказчики - это те для кого мы считаем сейсмику пр. на основе тех самых алгоритмов. Никакой истерики у меня нет, в игнор обычно добавляю тех с кем не хочется общаться по ряду причин. Как этого, аедптфа - он помнится много хамил и был зело упорот.

AIv ★★★★★
()
Ответ на: комментарий от ebantrop

к слову о результатах - сейчас на GPGPU сейсмика (задача о аспространении упругих волн, сетка 512х512х512 узлов, 512 шагов по времни) считается 3мин. Те кто в курсе говорят или «офигеть как круто», или «этого не может быть». Но iVS первый на моей паяти кто сказал «это аццтой, потому что нет статьи в нейчер». Ну во всяком случае я так его позицию понял, могу ошибаться.

AIv ★★★★★
()
Ответ на: комментарий от AIv

Потому что уровень результата не зависит от того где и на каком языке он опубликован.

Уровень действительно не зависит. Только оценить его тяжело, если он не опубликован на английском. Так уж вышло. Про раскопанные публикации на языке племени майя люди до сих спорят что они там имели ввиду.

Заказчики - это те для кого мы считаем сейсмику пр. на основе тех самых алгоритмов.

Прикольно. Так вы наукой занимаетесь или за деньги кому считаете?

Вот вы вроде исходники опубликовали, было бы описалово на английском — вам же лучше. Например BOBYQA. Я использую этот метод. Он был опубликован в виде исходников и какого-то университетского отчета на который уже больше сотни ссылок. Правда это Powell, который DFP, тот что был перед BFGS.

ebantrop
()
Ответ на: комментарий от AIv

Те кто в курсе говорят или «офигеть как круто», или «этого не может быть».

«Офигеть как круто», или «этого не может быть» не являются научными критериями. Научным критерием в данном случае может быть теория, изложенная в статье за пределами журналов РАН. Вот я такую статью и прошу. Заметьте, не талмуд на 120 страниц и не расчетную статью «смотрите, как мы тут насчитали, и как все круто получилось». Мне не нужен ответ на вопрос «как», а нужен ответ на вопрос «почему».

iVS ★★★★★
()
Последнее исправление: iVS (всего исправлений: 1)
Ответ на: комментарий от AIv

это аццтой, потому что нет статьи в нейчер

Здесь нарушена причинно-следственная связь. Если есть nature, то вещь скорее всего годная. Потом iVS спросил про журнал на английском, что вполне себе разумная просьба. Вы ведь знаете что есть еще много всяких журналов кроме nature, тот же ieee около сотни издает весьма неплохих.

ebantrop
()
Ответ на: комментарий от ebantrop

в основном наукой, но поскольку за нее платят кране мало, то и считаем за деньги. Но это и для науки полезно, решение прикладных задач (которые тоже наука, только в другой области) расширяет кругозор, и позволяет поянть чего твои методы стоят на самом деле.

На английском что то автор cfMaxwella писал. В принципе в гуле набрать «levchenko LRnLA» - оч много ссылок, есть и на англицком. Ну и опять таки, если русский язык забыт напрочь, напишите автору - дайте статью на англицокм. Я то не автор...

AIv ★★★★★
()
Последнее исправление: AIv (всего исправлений: 1)
Ответ на: комментарий от AIv

в основном наукой,

Ну так наука — тусовка, тусовка — статьи, статьи — гранты. Или я чего то не понимаю?

но поскольку за нее платят кране мало, то и считаем за деньги.

Сейсмические расчеты это же всякая нефте-газо разведка. Денег казалось бы нормально должно быть.

В принципе в гуле набрать «levchenko LRnLA» - оч много ссылок, есть и на англицком.

Ха, ссылка из гугля номер раз: www.linux.org.ru/wiki/en/User:AIv/LRnLA Не уверен хорошо это или плохо.

ebantrop
()
Ответ на: комментарий от ebantrop

Ну так наука — тусовка, тусовка — статьи, статьи — гранты. Или я чего то не понимаю?

Ну так статьи есть. Гранты правда копеешные.

Сейсмические расчеты это же всякая нефте-газо разведка. Денег казалось бы нормально должно быть.

Не в РФ, тут своя специфика... ну скоко есть, стоко есть.

Ха, ссылка из гугля номер раз

Это к махкому вопрос, почему ЛОР индексируется лучшем чем все остальное;-)

AIv ★★★★★
()
Ответ на: комментарий от iVS

Научным критерием в данном случае может быть теория, изложенная в статье за пределами журналов РАН.

Я не очень понимаю, почему менно за пределами журналов РАН, и чем эта в бозе почившая организация Вам так не угодила. Из того что я знаю, самая последняя статья вот http://iopscience.iop.org/1742-6596/441/1/012014 - про сам алгоритм там правда не много. Больше ничего к приведенному выше добавить не могу.

AIv ★★★★★
()
Ответ на: комментарий от iVS

Мне извинится за что?

Попробуй за это параллельные и распределённые вычисления: нужны советы по выбору инструментов (комментарий)

Я беру назад свои слова о том, что Вы не имеете отношения к науке. Такое ощущение у меня сложилось до того как Вас деанонимизировали потому, что Ваша позиция (о том что результатом является лишь то, что опубликовано в иностранных журналах с высоким импактом) ИМНО совершенно не приемлема для ученого. Впрочем Ваши убеждения и привеженность всяческой наукометрии исключительно проблема Вас и Ваших коллег/работодателей.

Но это не извинения, извинения будт после того, как Вы извинитесь за это параллельные и распределённые вычисления: нужны советы по выбору инструментов (комментарий) и это параллельные и распределённые вычисления: нужны советы по выбору инструментов (комментарий)

AIv ★★★★★
()
Ответ на: комментарий от iVS

И для аспиранта университета, у которого согласно вики известные выпускники

1953 — Мауно Койвисто (р.1923), президент Финляндии

1971 — Тимо Аираксинен (р.1947), профессор, завкафедрой моральной философии Хельсинкского университета

1974 — Саули Нийнистё (р.1948), президент Финляндии

1995 — Юсси Туомола (р.1965), финский художник комиксов

называть МФТИ и ИПМ им М.В.Келдыша шарашкиной конторой... я бы Вам убедительно советовал подумать над сдутием ЧСВ;-)

Не то, что в этих конторах все гладко (местами щас так просто ужастно), но у меня например в комнате стоит стол за которым работал Я.Б.Зельдович. У Вас там черновики комиксов Юсси Туомала часом в шкафу не валяются?;-)))

AIv ★★★★★
()
Ответ на: комментарий от AIv

Ваша позиция (о том что результатом является лишь то, что опубликовано в иностранных журналах с высоким импактом) ИМНО совершенно не приемлема для ученого

Как ни странно, на сегодня это лучший способ донести общественности свои результаты. А работать по старинке, публикуясь как придется (и на языке, который не является на сегодня языком науки), сейчас не пройдет. Сегодня идет такой шквал научных работ, что отыскать среди них те, что стоят внимания, сложнее иголки в стогу сена. Сколько работ одних китайцев, которых взашей гонят из приличных журналов, но они как грибы, появляются вновь и вновь. Если результат стоящий, опубликовать его за рубежом не так и сложно.

извинитесь за это параллельные и распределённые вычисления: нужны советы по выбору инструментов (комментарий) и это параллельные и распределённые вычисления: нужны советы по выбору инструментов (комментарий)

Был не прав, приношу глубочайшие извинения.

Но это не извинения, извинения будт после того

Извиняться дальше ни к чему, мы не институт благородных девиц. Рад, что удалось найти общий язык.

iVS ★★★★★
()
Ответ на: комментарий от AIv

И для аспиранта университета

Уже не аспиранта https://www.doria.fi/handle/10024/92220

У Вас там черновики комиксов Юсси Туомала часом в шкафу не валяются?;-)))

К сожалению, нет.

iVS ★★★★★
()
Ответ на: комментарий от iVS

Как ни странно, на сегодня это лучший способ донести общественности свои результаты.

Вы правы, но не всякий результат стоит доносить. КОнкретно LRnLA в итоге автор наск я понял решил не доносить - не потому что жалко, а потому что практически бессмысленно (даже на русском), людей которые смогли бы им воспользоваться по ряду причин исчезающе мало. Сейчас сосредоточилоись над прменением алгоритма к практическим задачам.

Был не прав, приношу глубочайшие извинения.

Взаимно. Я иногда бываю излишне эмоционален;-(

Уже не аспиранта

Поздравляю!

AIv ★★★★★
()
Ответ на: комментарий от AIv

простое описание будет полезным, т.к. с ходу я не смог понять. Дис так же прогодится, если что, то буду ссылаться.

pivanov
() автор топика
Ответ на: комментарий от anonymous

В смысле, подобное?

Подобное в том смысле, чтобы гугл выдавал релевантные ссылки по программированию. Если просто использовать google.com, то слишком много шлака, т.е., по аналогии google.com vs scholar.google.com.

iVS ★★★★★
()
Ответ на: комментарий от AIv

сейсмика ... считается 3мин
сетка 512х512х512 узлов, 512 шагов по времни

Вот, а если поточнее захочется (хотя бы в 1000 раз), получится фигвам ☹

Anon
()
Ответ на: комментарий от ebantrop

у вас все в русскоязычных журналах опубликовано

Есть уйма русских журналов, имеющих переводы на аглицкий.

А вообще, пока ты на arXiv свою статью не положишь, никто о ней ничего не узнает! И индекса цитирования без arXiv'а ты хрена с два добьешься приличного!

Anon
()
Ответ на: комментарий от Anon

Есть уйма русских журналов, имеющих переводы на аглицкий.

Толку то? Многие из них публикуют корчевателей.

пока ты на arXiv свою статью не положишь, никто о ней ничего не узнает!

Да хоть 10 раз выложи, если ты не общаешься с людми никто не обратит внимания. Потом зависит от области.

ebantrop
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.