LINUX.ORG.RU

параллельные и распределённые вычисления: нужны советы по выбору инструментов

 , , ,


0

3

Доброго времени суток,

я тут начинаю новый проект и нахожусь на первоначальной стадии выбора инструментов для научно-исследовательских вычислений в своей области. Т.е. несмотря на то, что шефы советуют пользоваться мак-компьютерами, взял старенький компьютер, поставил туда Линукс и спокойно работаю на этом резвом товарище, т.к. основые расчеты всё равно будут проводиться на суперкомпьютерах, кластерах и в сети EGEE (возможно, но не уверен). А там всё равно линкус стоит.

Шефы изначально не хотят чтобы все расчёты были завязанны на коммерческие продукты вроде Matlab, поэтому буду идти в сторону использования бесплатных языков программирования и скриптов. Что само по себе мне нравится.

Следующий момент - в расчётах точно нужно будет вести параллельные расчеты (на нескольких ядрах, процессорах или компьютерах одновременно). Возможно нужно будет организовать обмен данными между этими ядрами, процессорами и хостами, но я бы хотел избежать это по возможности. Важно чтобы быстро можно было посчитать и не важна возможность вывода данных в графическом виде. Всё равно для подготовки графиков я буду использовать что-то другое.

Пока читаю и смотрю в сторону использования MPI, openMP, openMPI, Erlang (слышал, но ещё не добрался до него).

Можете посоветовать еще варианты и в какую сторону посмотреть? Какие могут быть подводные камни? Что почитать? До библиотеки по этой теме не добрался еще, т.к. читаю пока другое. Так что если посоветуете что почитать, то это будет как раз вовремя.

спасибо :)

Ответ на: комментарий от ebantrop

никто не обратит внимания

Твоя статья проиндексируется и будет участвовать в поиске. И если ты писал не на тему "какой длины МПХ йети", то довольно быстро твою статью кто-нибудь да обнаружит. А если там еще и что-то уникальное, не пройдет и года, как у тебя начнет расти пенис индекс цитирования.

Anon
()
Ответ на: комментарий от Anon

Есть уйма русских журналов, имеющих переводы на аглицкий.

Я уже об этом писал:

5. Отсутствие англоязычных статей. Писали бы хоть в переводной журнал.

А вообще, пока ты на arXiv свою статью не положишь, никто о ней ничего не узнает! И индекса цитирования без arXiv'а ты хрена с два добьешься приличного!

Все приличные университеты за рубежом имеют подписки на научные издания. Arxiv рассматривается вариант для нищебродов. У него одна цель: застолбить результат до того, как статья опубликована в приличном журнале.

iVS ★★★★★
()
Ответ на: комментарий от ebantrop

Толку то? Многие из них публикуют корчевателей.

И что? Многие англицкие журналы тоже, просто не таких явных.

AIv ★★★★★
()
Ответ на: комментарий от iVS

Arxiv рассматривается вариант для нищебродов

А у нас наука именно в таком состоянии. Вон, недавно директор говорил на ученом совете, сколько подписки на электронные журналы стоят. Это жесть!

Ну и про Перельмана ты правильно вспомнил: "нищеброды" вообще могут просто в arXiv писать. Если результаты достойные внимания, их заметят.

Anon
()
Ответ на: комментарий от Anon

Если результаты достойные внимания, их заметят.

Да. Мой основной посыл был в том, чтобы результат был описан на английском. Это необходимое условие, чтобы его заметили.

iVS ★★★★★
()
Ответ на: комментарий от iVS

Во-во. А если диссер — говно, то лучше вообще публиковаться в как можно более огороженных журналах (у нас полно "ВАКовских" платных журналов: понятно, что никто их не читает, зато "полноценную публикацию" этот журнал дает).

Anon
()
Ответ на: комментарий от AIv

Эх... с ностальгией смотрю на Вашу целомудренную наивность. Тоже таким был;-)

Я без намеков на кого-либо из присутствующих в этой теме, прошу не обижаться. Просто напомнило:

Старый донжуан в кругу своих друзей жалуется на то, что годы отняли у него многие прежние радости.
- Ну зачем же так расстраиваться, - утешает его сердобольная дама. - Ведь, говорят, в каждом возрасте свои прелести...
- Да, конечно, но в молодости - еще и чужие...

iVS ★★★★★
()
Ответ на: комментарий от Anon

Эдди, ну что ты как недавно защитившийся аспирант? Али ты не в курсе, что современная наука как мин на 50% состоит из «добросовестно заблуждающихся» ученых, пишущих на основе своих заблуждений внешне вполне приличные статьи в т.ч. в весьма и весьма приличные журналы? Вот тебе примеров на вскидку по темам:

Стохастический резонанс - изначальное объяснение на основе совпадения частоты Крамерса и частоты внешней силы абсолютная лажа. Давно не слежу за публикациями, но более чем уверен что до сих пор многие его так объясняют, слишком устоявшийся миф.

Смена режима горения (дефлаграция в детонацию) - общепринятое объяснение через градиентный механизм Зельдовича ничего общего с действительностью не имеет. Опять таки, давно не слежу за публикациями, но опять таки уверен что до сих пор в год клепают десятками статьи где именно такое объяснение используют.

А история с уравнениями Алексеева? У него не статья - у него монография из-ва Эльзивир на англицком.

А МГД которым все что ни попадя считают, в т.ч. и за границами ее применимости (сильно неравновесные процессы)? Та же история и с ГД кстати.

А квазилинейная теория физики плазмы, которая нигде не верна, но которой многие до сих пользуются и даже докторские защищают?

Что бы написать статью в приличном журнале, что в русском что в английском, надо просто что бы твое мнение совпадало с мнением рецензента. Если твои результаты кардинально отличаются от общепринятых (а новые интересные результаты именно такие), то с высокой вероятностью специалисты их будут игнорировать достаточно долго, потому что «ученые тоже люди» - это что же, убеленная сединами мировая величина должна встать и публично сказать «простите люди добрые, всю жизнь фигней страдал»? Наука как ни странно, одна из самых консервативных сект...

AIv ★★★★★
()
Ответ на: комментарий от AIv

Али ты не в курсе …

В курсе, конечно. Но зато arXiv позволяет легко публиковать опровержения таких статей. Скажем, один человек находит темную материю, а другой приводит веские доводы, что никакой темной материи там нет!

У нас тоже полным-полно теорий, которые "традиционно" считаются доказанными. И будет очень забавно, когда кто-нибудь наконец-то обратит внимание на бредовость современной картины мира.

надо просто что бы твое мнение совпадало с мнением рецензента

В arXiv этого не нужно. А в журналах — да. Рецензент может "завернуть" статью даже из-за личной неприязни!

Anon
()
Ответ на: комментарий от iVS

Не, ну я не настолько стар... ;-)

К вопросу об объективности, де-жа-вю какое то с нобелевкой.

Неск лет назад нобелевку по биологии дали за какие то люминисцирующие белки одному буржую, и ребята из ИБХ совершенно справедливо возмущались почему не им - у них публикаций на эту тему было не меньше, и вклад их был вполне соизмерим. Спросил я у одного знакомого эксперта нобелевского комитета - что ж такое то? Тот прям весь взъярился - «да что вы в этом понимаете! не говорите ерунды!» а потом успокоившись признался - да, так или иначе каждый эксперт лоббирует что то свое, ему близкое и родное, «иксперты тоже люди».

Щас дали нобелевку по химии за МД. Ребята которые в теме несколько в афигении, тоже отмечают «неполученную премию»;-) ну и типа грят что список номинантов по данному вопросу вообще то далеко не полон;-)

AIv ★★★★★
()
Ответ на: комментарий от Anon

Я таки думаю, что будущее за архивом и вики (со временем появится вики «для ученых»). А рецензируемые журналы отомрут как мамонты.

AIv ★★★★★
()
Ответ на: комментарий от AIv

Тоже на это надеюсь. Правда, "деды" этому будут сильно сопротивляться.

Anon
()
Ответ на: комментарий от ebantrop

Так это еще хуже. Статью о влиянии пения на зрение пропускаешь сразу. А хорошую статью прочитаеш же, и только потом поймешь что там лажа;-)

AIv ★★★★★
()
Ответ на: комментарий от AIv

А хорошую статью прочитаеш же, и только потом поймешь что там лажа

Мне в этом смысле нравится PLoS ONE, там есть список чисто формальных параметров по которым ревьювер должен оценить статью. Новизны и интереса в списке нет. Проверяется только то что работа должна быть сделана чисто. Естественно это не спасает от недобросовестности. Да и ревьювер тоже может ошибаться.

Щас дали нобелевку по химии за МД. Ребята которые в теме несколько в афигении, тоже отмечают «неполученную премию»;-)

Какая то лузерская позиция.

ebantrop
()
Ответ на: комментарий от ebantrop

Что значит чисто? Начала термодинамики не нарушены? Больцман бы по таким критериям фиг бы свое уравнение опубликовал тогда, поскольку тогдашнее научная общественность искренне считала что у него «результаты работы противоречат начальным предпосылкам».

AIv ★★★★★
()
Ответ на: комментарий от AIv

Посмотрим какую позицию займете Вы, когда Вам так же не дадут;-)

У меня наглости не хватит кричать что мне не дали нобелевку, а дали кому то другому за то же самое что делаю я. Наоброт нужно порадоваться что занимаешься тем за что нобелей раздают.

ebantrop
()
Ответ на: комментарий от AIv

Что значит чисто?

http://www.plosone.org/static/reviewerGuidelines

Больцман бы по таким критериям фиг бы свое уравнение опубликовал...

Ну его гнобили довольно сильно, что не помешало ему стать профессором в 29 лет и остаться в истории.

ebantrop
()
Ответ на: комментарий от anonymous

scholar.google.com тебе не даст нахаляву статью скачать.

Anon
()
Ответ на: комментарий от AIv

Я таки думаю, что будущее за архивом и вики (со временем появится вики «для ученых»)

Вики на сегодня - отстой. Ее пишут студенты, не озабоченные и даже не знающие, как правильно подавать материал. Вместо карамельки, тебе дают сахар и говорят, сам сделаешь. В общем, без знаний в данной области не разобраться. А потом понимаешь, что любой учебник в сто крат лучше. Ибо информация в учебнике дается последовательно и хорошо раскладывается по полочкам, а не каким-то потоком сознания. Как способ подготовки к ЕГЭ википедия только и сойдет.

arXiv - не знаю. Я ленивый, поэтому не хочу читать все статьи подряд, должна же быть хоть какая рецензия.

iVS ★★★★★
()
Последнее исправление: iVS (всего исправлений: 1)
Ответ на: комментарий от ebantrop

Ну его гнобили довольно сильно, что не помешало ему стать профессором в 29 лет и остаться в истории.

Как замечательно тасуешь факты под себя! Он жизнь самоубийством даже покончил, потому что его не понимали.

iVS ★★★★★
()
Ответ на: комментарий от iVS

А потом понимаешь, что любой учебник в сто крат лучше

Беда в том, что актуальных учебников нет. Вот я, например, начал недавно экскурсии водить. Понял, что со времен института общие основы астрофизики подзабыл, а за это время появилось довольно-таки много чего новенького. Читать статьи — полезно, не спорю, но так ты общей картины не получишь, только разовьешь свою узкую специализацию. Учебники же, увы, писаны лет 20..50 назад!

Правда, их и писать-то некому: те, кто имеет достаточно знаний, не имеют времени или желания; те, кто имеет время и желание — не имеют знаний. В общем, опять эта проблема стада и пастуха: верхи могут, но не хотят, низы хотят, но не могут.

Я ленивый, поэтому не хочу читать все статьи подряд

Ты зря думаешь, что их там так дофига. Я вот, когда начинаю что-то нужное искать, зачастую натыкаюсь на то, что вообще фигвам какой-то! В лучшем случае — в пределах десятка статей. Быстренько пробегаясь по абстрактам, понимаешь, на что стоит обратить внимание. Ну, а там по-диагонали просматриваешь и выбираешь, что тебе стоит распечатать и почитать.

Anon
()
Ответ на: комментарий от Anon

Я немного неправильно, значит, представил свой посыл. Задай себе вопрос о том, что важнее: много не отсортированной инфы на все случаи жизни или мало информации, но хорошо структурированной? В своем выступлении, например, Каспаров говорил, что владение большей информации не делает выбор лучше. Наоборот, парадоксально, большего можно достичь с малой информацией, поскольку к ней относишься бережнее, не так расточительно. Не надо засорять мозги кучей бесполезного, все равно, мужской мозг устроен так, что эта информация попадет в такие отдаленные отделы сознания, что в повседневной деятельности она будет бесполезна. Посыл «больше знаю - больше могу» не работает. А с появлением интернета, гугла, вики кажется, что можно знать всё-всё и достичь больших высот. Не работает. Мозг не справляется с подобными объемами информации. Поэтому я предпочитаю лучше что-то не знать, но то, что знаю, знаю наверняка. Это подход Шерлока Холмса http://www.psychologos.ru/articles/view/racionalzpt_a_ne_digital

iVS ★★★★★
()
Последнее исправление: iVS (всего исправлений: 2)
Ответ на: комментарий от iVS

Как замечательно тасуешь факты под себя!

Это где же я факты тасую?

Он жизнь самоубийством даже покончил, потому что его не понимали.

Жизнь кончают самовыпилом потому что с головой проблемы, что их спровоцировало это вопрос к психиатрам.

ebantrop
()
Ответ на: комментарий от iVS

Посыл «больше знаю - больше могу» не работает

Ясное дело! Нужна общая эрудиция + умение самостоятельно добывать знания. К примеру, нет смысла детально знать все космологические модели Мира, достаточно иметь представление, что они существуют + поверхностно знать их особенности. А уж тензоры сворачивать — это уже механический процесс.

Anon
()
Ответ на: комментарий от Anon

К примеру, нет смысла детально знать все космологические модели Мира, достаточно иметь представление, что они существуют + поверхностно знать их особенности. А уж тензоры сворачивать — это уже механический процесс.

Ну вот, это и есть пример структурированного знания. Википедия такого дать не в состоянии. В каком-то смысле, твой пример - это пример «старой школы». Думаю, с общедоступностью источников информации, акцент сместится от осмысления в сторону накопления знаний. Уже сейчас школьники, пользуясь википедией, могут своими знаниями переплюнуть учителей. Без какого-либо дальнейшего осмысления. Во времена дефицита знаний только осмысление могло дать толчок к развитию. А сейчас этого не надо, достаточно вбить в гугл нужный вопрос.

iVS ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.