LINUX.ORG.RU

На чём обрабатывать экспериментальные данные в GNU/linux

 , magicplot,


0

4

Всем доброго времени суток!
Всё время обучения в Университете ИТМО, для обработки экспериментальных данных мне хватало Calc'а. Сейчас подоспела задача связанная с обработкой 4000 замеров, и Calc'а стало явно мало.
На чём тру линуксоиды обрабатывают экспериментальные данные? Хочется и обработку быстро производить(простейшая арифметика + БПФ и подобное) и графики красивые строить. Идеально было бы иметь возможность считывать и записывать после обработки изображения. Смотрел в сторону labPlot, MagicPlot, R(чем чёрт не шутит).

Всем заранее спасибо за ответы.

Ответ на: комментарий от Ramzes001

А какая конкретно математика требуется? Для обработки статистических данных R и предназначен. «Простейшая арифметика» и матричные вычисления, понятное дело, есть. Преобразование Фурье и вейвлеты тоже присутствуют (но я лично не использовал).

Для комфортной работы с R рекомендую сразу поставить RStudio.

Interlace ★★
()
Последнее исправление: Interlace (всего исправлений: 1)

Есть вариант Python + Numpy/Scipy (БПФ и прочее) + Pandas (работа с данными, таблицы и т.п.) + Matplotlib (построение графиков). По производительности 4000 замеров должны обработаться относительно быстро, т.к. Numpy/Scipy/Pandas - это С и фортран с питоновым интерфейсом. Сам непосредственно обработкой экспериментальных данных не занимался, поэтому эта связка может быть не оптимальной по скорости и/или удобству.

lu4nik ★★★
()

R, python c обычными подозреваемыминаучными модулями.

ptarh ★★★★★
()
Ответ на: комментарий от Dron

Это только если завязан на ФЭЧ или обрабатываешь _очень_ большие объёмы данных, которые в оперативной памяти не помещаются. Во всех других случаях R предпочтительнее по всем показателям.

Evgueni ★★★★★
()
Ответ на: комментарий от Interlace

Вообще нужно производить классические расчёты вида:
1. Загрузить несколько массивов из файла(от двух до десяти)
2. Вычесть из них всех один
3. Перемножать, делить, складывать, рассчитывать всё в один по формулам
4. Красиво выводить всё в графиках


Это ещё обработка данных на которую распространяется R?

Ramzes001 ★★
() автор топика
Ответ на: комментарий от lu4nik

Питон не знаю совершенно, и вся эта связка кажется очень громоздкой. Или не так страшен чёрт как его малюют?

Ramzes001 ★★
() автор топика
Ответ на: комментарий от unikum

Я ещё не понял, возможно ли в нём производить операции описанные мной на три сообщения выше?

Ramzes001 ★★
() автор топика
Ответ на: комментарий от Dron

Мне кажется, это слишком круто для простеньких задач :)

Ramzes001 ★★
() автор топика
Ответ на: комментарий от Ramzes001

Это не громоздкая связка, а юниксвей.

Преимущество питона — он язык общего назначения. Если вдруг помимо обработки данных нужно что-нибудь хитрое потом сделать, тут питон будет гибче более специализированных решений.

Кстати, в эту связку ещё следует добавить ipython, в нём удобно писать прототипный код.

PolarFox ★★★★★
()
Последнее исправление: PolarFox (всего исправлений: 1)
Ответ на: комментарий от PolarFox

У меня какие то проблемы психологического плана с питоном :(
Я понимаю что вы правы, но не могу :(

Ramzes001 ★★
() автор топика
Ответ на: комментарий от Ramzes001

Ну, R же полноценный язык программирования для анализа данных, там такие простейшие операции легко делаются. Сложность — только в освоении языка и наработке своих шаблонов по выводу графиков с нужным оформлением.

Interlace ★★
()
Ответ на: комментарий от Ramzes001

Всё не настолько громоздко. Преимущество такой связки (по крайней мере Python + Numpy/Scipy) - код писать легко, быстро и немногословно. Собственно, преимущество питоновых модулей - если они нормально написаны, для обучения их использованию достаточно посмотреть пару примеров.

Алсо, когда я изучал R, он мне показался более сложным, чем питон с numpy. Конечно, если собираешься много заниматься обработкой данных, R знать необходимо.

С ROOT я совсем немного сталкивался, но впечатления крайне негативные. Я бы его использовал только при крайней необходимости, и то, хорошо подумав.

lu4nik ★★★
()
Ответ на: комментарий от PolarFox

Преимущество питона — он язык общего назначения

Это скорее недостаток

Если вдруг помимо обработки данных нужно что-нибудь хитрое потом сделать...

...то это можно будет легко сделать на R, либо с помощью спец. средств, выгрузив данные из R.

anonymous
()

Octave/Matlab, gnuplot для визуализации. Некоторые любят python (scipy + numpy + mpatplotlib)

unanimous ★★★★★
()
Ответ на: комментарий от lu4nik

Если R покажется слишком сложным, то обязательно плотно займусь питоном. Спасибо.

Ramzes001 ★★
() автор топика
Ответ на: комментарий от Ramzes001

Всё это входит в штатные задачи R. Отмечу, что для R существует несколько тысяч пакетов-расширений, предназначенных для (очевидно) расширения базового функционала. Питоон, в общем, справляется с теми же задачи не хуже, но решения, как правило, выглядят более громоздко и сложно, т.к. питон - язык общего назначения, хотя для него есть пакеты, предназначенные для решения описанных задач.

unikum ★★★★★
()
Ответ на: комментарий от unikum

Да я тупо в педивикии синтаскис посмотрел.

Чтобы это извращение осилить, точно нужно быть инопланетянином!

Не стоит тратить свои силы на всякое говно вроде пхытонов и R, когда есть интуитивно понятный octave!

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от Eddy_Em

А, понятно. Дальше продолжать не имеет смысла :) Видимо, восприятие ЯП сильно зависит от предыдущего опыта программирования и особенностей психики.

unikum ★★★★★
()
Ответ на: комментарий от prischeyadro

Не знаю. Возможно сработало правило: если вы пишите на новом для вас языке, никогда не рассуждайте парадигмами прошлого языка. Мне было очень тяжело сдать тот предмет.

Ramzes001 ★★
() автор топика
Ответ на: комментарий от prischeyadro

Матлаб слишком примитивен как ЯП, а поддержка графики так вообще сосёт на фоне возможностей R.

anonymous
()
Ответ на: комментарий от Eddy_Em

когда есть интуитивно понятный octave!

вот я плевался над нелогичностью octave после R (пришлось доточить один модуль в октаве) причем над вроде как базовыми функциями... абсолютно контринтутивно всё обозвано.

а R это всего навсего Схема с синтаксическим сахаром (и очень много чего потянули из APL подобных языков). так что если читал SICP, то должно быть очень легко и понятно как R «в потрохах» своих что делает.

psv1967 ★★★★★
()
Ответ на: комментарий от Ramzes001

Надо было октаву использовать. Там операторы ++, += и т.п. отлично работают!

Ну и еще кое-какие плюшки есть.

Правда, нет симулинка. Но лично мне он и не нужен.

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от psv1967

а R это всего навсего Схема

Я сраный пхытон не осилил, куда уж мне...

Только С. Очень простой ЯП. Все на нем и считаю, если нужно больше 1-2 раз или долго в октаве (у меня кое-какие вещи видюха считала всего-то минут за 10, а аналог на октаве — 2 недели!).

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от Eddy_Em

Схема очень простой язык. Посмотри видеолекции SICP классические и реши пару задач на рекурсию.

APL овские возможности очень востребованы в смартофоне. Установить туда J и не знать горя — минималистический ввод, эффективные вычисления --- профит! Мегакалькулятор для ученого.

А зная эти две полезные мелочи (причем зная даже весьма поверхностно) !интуитивно! пользоваться R не представляет _никакой_ проблемы.

psv1967 ★★★★★
()
Последнее исправление: psv1967 (всего исправлений: 1)

Спасибо всем за ответы, R мне очень понравился, осталось ещё много непонятного, но вообще язык очень лаконичный и приятный.

Ramzes001 ★★
() автор топика

Странно, что никто не посоветовал J )

O02eg ★★★★★
()

Ещё Julia выглядит перспективно, но пока там «hard development».

unikum ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.