Визуализация большого количества больших чисел

1. Обязательна на Р?
2. Почему в толкс?

А так ваше мнение о видеокартах, которые лучше для этого использовать.

ИМХО, тут не в видео упирается, а в ОЗУ.

1. Обязательна на Р?

Совершенно необязательно, но было бы во всяком случае интересно узнать, если у кого-то был такой опыт. И потом будет нужен именно статистический анализ этих данных.

2. Почему в толкс?

Тема выполняет минимальные требования для толксов. Интересны любые рассуждения.

ИМХО, тут не в видео упирается, а в ОЗУ.

Работал сервер IBM с 24Gb. Ещё добавить не получится (в этот сервер, но можно взять ещё один).

ИМХО, тут не в видео упирается, а в ОЗУ.

С чего бы это? Числа достаточно маленькие, чтобы влезть в __int64 (C++ M$) или в онтопике с g++ должны влезть в int64_t. Размер одного числа - 64 бита - 8 байт. Все числа (сразу для лимона будем считать) - 8 000 000 байт или грубо округляя - 8 мегабайт и того не так уж и много, чтоб в память не влезть, даже на достаточно убогом железе.

http://root.cern.ch — пишешь простейший скрипт, пофит.

R тоже потянет со свистом.

#!/usr/bin/env python
import numpy as np
import matplotlib.pyplot as plt
data = np.loadtxt('your_file')
plt.figure()
plt.plot(data)
plt.show()

Собсна, всё. Можно масштабировать, двигать, грабить корованы. Видеокарта не нужна, достаточно нормального процессора уровня i5.

Осилил и то, и другое. Использую всё же R (оказалось проще для конкретной задачи, с root было тяжко).

Но вот вопрос: с точки зрения визуализации больших данных, что более производительное и что имеет больше возможностей вообще?

И ещё. Скажем так, мне нужен инструмент, который не остановят реально большие числа в больших количествах.

С другой стороны, хочется использовать что-то универсальное, что, как python, не будет темным лесом для других исследователей.

Спасибо за совет по поводу root, добавлю себе в репертуар )

С точки зрения визуализации действительно больших данных выбор инструмента зависит от а) размера этих данных, б) от самих данных. Панацеи нет.

Самое производительная — это своя программа на C++/C/Fortran и Python/Perl как клей. Если данные реально большие, то обработку нужно параллелить. Хорошо, если это можно делать прямо на уровне данных.

Например, на ATLAS (детектор LHC) есть Athena — самописная питоновская среда, которая собирает программу обработки из C++ библиотек кодирующих алгоритмы обработки (по разным системам детектора, по физическим задачам и т.д.) в зависимости от заданной конфигурации обработки на лету.

Для обработки своего домашнего эксперимента я использовал набор самописных С++/C программ, использующие ряд самописных библиотек обработки, которые натравливались на сырые данные из весьма развесистого перловского скрипта и всё это могло запускаться параллельно на нескольких сотнях ядер кластера. Главное, чтобы за один прогон сразу выдавался результат с ошибкой, тогда итерации обработки можно проводить относительно быстро.

ROOT специально разрабатывался с оглядкой на то, что обрабатываемые данные могут не влезть в оперативку. В случае R всё должно в оперативке помещаться. Если помещается — используй R и радуйся, что твои данные не такие уж и большие :)

Глянь также в сторону MathGL — но это уже только визуализация, но красивая.

У тебя что-то связанное с GISами. У этих ребят свой набор велосипедов, в том числе и самописных.

Халява-то какая! Просто в OpenGL'е точек нарисуй толпу, да рассматривай себе.

P.S. Я для красивого отображения фитсов рисовал их в 3D (X-Y-интенсивность), для изображения 4000х4000 получается почти 16млн треугольников. Торможение (пару-тройку секунд) только вначале, пока VBO заполняется. Дальше все шустро.