Статистическая обработка данных в R

R звучит как Ъ

Спасибо, то, что вы делаете - очень полезно.

Не могли бы вы добавить краткую справку (или подсказать тут), как настраивать шрифт на графиках, в т. ч. руссифицировать их?

Под оффтопиком - красивые графики, хорошие шрифты. Под убунтой - мама, кошмар какой!

>возможно "до книги"

А это было бы просто замечательно!

Вообще-то, как добавлять кириллицу в графиках было во второй статье "Данные и графики". Какой шрифт укажите - тот и будет.

P.S. Да, графики вообще-то везде одинаковые так что не будем развивать 4.2

Неплохая штука. Можно было бы заюзать.

Графики одинаковые, шрифт к ним не очень. Спасибо, буду читать

Спасибо! :)

ЛОР превратился в доску объявлений.

Хорошая статья.

Спасибо!

а как Вы объединяете

pdf ( "1-20.pdf" , family = "NimbusSan" , encoding = "KOI8-R.enc" )
plot (1:20 , main = "Заголовок" )
dev.off ()
embedFonts ( "1-20.pdf" )


с выводом графики в Sweave?

Картинка :
<< fig = TRUE > >=
plot (1:20)
@

или все надо генерить в koi8-r?

иногда лучше жевать :-|

> Графики одинаковые, шрифт к ним не очень. Спасибо, буду читать

попробуйте распечатать то что сделано в статье

потом забрызганый любимый шрифт

сравните.

PS наиболее страждущем антиальясинга путь на маки, R поддерживает на них кварц.

>Пожелания к третьему циклу также принимаются.

для полезности не хватает последней важной части, как на основе полученных данных получить профит, принять решение...

включить больше прикладных задач... установить формулу зависимости и на её основе сделать прогноз, а на основе прогноза принять решение

взять arima сделать прогноз на форекс получить профит :)

p.s. извиняюсь за сумбурность
p.p.s. R он не SAS, быстро видимостьработы создать не позволяет, сертификатов нет опять же

Спасибо! Только, насколько мне известно, (и что потверждается, если все-таки сходить по ссылкам) автора зовут А.Б. Шипунов, а не А.Ю... исправьте пожалуйста.

> или все надо генерить в koi8-r?

Какая кодировка указана в той и нужно кодировать. Вроде в unicode тоже пробовали. Надо будет при проведении ревизии перепроверить.

> автора зовут А.Б. Шипунов, а не А.Ю... исправьте пожалуйста.

посыпаю голову пеплом :( - отвлёкся при наборе объявления.

Просьба модераторам исправить инициалы Шипунова на А.Б.

>> или все надо генерить в koi8-r?

>Какая кодировка указана в той и нужно кодировать. Вроде в unicode тоже пробовали. Надо будет при проведении ревизии перепроверить.

Гхмм, действительно, посмотрел наличествующие кодировки в /usr/lib/R/library/grDevices/enc/ - там только восьмибитные представлены.

Попробовал так:

> pdf("1-20.pdf", family="NimbusSan");

> plot(1:20, main="Заголовок")

> dev.off()

> embedFonts("1-20.pdf")

> q()

Evgueni% locale

LANG=ru_RU.UTF-8

evince показал кириллицу.

R + mysql; R + postgresql; R + php ???

Драйвера для доступу к разным БД есть. В принципе пару слов сказать можно.

А вот какое отношение R имеет php для меня загадка.

php + mysql + jpgraph моя связка для построения бизнес интеледженс. Если R не имеет библиотечного доступа из разных языков веб программирования и апач в том числе - закапывайте, мне он не нужен и еще очень большому кол веб программистов

Во-первых, никто не мешает использовать R standalone

Во-вторых,
1. http://cran.r-project.org/web/packages/RMySQL/index.html
2. http://cran.r-project.org/web/packages/RPostgreSQL/index.html
3. http://cran.r-project.org/web/packages/phpSerialize/index.html
4. http://dssm.unipa.it/R-php/

Большое спасибо авторам, продолжайте в том же духе!

А если например нужно будет в программе использовать какие-то статистические расчеты. Тогда можно ведь применить R, а дальше уже на основе, например, Python или C работать с полученными числами дальше? Вроде как есть какая-то привязка R и Python, но сам с таким еще не сталкивался, вот и спрашиваю :)

> Вроде как есть какая-то привязка R и Python, но сам с таким еще не сталкивался, вот и спрашиваю :)

Естественно у R есть foreign language interface: http://cran.r-project.org/doc/manuals/R-exts.html#System-and-foreign-language...

Есть и связка с python'ом: http://rpy.sourceforge.net/

Даже куча примеров есть: http://www2.warwick.ac.uk/fac/sci/moac/currentstudents/peter_cock/python/heat...

> взять arima сделать прогноз на форекс получить профит :)

на арима профит получить неможно :)

вывод в pdf в енкодинге работает, я и обрадовался что в Sweave тоже можно вставить русский не переключаясь в koi8-r

Картинка : << fig = TRUE > >= plot (1:20, main="Заголовок") @

вот эта штука генерит eps , но непонятно как ее заставить русские буквы показывать иначе чем все дела ведя в koi8-r.

не хватает pdf ( "1-20.pdf " , family = "NimbusSan" , encoding = "KOI8-R.enc " )

и embedFonts ( "1 -20.pdf" ) , вернее eps() с соответсвующими ключами в внутренностях Sweave.

Вопрос к автору статьи

1. есть база данных организации на которой собираются заказы/клиенты/работа/деньги 2. есть php который генерит странички, в котором дирехтор или бухалтер вбивают дату и получают график о делах происходящих. В основном статистические сколько заказов в неделю месяц средние и т.п. 3. Пыхпых тянет данные из базы данных, обрабатывает!!! и помещает в jpgraph готовые обработанные массивы. Например количество заказов в неделю, высчитывает среднее в день на данной неделе и с начала отсчёта графика считает суммарное среднее или прогнозируемое минимальное. Но всё это делается в пыхпых из-за чего тормозит.

Как может мне помочь язык R?

тоесть могу ли я загнаить в него неделя 1 - 100 неделя 2 - 120 неделя 3 - 140 неделя н - 130 неделя м - 50 (вторник) получить а) график 100; 120; 140; .... б) в том же графике кривую среднее в день 100/6=16, 120/6=20, 140/6=2.3 в) в том же графике кривую 100; (100+120)/2=110; (110+140)/2=125; в) в том же графике кривую 100; (100+120)/2=110; (100+120+140)/3=120; г) построить прямую отсекающую топ-5 недель д) построить линию (100+120+140+130+...(50/2)*6)/m=123 е) для текущей недели построить красную рисочку - прогнозируемое количество в неделю как (50/вторник)*6=150

Вот, вначале обрабатываю с помощью мускл, потом пхп. jpgraph просто строит кучу массивов. а как поможет мне R, хоть убобством и скоростью?

Сорри, как обычно user line break

Вопрос к автору статьи

1. есть база данных организации на которой собираются заказы/клиенты/работа/деньги
2. есть php который генерит странички, в котором дирехтор или бухалтер вбивают дату и получают график о делах происходящих. В основном статистические сколько заказов в неделю месяц средние и т.п.
3. Пыхпых тянет данные из базы данных, обрабатывает!!! и помещает в jpgraph готовые обработанные массивы. Например количество заказов в неделю, высчитывает среднее в день на данной неделе и с начала отсчёта графика считает суммарное среднее или прогнозируемое минимальное. Но всё это делается в пыхпых из-за чего тормозит.

Как может мне помочь язык R?

тоесть могу ли я загнаить в него
неделя 1 - 100
неделя 2 - 120
неделя 3 - 140
неделя н - 130
неделя м - 50 (вторник)
получить
а) график 100; 120; 140; ....
б) в том же графике кривую среднее в день 100/6=16, 120/6=20, 140/6=2.3
в) в том же графике кривую 100; (100+120)/2=110; (110+140)/2=125;
в) в том же графике кривую 100; (100+120)/2=110; (100+120+140)/3=120;
г) построить прямую отсекающую топ-5 недель
д) построить линию (100+120+140+130+...(50/2)*6)/m=123
е) для текущей недели построить красную рисочку - прогнозируемое количество в неделю как (50/вторник)*6=150

Вот, вначале обрабатываю с помощью мускл, потом пхп. jpgraph просто строит кучу массивов. а как поможет мне R, хоть убобством и скоростью?

для postgres можно встраивать запросы на R
R скоростью не поможет, это же что-то схемоподобное, хочешь скорости перепиши на Си

>Например количество заказов в неделю, высчитывает среднее в день на данной неделе и с начала отсчёта графика считает суммарное среднее или прогнозируемое минимальное. Но всё это делается в пыхпых из-за чего тормозит.

оно не для того, оно для поиска... берешь и ищешь корреляцию между всем чем можно, видишь, что какой-то фактор оказал влияние на какую-то величину, а он в первоначальной модели не учитывался... проверяешь данные, думаешь... изменяешь первоначальную модель, получаешь более точный прогноз, лучше прогноз меньше издержки... профит

> Вот, вначале обрабатываю с помощью мускл, потом пхп. jpgraph просто строит кучу массивов. а как поможет мне R, хоть убобством и скоростью?

Для отрисовки не сильно сложных графиков IMHO лучше использовать gnuplot - очень стабилен, прост и предсказуем. Хотя в принципе и R или ROOT приспособить. И там и там графики строятся правильно.

> вот эта штука генерит eps , но непонятно как ее заставить русские буквы показывать иначе чем все дела ведя в koi8-r.

Сделал в utf8

<<fig=TRUE>>=
plot(1:20, main="Заголовок")
@

и всё заработало (в PostScript Заголовок картинки на русском)

Естественно, преамбула:

\documentclass[a4paper,11pt]{scrartcl}
%\usepackage[warn]{mathtext}
\usepackage[T2A]{fontenc}
\usepackage[utf8]{inputenc}
\usepackage[english,russian]{babel}
\usepackage{indentfirst}%first paragraph indent
\usepackage{cmap}
\usepackage[unicode=true]{hyperref}
\usepackage{graphicx}
\usepackage{amssymb}
\usepackage{amsmath}
\usepackage{srcltx}
%научные символы и смайлики \smiley \frownie
\usepackage{wasysym}
\usepackage[noae]{Sweave}

да язык прикольный начинал знакомиться ещё с первых версий но в итоге разочаровало отсутствие реализации метода группового учёта аргуметов а статистическую обработку данных без него сложно представить...

да, просто супер...

я зря pdf пытался делать с ним никак не генерится... вместо кирилицы "гирьку" какую то рисует, как все символы в стопку положил.

> Вот, вначале обрабатываю с помощью мускл, потом пхп. jpgraph просто строит кучу массивов. а как поможет мне R, хоть убобством и скоростью?

могу только сказать что задача на R займет лист а4 10 шрифтом :) данные брать легко из мускла и выбрасывать отчеты тоже просто.

а вообще для задачи которую Вы "врукопашную" пытаетесь сделать есть такая вещь как OLAP. Свободная реализация mondrian, есть также OLAP сервер полукоммерческий под линукс, его вроде бесплатно дают немцы какие то.

В результате выборка данных и их несложная агрегация по потоку заказов-продаж делается практически мгновенно.

>я зря pdf пытался делать с ним никак не генерится... вместо кирилицы "гирьку" какую то рисует, как все символы в стопку положил.

Странно. pdflatex тоже работает, правда, там почему-то заголовок вправо съезжает.

> да язык прикольный начинал знакомиться ещё с первых версий но в итоге разочаровало отсутствие реализации метода группового учёта аргуметов а статистическую обработку данных без него сложно представить...

а какую реализацию GMDH Вы сейчас используете?

у меня debian testing, ни pdflatex ни dvipdf корректно eps картинку от sweave не вставляют.

$ cat /etc/debian_version

lenny/sid

А точнее Ubuntu 8.10 - как-то так.

Ничего специально не настраивал.

кстате если кто еще не поставил себе rcompgen (Completion generator for R) очень рекомендую... расслабляет однако.

> у меня debian testing, ни pdflatex ни dvipdf корректно eps картинку от sweave не вставляют.

Да, естественно, pdflatex может вставлять только pdf.

> Да, естественно, pdflatex может вставлять только pdf

странно, картинка есть :) вот русского правда нет :(

самописную реализацию комбинаторного алгоритма но не устраивает совсем так как есть подозрения в несовсем верном выходе а так вообще не видел реализаций которыми вообще бы можно было пользоваться .....

кстати буду рад любому просвещению по этой теме (может где и реализовали уже хорошо)

> самописную реализацию комбинаторного алгоритма

на чем бы она не была реализована, ее просто можно подключить в R

реализаций довольно много по ссылкам

http://www.gmdh.net/

http://opengmdh.org/wiki/Software

я говорил не о себе а о вообще уровне языка подключить можно вообще что угодно и к чему угодно (только вопрос останеться в работоспособности) и действительно расстроило отсутствие в нём одного из основного метода стат обработки....

там старые реализации на вортране или проприетарные ...

> там старые реализации на вортране

фортран подключается как раз даже очень. если программы работоспособные, проверенные временем все должно быть хорошо.

а вообще алгоритм несложный, вдобавок эмпирический --- может поэтому и не реализуют.

мне так хватает при поиске зависимостей сделать с независимыми переменными prcomp(x)$x .

>в нём одного из основного метода стат обработки....

а чего это он основным вдруг стал?

http://opengmdh.org/browser/trunk/parallel-combi

вот на плюсах весь метод, паралельная и обычная реализации...

> а чего это он основным вдруг стал?

а ты знаешь другой алгоритм для построения функциональной зависимости ( в виде формулы) для эмперических данных ( набора экспериментальных данных) причём что если уж и решать прикладные задачи в статистике то в основном они того и требуют

>вот на плюсах весь метод, паралельная и обычная реализации...

ну скажем так параллел комби далеко не лучшая реализация если не больше сказать что она вообще далековата от реальности.....

>а ты знаешь другой алгоритм для построения функциональной зависимости

прикладной регрессионный анализ? не