Популярная среда статистических вычислений R пополнила свою экосистему пакетов-расширений 10 000-м пакетом.

Следует отметить, что данный рубеж развития преодолён в официальной базе пакетов CRAN, поскольку общее число пакетов написанных для этой самой популярной среды статистических расчетов давно превысило это число.

Размер экосистемы гарантирует наличие готового решения практически для любой задачи анализа и визуализации данных. Высокие стандарты предъявляемые к пакету для вхождения в CRAN и «бесшовное» встраивание новых функций в базовую среду R позволяет использовать любое расширение практически без потерь времени на адаптацию ранее написанного кода.

>>> Страница репозитория пакетов

В ближайшее время издательством «ДМК Пресс» будет выпущена книга «Введение в статистическое обучение с примерами на языке R» (перевод книги «An Introduction to Statistical Learning with Applications in R»). В этой книге описаны одни из наиболее важных методов моделирования и прогнозирования, а также примеры их практического применения.

Рассмотренные темы включают линейную регрессию, классификацию, создание повторных выборок, регуляризацию, деревья решений и другие методы анализа данных. Каждая глава включает примеры практической реализации соответствующих методов с помощью R.

Издание рассчитано на неспециалистов, которые хотели бы применять современные методы статистического обучения для анализа своих данных. Предполагается, что читатели ранее прослушали лишь курс по линейной регрессии и не обладают знаниями матричной алгебры.

Новость в блоге переводчика

>>> Подробности

В ближайшее время издательством «ДМК Пресс» будет выпущена печатная версия книги «Статистический анализ и визуализация данных с помощью R», в которой содержится:

• детальное описание языка R и базовых графических возможностей системы;
• доступно изложенные описания распространенных процедур обработки данных и построения статистических моделей, иллюстрированные несколькими десятками примеров;
• многочисленные фрагменты кода R, которые можно легко модифицировать для собственных целей;
• рекомендации по интерпретации и представлению получаемых результатов анализа.

Предыдущая редакция книги, исходные данные для анализа и примеры скриптов для их обработки доступны в репозитории на github и распространяются на условиях лицензии CC-BY-NC-SA.

Новость в блоге одного из авторов.

>>> Подробности

Вышла новая версия RStudio — IDE, ориентированной на анализ данных в ЯП R. Из нововведений:

• Встроенный просмотрщик данных поддерживает фильтры, поиск и сортировку.
• Cнято ограничение на показ более 1000 строк в просмотрщике данных.
• Поддержка ярлыков в просмотрщике данных.
• Улучшенное автодополнение кода.
• Диагностика ошибок в коде для R, C/C++, JavaScript, HTML, CSS.
• Встроенная библиотека фрагментов кода (snippets).
• Поддержка Rcpp.
• Улучшена поддержка Vim-mode.
• Новые темы для редактора кода.

Скачать

Полный список изменений

Методическое пособие «Статистический анализ и визуализация данных с помощью R» адресовано преимущественно студентам, аспирантам, молодым и состоявшимся ученым, а также профессиональным аналитикам, прежде не имевшим опыта работы с R. Акцент делался, в первую очередь, на практическое применение — на то, чтобы читатель, руководствуясь прочитанным, смог проанализировать свои данные и изложить результаты коллегам.

Книга охватывают следующие темы:

• Основные компоненты статистической среды R.
• Описание языка R.
• Базовые графические возможности R.
• Описательная статистика и подгонка распределений.
• Классические методы и критерии статистики.
• Линейные модели в дисперсионном анализе.
• Регрессионные модели зависимостей между количественными переменными.
• Обобщенные, структурные и иные модели регрессии.
• Пространственный анализ и создание картограмм.

Текущая версия книги в формате PDF доступна для свободного скачивания с двух сайтов:

• репозиторий GitHub;
• сайт Института экологии Волжского бассейна РАН.

>>> Подробности

Revolution R Open — высокопроизводительная версия среды выполнения языка R, оптимизированная для многопоточных вычислений и серия библиотек, прежде всего, для массово-параллельной обработки в рамках концепции «больших данных».

• Содержит новейшую версию R от R Foundation for Statistical Computing.
• Стандартные методы из LAPACK и BLAS заменены соответствующими функциями из Intel Math Kernel Library, что привело к существенному увеличению производительности.
• Полная совместимость с пакетами из CRAN и RStudio.
• Работа с Reproducible R Toolkit.
• Поддержка Windows, MacOS и Linux.

>>> Подробности

По истечению срока отчуждения имущественных прав в пользу издателя в свободный читательский доступ поступила книга «Наглядная статистика. Используем R!»

Книга доступна на страничке Алексея Шипунова, одного из авторов книги: http://ashipunov.info/shipunov/software/r/r-ru.htm.

>>> Подробности

«Рандомизация и бутстрап: статистический анализ в биологии и экологии с использованием R» — альманах статистических методов, иллюстрированный примерами биологического характера.

Книга охватывает оценку статистических параметров, проверку гипотез, дисперсионный анализ, специальные формы регрессии и оценки информативного набора предикторов моделей, многомерные методы классификации, редукции данных и распознавания образов, процедуры, использующие байесовскую парадигму, анализ временной или пространственной динамики, различные подходы к оценке биоразнообразия и т.д.

Электронная версия книги «как она есть» пока распространяется без всяких ограничений (до возможного появления договорных обязательств).

Скрипты на R по всем обсуждаемым примерам приведены в конце каждого раздела. Исходные данные для анализа и коды R доступны в электронном виде.

>>> Подробности

Вышла мажорная версия самой динамично развивающейся среды для работы со статистической информацией, включающая язык программирования и огромное количество пакетов. Этот открытый проект является стандартом де-факто для множества компаний и университетов (достаточно взглянуть на связанные со статистикой курсы на Coursera).

Лицензия: GPLv2 и GPLv3, отдельные пакеты могут использовать BSD, MIT и другие лицензии.

Краткий список изменений:

• поддержка длинных векторов (2^31 и более значений) на 64-разрядных системах;
• память, доступная R на 64-разрядных системах, ограниченна исключительно ОС;
• запрет использования отрицательных чисел в качестве цвета;
• многочисленные улучшения производительности (замена .Call() на .Internal(), уменьшение числа копирований при операциях и т.п.);
• исправления в реализации бета-распределения;
• установка переменной окружения R_C_BOUNDS_CHECK=yes включает проверку выхода за границы массива при вызовах кода на C и Fortran;
• из базы лицензий убрана проблемная лицензия artistic;
• множество других изменений, детально описанных в анонсе по ссылке.

При наличии пакетов, ранее установленных с помощью R, а не через системный менеджер пакетов, может понадобится их пересборка:

update.packages(checkBuilt=TRUE)

Кроме того, стоит упомянуть, пусть и несколько запоздало, выход новой версии замечательного пакета lambda.r, который добавляет удобный синтаксис для функционального программирования в R.

На момент написания новости релиз уже должен был разойтись по зеркалам CRAN.

>>> Подробности

Несколько дней назад была выпущена новая версия языка программирования R — инструмента для проведения статистических расчетов и обработки данных.

Основные изменения в версии 2.15.2:

• в базовом пакете появился новый метод — Multistratum MANOVA;
• в функциях spline() и splinefun() теперь доступен новый метод для монотонной интерполяции кубическими сплайнами;
• улучшения производительности:
  • функция array() для увеличения скорости переписана на языке Си;
  • функции findInterval(), tabulate(), cut(), hist() и image.default() стали более эффективными за счет использования интерфейса .Call();
  • rep() теперь работает быстрее и потребляет меньше памяти;
  • duplicated(), unique() и аналогичные функции на 64-битных платформах поддерживают векторы длиной более 2^29;
• на 64-битных платформах увеличен лимит доступной памяти с 16 до 32 ГБ;
• библиотеки LAPACK и PCRE обновлены до версий 3.4.1 и 8.31 соответственно;
• исправлены некоторые ошибки.

Также стало известно о выходе предварительной версии RStudio — интегрированной среды разработки для языка R.

Изменения в этой версии:

• в инструментарий документации добавлены средства для предварительного просмотра, проверки правописания и интеграции с Roxygen;
• добавлена интеграция с devtools;
• добавлена подсветка синтаксиса для языков Си и Си++;
• добавлен режим эмуляции Vim.

Курс размещен на Coursera, рассчитан на 8 недель. Предполагается, что курс начнется 22 января 2013 года.

Обучение имеет уклон в практику использования R. Составитель курса обязуется не мучать обучаемых голой математической теорией. В ходе учебы планируется решить два объемных, взятых из практики, задания по анализу данных.

Лектор — Jeff Leek, доцент Johns Hopkins Bloomberg School of Public Health.

P.S. Если навыки использования R отсутствуют совсем, будет рационально сначала (предполагаемое начало курса 3 сентября 2012 года) посетить 6-недельный курс Statistics One от Andrew Conway из Princeton University.

>>> Подробности

Недавно состоялся выход новой версии RStudio — одной из самых популярных IDE для языка программирования R.

( Подробнее о языке R )

В этом выпуске разработчики сосредоточились на улучшении пользовательского интерфейса и инструментах создания веб-публикаций.

Некоторые изменения:

• Sweave / knitr:
  • проверка орфографии для Sweave и документов TeX;
  • встроенный просмотрщик PDF, поддерживающий двустороннюю синхронизацию (SyncTeX) с редактором;
  • поддержка команд форматирования TeX;
  • добавлены новые ключи компиляции.
• Веб-публикации:
  • редактирование и предварительный просмотр Markdown и HTML;
  • поддержка LaTeX, ASCIIMath и MathML в веб-страницах с помощью MathJax.
• Редактор:
  • поиск по файлу теперь понимает регулярные выражения;
  • сворачивание блоков кода;
  • умное редактирование комментариев Roxygen;
  • подсветка синтаксиса для Markdown, HTML, Javascript и CSS;
  • новые опции настройки шрифтов.

Исходный код, .deb и .rpm пакеты доступны для скачивания на официальном сайте.

>>> Подробности

Внезапно я наткнулся на интервью с основным автором книги «Наглядная статистика. Используем R» Алексеем Шипуновым.

В интервью изложена история и причины появления книги. Кратко: история сложная, а основная цель книги — ликвидация нехватки информации в России по этому свободному профессиональному инструменту анализа статистических данных.

>>> Подробности

А.Б. Шипунов, E.М. Балдин, П.А. Волкова, А.И. Коробейников, С. А. Назарова, С.В. Петров, В.Г. Суфиянов. Наглядная статистика. Используем R! — М.: ДМК Пресс, 2012. — 298 с.: ил. — ISBN 978-5-94074-785-828-1

Книга для начинающих осваивать статистику, и выбравших для этого среду анализа данных R. Весь материал изложен и все примеры в книге выполнены в R.

>>> Подробности

Shogun — программный пакет, предназначенный для машинного обучения, с поддержкой большого набора алгоритмов и структур данных.

В Shogun акцентируется внимание на широком использовании различных методов и инструментов для решения задач распознавания образов, таких как: метод опорных векторов (SVM), пошаговый дискриминантный анализ, регрессионный анализ, перцептроны, алгоритмы обучения скрытых моделей Маркова и других. Большинство инструментов основывается на методе опорных векторов. Также возможно использование комбинированных методов.
Shogun написан на C++ и предоставляет интерфейсы для MATLAB, Octave, Python и R.

Данный релиз содержит значительные улучшения:

• поддержка новых ЯП (Java, C #, Ruby, Lua) в модульных интерфейсах;
• добавлены новые алгоритмы обучения (LLE, HLLE, LTSA и другие);
• поддержка MATLAB 2011a;
• исправление ошибок, чистка кода, изменения в API и многое другое.

В рамках Google Summer of Code 2011 над проектом работало пять студентов, часть их работы вошла в представленный релиз.

Пример распознавания цифр (Shockwave Flash)

Исходный код

>>> Подробности

Выложил в открытый доступ четыре статьи цикла Анализ данных с R (III). Цикл статей был опубликован в LXF с февраля по май 2010 года.

Основной идеей цикла было показать возможности R на реальных примерах. Поставщиком и основным автором примеров выступил Сергей Петров. Анализ кадровой политики ордена иезуитов предоставил Владимир Левшук.

На примерах показаны бутстреп-анализ, построение простого GUI-интерфейса, как подходить к «тяжёлым» вычислениям и поиск зависимостей.

Из Википедии: R — язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU.

Информация по улучшению и советы по развитию всячески приветствуются.

>>> Подробности

Компания, разрабатывающая открытый язык программирования для статистического анализа R и прежде известная как Revolution Computing выходит на рынок IT индустрии с новым именем и новыми планами. Называется она теперь Revolution Analytics и предлагает пользователям собственную среду разработки на R (Revolution R Enterprise), а также обучающие курсы и семинары на платной основе.

Лицензионная политика компании в отошении новых продуктов такова: для образовательных учреждений Revolution R Enterprise предоставляется бесплатно, однако при желании иметь техническую поддержку придется заплатить.

Остальные продукты Revolution Analytics будут нацелены прежде всего на обработку больших массивов данных, создание средств миграции на R и создание веб-интерфейса, упрощающего представление информации для пользователей. Вдобавок Revolution Analytics надеется на установление партнерства с производителями баз данных и средств Business Intelligence с помощью поддержки облачных вычислений.

Таким образом на рынке средств для статистического анализа появился новый игрок, конкурент IBM и SAS, которые, кстати, уже перешли на поддержку R на своих платформах, реализующих статистический анализ данных. Да и цены по сравнению с основными конкурентами более привлекательны: $2,000 на рабочую станцию вместе с годовой поддержкой.

Также планируется запуск специализированного сайта inside-R.org, который пока находится в стадии закрытого тестирования.

>>> Подробности

Cantor позволяет использовать основные математические приложения, доступные для linux, вместе с удобным, интегрированным в kde пользовательским интерфейсом.

В данный момент поддерживается 3 движка:

• Sage
• Maxima
• R

Основные возможности:

• Просмотр результатов построения графика внутри рабочего листа или в отдельном окне
• Интеграция с GetHotNewStuff для размещения/скачивания примеров рабочих листов
• Ввод формул с использованием LaTeX
• Подсветка синтаксиса, в зависимости от выбранного движка
• Встроенная помощь по синтаксису

Скриншот.

>>> Подробности

По согласованию с редакцией Linux Format выложил в открытый доступ главу «Интеллектуальный анализ данных или Data Mining» — седьмую и последнюю часть из цикла статей по R. Эта часть была опубликована в декабрьском номере LXF.

Из Википедии: R — язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU.

Информация по улучшению и советы по развитию всячески приветствуются.

>>> Подробности

По согласованию с редакцией Linux Format выложил в открытый доступ главу «Графический интерфейс к R» — шестую часть из цикла статей по R. Эта часть была опубликована в ноябрьском номере LXF.

Из Википедии: R — язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU.

P.S. Если в тексте будет найдена ошибка, то дайте знать — исправлю. Сам текст немного отличается от журнальной статьи и в дальнейшем будет развиваться, возможно "до книги".

>>> Подробности