В рамках третьей научно-технической конференции GraphHPC-2016 по проблемам параллельной обработки больших графов с использованием суперкомпьютеров состоится конкурс GraphHPC.

В этот раз участникам предстоит найти самую быструю реализацию задачи Community Detection в неориентированном графе с весами.

Для реализации задачи участникам предлагаются две категории вычислительных систем: одноузловая вычислительная система (CPU и/ или GPU) и 36-узловой вычислительный кластер.

Огранизаторы приглашают к участию студентов, аспирантов, молодых ученых и IT-специалистов, для которых данный конкурс может стать реальным шансом заявить о себе перед научным сообществом и ведущими IT-компаниями.

На сайте конкурса вы можете ознакомиться с условием задачи и скачать пример реализации. Конкурс будет проводиться с 1 по 29 февраля при помощи автоматической системы, которая будет запущена 1 февраля, но работать над решением можно начинать уже сейчас.

Победителей конкурса и творчески отличившихся участников ждут ценные призы, а также они смогут рассказать о своей реализации задачи на конференции. Для студентов предусмотрена отдельная номинация.

>>> Подробности

Обновляем Fedora; ожидайте недоступность сайта несколько раз минут по 5-10 в ближайшее время.

Выпущена новая версия Elasticsearch — современного распределенного движка полнотекстового поиска и выполнения аналитических запросов реального времени. Elasticsearch построен на основе библиотеки Apache Lucene и распространяется под лицензией Apache.

На пути от версии 1.0 к 2.0 было принято 2799 pull request'ов от 477 разработчиков.

Основные изменения в этой версии:

• В предыдущих версиях выборка данных ограничивалась комбинацией запросов (query) и фильтров (filter); запросы отличались от фильтров возможностью вычисления функции ранжирования, а фильтры от запросов — более быстрым методом выполнения и возможностью кеширования. В новой версии запросы и фильтры были объединены, а режим исполнения выбирается контекстом в котором находится запрос. Это заметно упростило логику построения сложных запросов, так же позволило провести ряд оптимизаций. Так, например, медленные запросы поиска фраз и геопоиска теперь выполняются в две стадии — сначала выполняется быстрая апроксимация в режиме «фильтра», а после — медленный уточняющий запрос.
• Многие фильтры в Elasticsearch могут выполняться в двух режимах — с поддержкой кеширования и без. В режиме с поддержкой кеширования первое применение фильтра приводит к полному вычислению значения фильтра на всех документах индекса, в режиме без кеширования фильтр вычисляется для множества документов, ограниченных предыдущими условиями. Ранее выбор режима выполнения отдавался пользователю, в новой версии режим выбирается автоматически на основе накопленной статистики выполнения запросов. Так же была повышена эффективность кеша — вместо простых bitset'ов теперь используется более быстрое и компактное представление.
• Новая реализация parent/child-отношений более эффективна в комбинациях с другими типами запросов. Также в предыдущих версия колонка _parent, используемая для связи, целиком кешировалась в оперативной памяти. В новой версии используется дисковое хранилище «doc values», что привело к существенному снижению использования оперативной памяти сервером.
• Добавлен новый тип агрегатных функций — "pipeline aggregations", позволяющий производить вычисления поверх других агрегатов. Этот режим применяется для вычисления производных, поиска максимальных и средних значений среди результатов других агрегатов, сглаживания графиков, прогнозирования временных рядов и аналогичных функций.
• Улучшения надёжности — операция индексации теперь заканчивается после выполнения fsync журнала транзакций; для всех файлов индекса вычисляются и проверяются контрольные суммы; все операции перемещения файлов индекса теперь гарантировано атомарны. Протокол управления кластером модифицирован для более быстрого распространения изменений в больших кластерах.
• Большой рефакторинг mapping'а — описания схемы данных и настроек индексации. Исправлено большое количество проблем, которые приводили к неоднозначным или неожиданным результатам. Выпущен специальный плагин для проверки совместимости схемы с новой версий и упрощения миграции.
• Для компрессии данных теперь может использоваться не только быстрый алгоритм LZ4, но и более медленный (но эффективный) DEFLATE. Смена алгоритма может быть произведена на существующем индексе перед его оптимизацией, например для исторических данных, в которых больше не ожидается изменений.

Новая версия Elasticsearch может работать с индексами, созданными предыдущими версиями (начиная с 0.90). Опубликован список изменений, которые нужно учесть при миграции с предыдущих версий.

Вместе с выходом новой версии было объявлено, что проприетарный плагин для мониторинга кластера, Marvel, теперь можно бесплатно использовать для production-установок. Коммерческая лицензия требуется только для функций мониторинга группы кластеров Elasticsearch.

>>> Подробности

Функции сайта, которые используют внешний индекс будут не доступны на некоторое время, а потом будут работать не по всему объему пока индексация не завершится:

• поиск
• статистика пользователя и тега
• похожие темы (внизу топика)

закончится 15-го октября утром

Amazon анонсировал выход своей собственной реализации TLS — библиотеки s2n. Основная причина разработки своей библиотеки — гиганский объем кода OpenSSL и сложность его аудита, а также целая серия уязвимостей, найденных в ней за последние два года.

Библиотека представляет свою собственную реализацию TLS поверх низкоуровневой криптографии из OpenSSL. Исходные тексты (на языке Си) в настоящий момент состоят из 6000 строк кода, тогда как в OpenSSL около 70000 строк так или иначе связаны с поддержкой TLS. Лицензия новой библиотеки — Apache, исходные тексты доступны в репозитории на github.

>>> Подробности

Перестрою поисковый индекс. Поиск, «похожие темы» и часть статистики будет некоторое время работать не по полному объему данных. Думаю завтра утром процесс закончится.

О проблемах пишите тут plz.

Раздел «wiki» на сайте скоро прекратит свое существование.

Посещаемость этого раздела довольно низкая (<0.5%), также wiki самостоятельное приложение слабо интегрированное с остальными частями сайта.

В ближайшее время wiki перейдет в режим readonly. Полностью wiki будет отключено к 1-му августа 2015.

Результаты розыгрыша билетов на DevConf 2015 (Выиграй бесплатное участие в конференции DevConf 2015 (Москва)).

Организаторы предоставили нам 3 бесплатных приглашения на основной день конференции. Их получают следующие участники форума:

• himmih (не ответил, вмесно него realloc)
• LOONTIK (отказался, вместо него приглашение получает ggrn)
• fMad (подтвердил участие)

Дополнительно в резервном списке: ggrn, sl4mmer, realloc, Ripper-tm и xazar. Кому-то из них перейдет приглашения если кто-то из основного списка откажется от приглашения или не выйдет на связь до 13-го июня.

Просьба всем попавшим в любой из этих списков подтвердить свое желание пойти на конференцию. Если вы попали в один из списков и не хотите или не можете посетить конференцию — пожалуйста напишите об этом.

Потребуется также регистрация на конференцию, инструкцию я вышлю по почте.

DevConf 2015 — профессиональная конференция, посвященная ведущим технологиям программирования и веб-разработки. Подробнее с программой можно познакомиться на сайте конференции и в анонсе на linux.org.ru. Конференция пройдет 19-го июня в Москве.

Оргкомитет конференции предлагает несколько бесплатных приглашений для участников форума Linux.org.ru. В розыгрыше могут принять участие пользователи, зарегистрированные до 15-го мая 2015 года. Участники будут выбраны случайным образом 8-го июня во второй половине дня.

Для участия в розыгрыше, пожалуйста, подтвердите участие вводом кода 'devconf2015' и нажатием кнопки

Пожалуйста, не нажимайте кнопку если вы не имеете возможности/желания посетить данную конференцию. Пожалуйста, убедитесь что в вашем профиле на сайте указан корректный e-mail. Если мы не сможем связаться с победителем до 10-го июня, приглашение перейдет к другому участнику форума.

Вышла новая версия Play Framework — фреймворка для построения веб-приложений на Scala и Java.

Основное изменение этой версии — поддержка dependency injection (DI). В прошлых версия Play многие компоненты были реализованы в виде глобальных синглтонов, DI поддерживался только для пользовательского кода и добавлялся сторонними плагинами. В этой версии для управления зависимостями был выбран Google Guice, а компоненты Play теперь стали доступны через него. Также была сохранена возможность смены реализации DI, в том числе возможна реализация статического связывания компонентов без использования сторонних фреймворков.

Добавление DI существенно облегчает написание тестов и должно помочь в написании приложений, состоящих из отдельно разрабатываемых модулей.

Также в этой версии:

• URL routing теперь можно задавать не только в конфигурационном файле, но и с использованием Routing DSL. Предполагается, что такой способ будет более удобен для написания REST-сервисов.
• Переход на Java 8, который позволил существенно упростить Java API. Также добавлена поддержка новых типов дат в Play JSON.
• Опциональная возможность использования стандартной для sbt схемы размещения исходных файлов проекта вместо принятой в Play.
• Продолжена модуляризация компонентов Play: API для работы с базами данных, Anorm и Ebean, были вынесены в отдельные компоненты.
• Поддержка TLS SNI в http-клиенте WS.
• Экспериментальная реализация HTTP-backend'а на базе akka-http и реализация Reactive Streams API для работы с HTTP-потоками.

Для пользователей Play 2.3 подготовлено руководство по переходу на 2.4.

Релиз назван “Damiya” в память о Kate von Roeder.

>>> Подробности

Кто-нибудь будет в понедельник на Jpoint? Можно там пересечься, возьму некоторое количество значков l.o.r.

Приделал показ числа уведомления на «табло» Яндекс Браузера.

Если вы пользуетесь этим браузером, напишите plz заработало оно у вас или нет.

Будут недоступны некоторое время, а потом будут работать частично и отставанием следующие функции сайта:

• Поиск
• Список комментариев в пользователя и статистика в профиле
• Похожие темы (внизу страницы топика)

В норму вернется где-то в 18.00.

Выпущена новая версия Elasticsearch — современного распределенного движка полнотекстового поиска и выполнения аналитических запросов реального времени.

Основные изменения этой версии:

• Добавлена экспериментальная функция доступа к данным дочерних документов при выполнении запросов по parent/child отношениям и при работе с nested-объектами. Поддерживается извлечение произвольного количества дочерних документов с поддержкой постраничной выдачи, сортировки по релевантности и подсветки найденных фрагментов текста.
• Shadow-реплики — возможность запуска нескольких узлов кластера Elasticsearch над одной (сторонней) распределенной файловой системой. Фактическая репликация и надежность хранения данных в этом случае обеспечивается файловой системой, а Elasticsearch обеспечивает отказоустойчивое распределение функций master/slave по узлам кластера.
• Улучшены алгоритмы управления кластером, благодаря чему функции распределения шардов, создания, восстановления и удаления индексов стали работать более надежно и предсказуемо.
• Были доработаны функции проверки контрольных сумм данных, добавленные в прошлой версии Elasticsearch 1.4.

>>> Подробности

Представлена новая версия Scala.js, плагина компилятора языка программирования Scala, создающего в результате компиляции Javascript вместо обычного байт-кода JVM. Выпущенная версия 0.6 лишилась флага «экспериментальной версии» и стала первой стабильной сборкой проекта.

Scala.js позволяет программировать для браузера с использованием всех возможностей языка, включая макросы и большую часть стандартной библиотеки. Разработчики могут пользоваться готовой инфраструктурой сборки и тестирования, а также писать код который может исполняться как в браузере, так и на серверной стороне в JVM.

За два года существования проект обзавелся экосистемой, включающей модули для интеграции с различными браузерными фреймворками, средствами тестирования и отладки.

>>> Подробности

Редакция журнала Linux Format объявляет, что до 31/01/2015 действует акция с прошлогодними ценами на подписку: http://www.linuxcenter.ru/linuxformat

Все, оформившие подписку на печатную версию журнала, получают в подарок диск с архивом Linux Format и PDF-версии этих же журналов. Теперь вы можете приступить к чтению журнала сразу в момент выхода свежего номера, не дожидаясь, пока вам доставят бумажную версию.

( читать дальше... )

>>> Подробности

Похоже ahbl.org закончил свое существование.

Команда разработчиков СУБД PostgreSQL представила новую версию продукта — 9.4.

Основное изменение в этой версии — JSONB, бинарное хранилище JSON документов. Для JSONB реализована поддержка быстрой выборки и простых поисковых выражений на основе обобщённых инвертированных индексов (GIN). Ряд новых вспомогательных функций позволяет пользователям извлекать JSON-данные и далее манипулировать ими так же быстро (а иногда и быстрее), как это можно делать в популярных документно-ориентированных базах данных. JSONB позволяет с лёгкостью интегрировать документные и табличные данные в контексте одной базы данных.

Также в этой версии:

• Добавлена поддержка агрегатных функций, выполняющих вычисление над отсортированными множествами. Это позволило реализовать функцию для вычисления заданной персентили. Также в агрегатные функции была добавлена возможность дополнительной фильтрации данных (WHERE) и поддержка быстрого вычисления скользящих функций, таких как скользящее среднее.
• Повышена производительность GIN-индексов — теперь они на 50% меньше и в 3 раза быстрее.
• «Логическое декодирование» — новый API для чтения, фильтрации и манипулирования данными «на лету», в потоке репликации PostgreSQL. Этот интерфейс является основой новых инструментов репликации — например, двусторонней репликации, позволяющей строить PostgreSQL-кластеры с несколькими ведущими узлами (multi-master). Другие улучшения, такие как репликационные слоты и реплики с задержкой по времени, улучшают управляемость и расширяют сферы применения серверов с репликами.
• pg_prewarm — расширение, позволяющее быстро заполнить кеш СУБД после перезагрузки.
• Возможность обновления материализованных представлений без блокировки операций чтения. Это достигается путем создания новой версии представления во временной таблице и последующем обновлении данных представления командами UPDATE/DELETE.

23-го декабря в Москве состоится очередной PostgreSQL-митап, посвещенный выпуску 9.4. На этот раз он пройдёт в компании Parallels. Увидеть подробности и записаться можно здесь: http://www.meetup.com/postgresqlrussia/

>>> Подробности

Теперь странички будут открываться немного шустрее, особенно это должно быть заметно на медленных каналах (мобильный интернет и т.п.).

Пишите если где-нибудь что-нибудь отвалилось plz.