Хотел бы поделиться своей программой для анализа проходящего миррор-порты/роутеры/OpenVZ ноды трафика на предмет входящих/исходящих DDoS атак.

• Для чего она писалась? Чтобы фиксировать серьезные всплески в сотни kpps по полосе/pps как со стороны клиентов, так и со стороны интернета в сторону клиентов.
• Что выдает? Выдает топ 10 самых активных потребителей ресурсов сети, выборки топ 10 можно делать как по pps так и по трафику.
• Что умеет? Умеет передавать управление внешнему скрипту, который передаст IP на/с которого идет атака на анализ группе администраторов либо заблокирует его на некоторое время.
• На чем работает? Поддерживает PF_RING (рекомендуется), pcap (не рекомендуется) и ULOG2 (не рекомендуется).
• Что еще умеет? Умеет считать трафик по заданным диапазонам, решение базируется на redis и используется в исключительно внутренних целях.
• На каком канале работает? Приложение сейчас в продакшене (на миррор портах, с отдельной машины) с нагрузкой в несколько гигабит входящего+исходящего трафика с примерно 550kpps и более в среднем. Ресурсы почти не жрет — около 10% по всем ядрам на i7 2600.
• На какой платформе точно работает? Debian/CentOS/Ubuntu. Но скомпилировать можно только на Debian 7.
• На чем написано? C++ 11.

>>> Подробности

Вышла новая версия проекта SciDB и Paradigm4 extensions - 13.6

SciDB - проект Майка Стоунбрейкера, отца многих СУБД. SciDB - версионируемая СУБД для аналитики, работающая с большими многомерными распределёнными массивами.

Доступны два вида синтаксиса:

• Array Query Language (AQL) — язык очень похожий на SQL, но работающий не с таблицами (таблица = одномерный массив), а с многомерными массивами;
• Array Functional Language (AFL) — «чистый» в функциональном смысле полностью эквивалентный AQL язык.

Партицирование данных и запросов, линейная алгебра, математическая статистика и машинное обучение из коробки.

С момента предыдущей новости про версию 12.2 про SciDB выходило две минорные версии - 13.1 и 13.3.

Изменения (по сравнению с версией 12.12) включают в себя:

• Интеграция
  • JDBC коннектор - теперь запросы можно запускать из java
  • SciDB R-package - поддержка языка R
  • ScaLAPACK теперь доступен для всех платформ - CentOS 6, RedHat 6, Ubuntu 12.04 LTS (ранее была лишь Ubuntu)
  • интеграция с Intel Math Kernel Library - ускорение запросов с линейной алгебры в 10-12 раз (!)
  • Добавлены deployment скрипты для установки SciDB на кластер
• Исправления
  • Исправление критичного бага по работе со строками
  • Существенно улучшена производительность redimension_store (оператор по созданию измерения из аттрибута)
  • Улучшена производительность оператора window (оконные вычисления функций)
  • NOT EMPTY (dense) массивы deprecated и не рекомендуются более к использованию
• Новые операторы
  • Оператор GEMM - General Matrix Multiply
  • Оператор GESVD - Generalized Singular Value Decomposition
  • Оператор TSVD - Truncated Singular Value Decomposition
  • Оператор GML - Generalized Linear Model

>>> Скачать (требуется регистрация)