По фану довел до ума один свой opensource проект за последний месяц. Подумал, что в целом неплохо бы его показать людям, накидал статейку на хабре, собрал ~160 звезд, кучу багов (тестировал только на CentOS 6 со своим основным продуктом и в на CI гонял тесты в контейнере на данных собранных с тех же CentOS).

Баги починил, и вроде как всё здорово, но напрягает вопрос - а все ли архитектурно в проекте правильно, все ли сделано по лучшим практикам, как можно сделать лучше? Проблема в том, что смотрели на проект пока только его пользователи, которые как правило к разработке имеют посредственное отношение (целевая аудитория - сисадмины интернет провайдеров и вообще сервисов с стабильно забитым гигабитным и выше каналом) и вообще левые скучающие фронтендеры с хабра.

Короче хочется хоть какого-то код ревью, но как с этим в мире опенсорса дела обстоят - даже не представляю. Для того, чтобы понимать как все устроено, что делает и как стоит делать правильно - нужно иметь высокий скилл, а обладая высокими скиллами тратить свое время бесплатно - что-то вообще не комильфо (шутка про ревьюкоины).

Собственно требований не так много:

• Процессор: 2х8 или 1х16 ядер по 2.5GHz+
• В идеале - не более 8gb RAM (много не надо, будет использоваться максимум 1гб, остальное для перестраховки)
• Несколько обычных небольших HDD, I/O - копеечное и храниться ничего не буде большого
• Наличие 5 слотов для 10Gbit/s карт, а в идеале чтобы пара-тройка от Intel уже были в комплекте.
• Нормальная работа с CentOS 6.6 (x86_64), чтобы установил - и более не заморачиваешься ни за что.
• В идеале брендовость, типа HP, etc, но не критично.

Пока всё что смотрю из x86 подходящее по требованиям к процессору - имеет гору оперативки/дисков и одну встроенную 1gbit/s сетёвку, что вообще не круто, более менее заточенное под сетку железо на других архитектурах. Буду рад за советы и ссылки. Насчёт бюджета - что-то около 300к рублей, лучше меньше, но не страшно.

Есть ли какой-то способ вычленить логи одного конкретного модуля в отдельный файл? По идее всё логирование идёт с одним facility - kern, если я не ошибаюсь. Есть, конечно вариант захачить всё это дело вместе с syslog, но это вроде как перебор уже будет.

Как-то в упор мне не верится то, что все люди обходятся какими-то собственными костылями (как я), а особенно такие монстры как redhat. Есть же наверное какая-то хорошая система, в свободном доступе итд, которая поможет в следующей ситуации:

Есть проект, состоящий из нескольких GIT репозиториев:

• модуль для iptables
• ядерный модуль для netfilter
• набор userspace утилит для работы с этим самым модулем и не только
• набор автотестов, которые имеет смысл запускать только на настроенном стенде
• сам spec-файл (вернее его шаблон).

Иными словами мы получаем от каждого репозитория набор исходников, часть из которых нужно сперва собрать (некоторым нужно особое окружение, в данном случае развёрнутые исходники ядра Linux нужной версии), часть просто скопировать и в итоге получить содержимое RPM'ки.

Плюс хочется чтобы поддерживались:

• сборки пакета из различных веток, скажем, master, devel, experimental, автоматическое подтягивание изменений из master в devel, из devel во все остальные, при сборке.
• автоинкремент билда.
• автоматическая генерация ChangeLog из коммитов в git
• выкладывание собранных RPM на удалённый сервер (складывание в публичный репозиторий).
• ругань на незакоммиченные изменения и неразрешённые конфликты в репозиториях
• поддержка CI, хотя бы на уровне «закинуть на стенд, попробовать установить».

В общем хочется чего-то в следующем духе: установил centos, настроил сеть, поставил yum'ом систему сборки, подложил конфиг с другой системы или из бэкапа (мало ли, всё сгорит), запустить эдакий bootstrap и на выходе получить рабочую систему сборки, ничем не отличающуюся от других.

Пока копал в сторону Mock, но судя по описаниям он годится только на то, чтобы пересобирать уже имеющиеся src.rpm под разные архитектуры.

Просто, если такой системы не существует, то, наверное мне стоило бы выложить свой набор костылей в opensource, но чтобы это сделать, мне нужно побороть свой стыд и подчистить код.

Моя компания, основными клиентами которой являются системные администраторы провайдеров, собирается провести какой-нибудь конкурс среди них, собственно лично мне не хотелось бы чтобы маркетологи напридумывали странных или не очень интересных грамотному айтишнику призов (банальные айфоны и айпады это вообще не торт), поэтому решил обратиться за советом к вам.

Судить по себе тоже не особо хочется, ибо выборка слишком узкая получается.

Вышла в свет 4.0.3 версия российского софтверного DPI под Linux - Carbon Reductor.

Carbon Reductor специализируется на фильтрации больших объёмов http-трафика у интернет-провайдеров, основная задача - блокирование сайтов из единого реестра Роскомнадзора и других источников.

Самая главная новая возможность - редирект пользователя на страницу о блокировке, реализован в виде модуля ядра Linux (target-модуль iptables). По сути он реализует tcp-session-hijack - пользователю подготавливается поддельный HTTP-пакет с Location 302 и отправляется от имени ресурса, к которому он обращался. Для гарантированной фильтрации после этого и абоненту и ресурсу отправляется tcp-rst пакет.

Дополнительно появилось множество не столь значительных, но приятных для администратора сервера плюшек:

1. Автоматическая ежечасная диагностика с исправлением популярных проблем и подсказками как исправить то, что автоматически исправить не удалось;
2. Отчёты по диагностике при возникновении ошибки для администратора и технической поддержки, отправляющихся на указанную в настройках почту;
3. Автоматическая настройка сети и конфигурация ebtables и iptables для приёма и сканирования зеркала трафика с коммутатора;
4. Три варианта обновления: ручное, автоматическое на все devel-версии или только на master с критическими исправлениями;
5. Автоматический тюнинг параметров ядра Linux, для работы с большим количеством соединений;
6. Опциональная поддержка списка Минюста (да, да, того самого на 85% состоящего из синих DVD дисков с аудиофайлом 1488.avi, в нём таки есть URL ресурсов, а провайдеров заставляют их банить).

Мануал по Carbon Reductor на xgu.ru

>>> Источник - carbonsoft.ru

В кратце в чём суть:

1. Есть большие (от 1 до 100гб) файлы на множестве машин.
2. Есть желание хранить их инкрементальные бэкапы.
3. Поскольку в файлах есть личные данные - их нужно шифровать на стороне клиента. (примечание - шифрование должно быть блочным несвязным и не использовать salt).
4. Всё это должна обслуживать одна машина с хорошим каналом и большим количеством хардов (вычислений на ней - минимум).
5. Переливаться по сети должны только изменившиеся данные.

В субботу искал подобные решения, ничего стоящего не нашёл. Всё уходит в rsync и обёртки вокруг него, которые не умеют шифровать с nosalt. Пока что написал прототип такого копирования на bash, на полуторагиговом ISO образе в котором изменилось по 6-7 файлов в 5 tar.gz архивах получилось сэкономить при синхронизации около 40% переливаемого объёма. Вот сейчас думаю, имеет смысл это допиливать и потом переписывать на C/Python для скорости или может я абсолютно не умею пользоваться гуглом и кто-то уже делал готовые решения?

Вышла новая версия коробочного URL-фильтра для провайдеров Carbon Reductor.

Согласно заверениям разработчиков из Carbon Soft фильтр позволяет обрабатывать до 900 000 пакетов в секунду на ядро процессора, при количестве URL в списке не более 10000, что является большим запасом, поскольку у большинства провайдеров это количество редко превышает 400 страниц/сайтов.

Основные изменения версии для CentOS 6.4

• Установка из RPM-пакета.
• Улучшен алгоритм распознавания URL.
• В пакете поставляется включаемый файрвол, снижающий нагрузку на модуль.
• Исправлена ошибка обновления списков сайтов, в случае указания кириллических URL в разных кодировках.
• Исправлена проблема с повышением нагрузки при добавлении большого количества URL с длинным GET-запросом.
• Файл XML-запроса в единый реестр запрещённых сайтов теперь автоматически генерируется из шаблона.
• Всё, что требуется для работы добавлено в chroot-jail с целью работы из коробки.

>>> Загрузка

Товарищи, дайте совет по выбору дистрибутива. Я закоренелый убунтовод, времени ковыряться со сборкой из кирпичиков чего-то для десктопа, за что мне никто не заплатит ни копейки как-то не так уж много.

За 3 года очень уж сильно привык к интерфейсу gnome2 в ubuntu 10.04, настолько, что он, можно сказать, является продолжением моих рук. Но в последнее время возникла проблема - умер мой верный нетбук. Хотел купить что-то новое, но везде видео - Intel GMA 3650 или новые AMD, которое ядром 2.6.32 не поддерживаются, как и некоторые сетёвки.

Собственно вопрос - существует ли некий дистрибутив, в котором имеется одно из последних ядер (дабы имелась поддержка современного железа), gnome2 (не mate / gnome fallback / gnome classic!) и compiz (ну вот удобно мне вертеть списком окон именно определённым способом и всё тут). И чтобы всё это счастье работало из коробки? Ну даже не прямо из коробки, но чтобы через 3-4 часа после установки я уже мог сидеть и развлекаться с git'ом и vim'ом, а не смотрел на 15 FPS в glxgears.

На пакетный менеджер в принципе пофиг, но если apt-get - то это был бы просто идеальный для меня дистрибутив на ближайшие 2-3 года.

Сабж в принципе понятен из вопроса. Зачем? Часто бываю у девушки в гостях, пароли на компах отличаются, часто когда ввожу sudo что-то там на автомате после этого ввожу свой пароль.

Часто приходится создавать виртуальные машины для тестирования новых версий операционной системы, решил заскриптовать установку. Столкнулся со следующей проблемой - при указании формата хранилища (qcow2) получаю следующую ошибку:

username@host:/$ sudo virt-install -n machinename -c distrib.iso -r 512 --vcpus=2 --os-type=linux --os-variant=generic24 \
--network bridge=br0,model='e1000' --network bridge=br1,model='e1000' \
--disk path=/storage/img/image.qcow2,size=8,sparse='true',cache='writeback',format='qcow2'
ERROR Формат не может быть определён для неуправляемого хранилища.

Отказаться от использования qcow2 с cache writeback не особо хочется, скорость I/O повышается в ~15 раз по сравнению с raw и cache none.
Гугл не особо помог (ссылки в основном связанные с чем-то от microsoft и C#), само сообщение малоинформативно, в man нашел только строчку:

Image format to be used if creating managed storage.
For file volumes, this can be 'raw', 'qcow2', 'vmdk', etc.
See format types in <http://libvirt.org/storage.html> for possible values.

но как создавать именно managed storage умалчивается.