LINUX.ORG.RU

Carbon Reductor 2.2.0

 carbon reductor, carbon soft, great russian firewall, , url фильтр


1

1

Вышла новая версия коробочного URL-фильтра для провайдеров Carbon Reductor.

Согласно заверениям разработчиков из Carbon Soft фильтр позволяет обрабатывать до 900 000 пакетов в секунду на ядро процессора, при количестве URL в списке не более 10000, что является большим запасом, поскольку у большинства провайдеров это количество редко превышает 400 страниц/сайтов.

Основные изменения версии для CentOS 6.4

  • Установка из RPM-пакета.
  • Улучшен алгоритм распознавания URL.
  • В пакете поставляется включаемый файрвол, снижающий нагрузку на модуль.
  • Исправлена ошибка обновления списков сайтов, в случае указания кириллических URL в разных кодировках.
  • Исправлена проблема с повышением нагрузки при добавлении большого количества URL с длинным GET-запросом.
  • Файл XML-запроса в единый реестр запрещённых сайтов теперь автоматически генерируется из шаблона.
  • Всё, что требуется для работы добавлено в chroot-jail с целью работы из коробки.

>>> Загрузка



Проверено: Shaman007 ()

до 900 000 пакетов в секунду на ядро процессора

А вот если бы написали свой драйвер, то скорость была бы намного больше.

The problem with packets is they go through the Unix kernel. The network stack is complicated and slow. The path of packets to your application needs to be more direct. Don’t let the OS handle the packets.

loz ★★★★★
()

Докатились - на ЛОРе рекламируется решение, предназначенное для разрушения рунета.

plm ★★★★★
()
Ответ на: комментарий от plm

удобно же зато: будет информация о тех, кто с симпатией относится к полицейским мерам.

anonymous
()

Да ну... Посмотрел ваш сайт... да вы крутые ребята! Закон о персональных данных кстати слегка смягчили. Ваш пересобраный (перескаченный?) Centos больше не нужет. №149 тоже не дай бог смегчат... на чем деньги делать будете? Аникейщшики долбанные. Хотя пару идиотов вы наверное нашли уже...

anonymous
()
Ответ на: комментарий от plm

Ну а что сейчас делается? Ресурсы блокируются по IP или ещё хуже того по DNS. Так хотя бы отдельные страницы/картинки блокироваться будут.

anonymous
()

ограничить доступ к противоправной информации в сети Интернет и защитить детей от вредной информации

Ни того, ни другого в интернете нет. Информация по сути не может быть какой-либо, кроме существующей или нет.

devl547 ★★★★★
()

DPI шоле? Спасибо, не надо. Пусть лучше по IP блокируют, и желательно побольше блокируют всякие вконтактики - чем блокировка будет менее удобна для пользователей, тем хуже будет работать отстойный закон.

Тем, кто придумал закон, желаю мучительно погибнуть от поноса. Причём прямо СЕЙЧАС. Вместе с DRM'щиками, которым то же самое искренне желал сегодня утром в комментах на опеннете.)

vitalif ★★★★★
()
Последнее исправление: vitalif (всего исправлений: 1)
Ответ на: комментарий от anonymous

Это ж хорошо: народ замечает, что отнимают свободу, провайдеры многие не спешат блокировать.

А с помощью решений вроде этой программы дорогие россияне тихо и незаметно превратятся в рабов. Не нужно.

Bagrov ★★★★★
()

Ну и зачем подтверждать заведомо танцпольную новость?

Давайте танцполить по-чёрному (причём отвечая на саму новость, а не на другие комментарии, чтобы труднее было удалить) — может снесут. Ну это всё равно что рекламировать виселицы или кнуты.

Ttt ☆☆☆☆☆
()
Ответ на: комментарий от LinuxUser

А разве не разрушают? Вон, мне говорят, что wordpress до сих пор весь заблокирован у рабов ростелекома (хотя, возможно, только по https, надо будет уточнить). А, если, например, google заблокируют, то вообще всё встанет: люди доступ к своей почте потеряют, например.

Ttt ☆☆☆☆☆
()
Ответ на: комментарий от anonymous

С https это невозможно. А, например, гугл только по https работает.

Ttt ☆☆☆☆☆
()
Ответ на: комментарий от LinuxUser

Ты действительно в это веришь?

После бана вконтакте или видео казахского президента на ютьюбе не подскажешь, во что верить? В борьбу с детской порнографией? Ха!

jackill ★★★★★
()
Ответ на: комментарий от jackill

УМВР. Где вконтакте забанили? А что за история с видео казахского президента?

LinuxUser ★★★
()
Ответ на: комментарий от anonymous

В - А Это всё потому что я хочу спать. Список Путина же закрыт.

anonymous
()

редко превышает 400 страниц/сайтов.

А если какой-нибудь вконтактик? Там же кучи страниц можно наблокировать. Выйдет намного больше чем 400 страниц на сайт.

anonymous
()
Ответ на: комментарий от anonymous

В откуда оно берёт список Роскораспозора?

Провайдер кладёт копию своей ЭЦП, патченный openssl ей подписывает автоматом формируемую XML'ку с запросом и по SOAP'у забирает с zapret-info.gov.ru.

weirded
() автор топика
Ответ на: комментарий от anonymous

А если какой-нибудь вконтактик? Там же кучи страниц можно наблокировать. Выйдет намного больше чем 400 страниц на сайт.

Эмм, причём там страницы на сайт? Имелось в виду 400 страниц или сайтов целиком же скорее всего.

weirded
() автор топика
Ответ на: комментарий от weirded

А почему «редко»? Из списка так часто сносятся адреса пачками?

anonymous
()
Ответ на: комментарий от anonymous

Инсайд? А днс, айпишников сколько? Расскажи.

Инсайд, инсайд. Можно подробнее, что имеется в виду под DNS? Сколько доменов без указания конкретных страниц?

Обычно формат списка такой:

<entry>
  <ip></ip>
  <url></url>
</entry>
Уже точно не помню, глазами на список смотрел уже давно, да и не хранятся они у нас. А провайдеры кто чем может, то и блокируют.

У нас выбирается URL, если есть - блокируется именно по нему.

Вообще всё началось ещё с того момента с невинностью мусульман, юзеры Ideco ACP 3 который мы делаем просто разрывали суппорт либо вопросами как с его помощью всё заблокировать, либо с последствиями блокировки с помощью ipt_string.

weirded
() автор топика
Ответ на: комментарий от anonymous

Реквестирую слитые копии списка.

Закон запрещает его распространять, да и мы его не храним, так что увы. Но вообще я не замечал в нём чего-то кроме ЦП и веществ, разве что вот Eve Online однажды вынесло мозг напрочь.

weirded
() автор топика
Ответ на: комментарий от weirded

Сколько доменов без указания конкретных страниц?

Да.

Т.е. отдельно домены не приходят, только урлы? Думал для этого есть отдельное поле.

anonymous
()
Ответ на: комментарий от weirded

Тем не менее пару раз сливали. Интересует скорее не содержание, а статистическая инфа, которую можно извлечь, да структура файла. Ну и просто любопытно. Кстати, а почему не храните?

anonymous
()
Ответ на: комментарий от anonymous

Структуру недавно ребята из SkyDNS на хабре рассматривали, думаю найти не сложно.

А не храним, потому что смысла от устаревающей каждые 12часов инфы нет,да и роскомнадзор скорее всего чекает обновляющих список регулярно (в XML-файл запроса входит инфа о провайдере), мб чтобы свои предписания вбрасывать тем кто дремлет.

weirded
() автор топика
Ответ на: комментарий от anonymous

Когда на работе буду, грепну, отпишу.

Т.е. отдельно домены не приходят, только урлы?

Кстати бывает и куда милее ситуация, в реестре могут существовать одновременно:

http://example.com
http://example.com/page2ban.html
http://www.example.com/

когда увидел, думал парсер поломался.

weirded
() автор топика
Ответ на: комментарий от kombrig

Официальное зеркало роскомнадзора?

Поискал там сайт на котором обычно работу фильтра тестировал, нема. Неужто выпилили.

Как часто обноаляется та репа?

weirded
() автор топика
Ответ на: комментарий от anonymous

Не думаю, часть сайтов знакомой выглядит.

weirded
() автор топика
Ответ на: комментарий от Ttt

Ну это всё равно что рекламировать виселицы или кнуты.

А что плохого в кнутах?

Ramen ★★★★
()
Ответ на: комментарий от crypt

Можно, только одну проверку убрать в коде. А потом можно -p tcp ! -m reductor сделать и забанить все кроме рунета. :)

weirded
() автор топика
Ответ на: комментарий от vitalif

DPI шоле

До полноценного DPI конечно не тянет, весь функционал - проверить, есть ли URL внутри пакета в указанном списке и если так, вернуть true.

Эдакий ipset, только не для IP, а для URL.

weirded
() автор топика
Ответ на: комментарий от weirded

Ну так URL записан на уровне http, то есть на прикладном уровне. А DPI — это как раз и есть залезание на верхние уровни.

Ttt ☆☆☆☆☆
()
Ответ на: комментарий от loz

Интересная статья по ссылке, не спорю. Но вряд ли по тому пути получился бы стабильно работающий под небольшими нагрузками (4000 абонентов) фильтр через месяц с начала разработки. Решение проблемы-то нашим клиентам нужно было срочно.

Да и кстати проблем с производительностью пока не было, все таки доля веб-трафика не так уж велика. Единственное с чем столкнулись - переполнение кэша маршрутов, но проблема решилась изменением нескольких дефолтных параметров в proc.

weirded
() автор топика
Ответ на: комментарий от Ttt

Верно, я к тому, что обычно DPI-решения куда более функциональны.

weirded
() автор топика
Ответ на: комментарий от Bagrov

россияне тихо и незаметно превратятся в рабов.

эээ... вообще-то, они уже давно как...

anonymous
()
Ответ на: комментарий от anonymous

Ваш пересобраный (перескаченный?) Centos

Про пересобранный CentOS - это если не секрет про какой продукт? Суть ведь не в пересборке, а в том, какие сервисы для бизнеса продукт даёт прямо из коробки (специалистов-то рукастых мало, которые всё с нуля сами поднять смогут быстро, а те, кто есть - стоят дороже коробочного продукта).

№149 тоже не дай бог смегчат... на чем деньги делать будете?

Про №149, если смягчат, найдём уж на что, будто ФЗ - единственное применение URL фильтрации. Пока есть задумка это дело под услуги в духе детского интернета заточить.

weirded
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.