LINUX.ORG.RU

Релиз DPI Carbon Reductor 4.0.3

 carbonsoft, , , ,


2

1

Вышла в свет 4.0.3 версия российского софтверного DPI под Linux - Carbon Reductor.

Carbon Reductor специализируется на фильтрации больших объёмов http-трафика у интернет-провайдеров, основная задача - блокирование сайтов из единого реестра Роскомнадзора и других источников.

Самая главная новая возможность - редирект пользователя на страницу о блокировке, реализован в виде модуля ядра Linux (target-модуль iptables). По сути он реализует tcp-session-hijack - пользователю подготавливается поддельный HTTP-пакет с Location 302 и отправляется от имени ресурса, к которому он обращался. Для гарантированной фильтрации после этого и абоненту и ресурсу отправляется tcp-rst пакет.

Дополнительно появилось множество не столь значительных, но приятных для администратора сервера плюшек:

  1. Автоматическая ежечасная диагностика с исправлением популярных проблем и подсказками как исправить то, что автоматически исправить не удалось;
  2. Отчёты по диагностике при возникновении ошибки для администратора и технической поддержки, отправляющихся на указанную в настройках почту;
  3. Автоматическая настройка сети и конфигурация ebtables и iptables для приёма и сканирования зеркала трафика с коммутатора;
  4. Три варианта обновления: ручное, автоматическое на все devel-версии или только на master с критическими исправлениями;
  5. Автоматический тюнинг параметров ядра Linux, для работы с большим количеством соединений;
  6. Опциональная поддержка списка Минюста (да, да, того самого на 85% состоящего из синих DVD дисков с аудиофайлом 1488.avi, в нём таки есть URL ресурсов, а провайдеров заставляют их банить).

Мануал по Carbon Reductor на xgu.ru

>>> Источник - carbonsoft.ru



Проверено: Shaman007 ()
Последнее исправление: Shaman007 (всего исправлений: 1)

Опциональная поддержка списка Минюста (да, да, того самого на 85% состоящего из синих DVD дисков с аудиофайлом 1488.avi, в нём таки есть URL ресурсов, а провайдеров заставляют их банить).

Как минимум Вконтакте всё?

http://minjust.ru/ru/extremist-materials?search=vkontakte

Размещенный Байкаловым Никитой Игоревичем в сети Интернет на странице «Сергей Правый» сайта http://www.vkontakte.ru видеофайл «Толерантность к славянскому населению» (решение Югорского районного суда Ханты-Мансийского автономного округа – Югры от 22.06.2011).

Естественно, машина заблокирует весь контакт.

Ttt ☆☆☆☆☆
()

ГОРИ ОНО В АДУ ТРИЖДЫ!!!

подготавливается поддельный HTTP-пакет с Location 302

У них совесть вообще есть? А потом начинаются непонятные краши приложений и порча скачиваемых файлов.

mittorn ★★★★★
()

tcp-session-hijack

DPI

лал. эта ваши маркетологи так хрен пальцем обозвали?

xsektorx ★★★
()

Думаю ЛОР будет един во мнении! Скажем дружно - «на[[:censore:]] нужно»!!

Atlant ★★★★★
()
Ответ на: комментарий от xsektorx

С одной стороны не нужно, с другой сабж позволяет блокировать отдельные страницы. Однако это и прозрачный прокси умеет.

Ttt ☆☆☆☆☆
()
Ответ на: комментарий от Ttt

ога. неправильный инструмент для тривиальной неправильной задачи. ещё и делается всё это криво

xsektorx ★★★
()
Ответ на: комментарий от Ttt

Прозрачный прокси не справится с 40гбит/сек.

weirded
() автор топика
Ответ на: комментарий от Ttt

Само собой есть поддержка исключений, в которые не попадают ссылки блокирующие популярные крупные сайты целиком.

weirded
() автор топика
Ответ на: комментарий от Ttt

В данный момент нет. Но в jira на будущее задачка есть :)

weirded
() автор топика
Ответ на: комментарий от goingUp

Сам многократно ржал с этого. Но потом успокаивал себя тем, что есть такая штука - СОРМ.

weirded
() автор топика
Ответ на: комментарий от weirded

Интернет-провайдер перешёл на подобную систему (внешнесетевые ресурсы доступны через PPTP, а напрямую блокированы). Раньше пакеты просто не пускало и соединения не происходило, а теперь: 1. Сначала выдаваемая страница пускалась по всем портам, мало того, оставалась в http кэше, потом пофиксили 2. Всё, что скачивало ленты, индикаторы погоды и подобное просто выдавало пустоту 3. докачиваемые файлы усекались (wget) или дополнялись html-кодом (сторонний загрузчик в firefox). 4. Ну и на андройде половина прог, работающих с интернет-ресурсами крашится

mittorn ★★★★★
()
Последнее исправление: mittorn (всего исправлений: 1)
Ответ на: комментарий от mittorn

Интернет-провайдер перешёл на подобную систему (внешнесетевые ресурсы доступны через PPTP, а напрямую блокированы). Раньше пакеты просто не пускало и соединения не происходило, а теперь:

Это при попытке доступа на «закрытый» ресурс или на любые вообще?

1. Сначала выдаваемая страница пускалась по всем портам, мало того, оставалась в http кэше, потом пофиксили

Вы имеете в виду, что при обнаружении попытки доступа к закрытому ресурсу, в ответ приходило 60000+ пакетов с этой страницей на каждый порт?

А про http cache - спасибо за мысль, на неделе потестим на сохранение в кэше.

2. Всё, что скачивало ленты, индикаторы погоды и подобное просто выдавало пустоту.
3. докачиваемые файлы усекались (wget) или дополнялись html-кодом (сторонний загрузчик в firefox).

Всё это при работе с незапрещёнными сайтами?О_о В Carbon Reductor в процессе разработки и тестирования незапрещённые файлы качались нормально и wget'ом и chromium'ом и firefox'ом (каюсь, в виртуалке-абоненте не имею opera :) ), при попытке доступа к запрещённым wget отдавал HTML страницы на которую происходил редирект.

4. Ну и на андройде половина прог, работающих с интернет-ресурсами крашится

Попробую сегодня заблокировать в офисе вконтакте и посмотреть что будет с андроидовской аппликухой :)

P.S: а мне больше понравилось таким образом редиректить запрещённые сайты на один из запрещённых сайтов.

weirded
() автор топика
Ответ на: комментарий от xsektorx

ну, государство угнетает, а вы на этом зарабатываете

Меня вот мой провайдер угнетает, который из-за 10-20 ссылок на конкретные страницы nnm-club закрыл весь сайт. Тор конечно спасает, но я в последнее время АНБ начинаю побаиваться. :)

Ну и к тому же давно уже многие наши клиенты, использующие наши биллинг и маршрутизаторы, просили прикрутить в каком-либо виде фильтрацию, так как по IP блочить не кошерно, по DNS тоже не очень, а использование ipt_STRING или, что ещё хуже прокси, дико тормозит работу инета у абонентов.

Так что как говорится, был бы спрос, а предложение найдётся. Тем более малые провайдеры по крайней мере аппаратные DPI себе вряд ли будут покупать из-за цены около двух миллионов рублей. В случае с Reductor - стоимость ежемесячной подписки не превышает размера месячной зарплаты одного монтажника-студента.

weirded
() автор топика
Ответ на: комментарий от haku

на три буквы — VPN

Да в прицнипе пожалуйста, больных на голову людей которые будут отрезать весь VPN трафик кроме идущего к собственным серверам среди руководства провайдеров мало.

К тому же, как я понимаю, достаточной целью всех этих законов является ограничение доступа к сайтам ~90% абонентов, на более/менее технически подкованных людей - пофиг, ибо всё равно найдут способ обхода.

Ну и недавно мнение одного товарища из органов узнал, по поводу «господи, ну а сайты о суициде то чем не угодили?», что мол «на них часто поднимаются темы, о том как вместе с собой утащить на тот свет как можно больше людей, что опасно для общества».

Интереса ради загуглил около 10 суициднических сайтов, полистал первые темы форумов - не так уж часто такие сообщения встречаются, около 5-10%.

weirded
() автор топика

Галактика Демократия и свобода слова в опасности

yk
()
Ответ на: комментарий от xsektorx

Я к тому, что кто-нибудь да сделал бы что-то подобное.

Ну и да, потихоньку начинаю в шутку называть Carbon Soft корпораций зла :)

weirded
() автор топика

1. А на CentOS 6.3 встанет?

2. Без списка роскомнадзора можно использовать?

3. Не по сайтам, а по кейвордам умеет банить?

4. Можно ли заблокировать URL по регулярке?

Например что-то в духе:

http://*/.*.flv

anonymous
()

1. А на CentOS 6.3 встанет?

2. Без списка роскомнадзора можно использовать?

3. Не по сайтам, а по кейвордам умеет банить?

4. Можно ли заблокировать URL по регулярке?

Например что-то в духе:

http://*/.*.flv

anonymous
()
Ответ на: комментарий от weirded

Нет, у нас в городе разделение сетей. Доступ в Томскую сеть бесплатно, для внешней - помегабайтный или vpn. А с кэшем - это они не редирект выдавали, а готовую страницу, да ещё с разрешённым кэшированием. Просто неграмотно настроили. С портами - я тупо на telnet получал HTTP 403 в ответ. Билайн кстати тоже мне веб-страницы выдавал, когда деньги кончились. В официальной аппликухе вроде всё нормально (в последних версиях), а качалки (через которые я видео смотрю и музыку слушаю - сыпятся). Ещё сыпется comtube sms sender, в результате набранный текст сообщения потерян. Понимаю конечно, что виноваты в этом разрабы приложений, но всё равно не хорошо. Вот именно, wget усекал файл и записывал html-страницу.

mittorn ★★★★★
()

Такой софт должен содержать аккуратно расставленные баги и бэкдоры для обхода ))))) очень аккуратно и очень глубоко расставленные...

Шобы реально рассыпался потом как редуктор с карбоновыми шестернями...

vitalif ★★★★★
()
Последнее исправление: vitalif (всего исправлений: 1)

P.S: Я против DPI, потому что зонд. И против людей которые говорят «раз уж блокируем, давайте хотя бы сами себе ввернём в попу зонд и будем блокировать страницы». Нефиг, пускай по IP блочат - чем до большего маразма доводить маразм, тем больше людей заметят, что это маразм. Идеально было бы, если бы заблокировали ВЕСЬ вконтакт, фейсбук и одноклассники заодно - вот тогда бы срач поднялся, это да...

vitalif ★★★★★
()

Неизбежное движение в эту сторону. Уровень контроля будет расти, так же как и в мире физическом. На любую свободу найдется куча уродов, которым лично твоя свобода мешает.

i3draven ★★
()
Ответ на: комментарий от anonymous

Что за новости? Будут сажать за сам факт поднятия vpn-туннеля? Ведь больше они ничего не узнают. А ничего, что он для много каких легальных целей используется? Тем более не всегда можно со стороны отличить VPN-трафик от других видов шифрованного трафика. Например, ssh-туннель не отличишь от ssh для удалённого администрирования. Какие-то реализации VPN не отличишь от SSL, который используется для HTTPS. Так что запретить обход можно только северокорейским путём: запретить вообще весь интернет.

Ttt ☆☆☆☆☆
()
Ответ на: комментарий от vitalif

Государству пофигу на срач. А заблокируют поц. сети — хомячки будут изучать мир только по государственным телеканалам.

Нет уж, провайдер, блокирующий по IP, усиливает репрессии, которые чинит власть. Это всё равно, что полицейскому, которому приказали арестовать оппозиционера, изнасиловал и убил его.

Провайдер не должен ограничивать свободу своих клиентов, за исключением случаев, когда это его обязывают власти под угрозой лишения лицензии или более кровавых мер. Если он блокирует по IP — то фактически по собственной инициативе блокирует ресурсы.

Ttt ☆☆☆☆☆
()
Ответ на: комментарий от i3draven

А если я по sftp данные туда заливал и сливал? Тем более можно настроить маршрутизацию, чтобы только к запретным сайтам обращалось через туннель.

Ttt ☆☆☆☆☆
()
Последнее исправление: Ttt (всего исправлений: 1)
Ответ на: комментарий от tailgunner

DPI - это же общее название технологий запрыгивания на более верхние OSI, не более.

anonymous
()
Ответ на: комментарий от anonymous

Непуганные идиоты всё ещё думают, что спасутся в VPN. Полистай новости.

Больше года пользуюсь. Выходы почти во всех странах мира. Любая цензура отключается на раз-два.
Кстати в Германии и Великобритании ютуб очень обрезан, ты знал?

haku ★★★★★
()
Ответ на: комментарий от Xenius

Ну даже тут находятся люди, которые поддерживают блокировку запрещённой информации. Но они недовольны тем, что под раздачу попадает законная информация.

Так что путём блокировки по IP на революцию людей не сподвигнешь. Какой смысл врать, что блокировать отдельные страницы вообще нельзя?

Ttt ☆☆☆☆☆
()
Ответ на: комментарий от Ttt

даже тут находятся люди, которые поддерживают блокировку запрещённой информации.

Ну вот пусть им запрещают и блокируют. А я хочу чтоб мои конституционные права соблюдались и я сам решал, какая информация мне нужна, а какая нет.

Так что путём блокировки по IP на революцию людей не сподвигнешь.

Есть надежда что люди массово перейдут на свободные P2P-сети и тогда увеличится их ёмкость, а правительство поймёт что проигрывает и перестанет блокировать.

Xenius ★★★★★
()
Ответ на: комментарий от Xenius

Есть надежда что люди массово перейдут на свободные P2P-сети и тогда увеличится их ёмкость, а правительство поймёт что проигрывает и перестанет блокировать.

Чувствую, что не добьёшься. Мы и так можем ими пользоваться и быть готовыми к тому, что там появится какой-нибудь полезный ресурс. А хомячкам, кроме контакта и одноклассников, ничего не нужно. А эти ресурсы легально работают в РФ и избегают блокировки.

Ttt ☆☆☆☆☆
()
Ответ на: комментарий от Xenius

P2P сети, которые активно сканятся PRISM и подобными.

Даже не знаю что хуже :)

P.S.: вообще список Роскомнадзора кстати на ~60% адекватен - это сайты продажи наркотиков. А так - давно его не анализировал, думаю как-нибудь статистику по нему выложить.

weirded
() автор топика
Ответ на: комментарий от weirded

на ~60% адекватен

Даже если бы это было так, это всё равно недопустимо мало.

Но ты не учитываешь множество сайтов на одном IP с запрещёнными, да и продают там в основном семена растений, которые вроде как легальны, так на каком основании их запрещают?

Xenius ★★★★★
()

В то время как в Европе пишут свободные СУБД, офисы и операционки, в России пишут шипастый самотык для более качественного анального покарания собственного населения. Браво.

Отдельное спасибо администрации данного ресурса за оперативнейшее подтверждение новости. Это не всякие там компиляторы.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.