LINUX.ORG.RU
ФорумAdmin

Профессионально о блокировке запрещённых сайтов

 ,


2

3

Добрый день! Есть тут админы, работающие в телекоме? Нужен совет.
Как известно, есть одна неприятная для нашего коллеги организация, «Роскомнадзор» называется. Они конечно, козлы, но тем не менее на штраф нарваться сильно не хочется. Вобщем как вы все знаете, все российские операторы должны блокировать доступ своим абонентам к ресурсам, включённым в так называемый «реестр запрещённых ресурсов». О том каким способом блокировать, можно дискутировать, но чиновники в РКН в это тоже вмешиваются. В общем, если у тебя есть лицензия оператора связи (на передачу данных и телематических услуг) - то к тебе прикрепляется чиновкик РКН, шлёт тебя распоряжения и рекомендации. Вобщем нам на неделе прислали распоряжение, согласно которому мы должны в 30 дневный срок установить ПО с помощью которого РКН будет контролировать блокируем мы запрещённые ресурсы или нет. До этого, контроль с их стороны осуществлялся только тем, что они фиксировали тот факт, что мы регулярно получаем выгрузку реестра. Меж тем, вопрос как именно осуществлять блокировку до сих пор является спорным.
Вот взять к примеру ресурс http://www.youtube.com/watch?v=aUI*****P4M, как его блокировать? Варианты блокировки по ip или по домену - не катят, youtube - слишком популярный ресурс, пользователи бучу поднимут. Меж тем в реестре информация о запрещённом ресурсе представлена следующим образом:

<content id="102799" includeTime="2015-02-25T12:39:38" entryType="1" hash="983D0E1A53AA5A8783BB8C1AEC927AF6">
   <decision date="2014-08-21" number="2-3320/14" org="суд"/>
   <url>http://www.youtube.com/watch?v=aUI*****P4M</url>
   <domain>www.youtube.com</domain>
   <ip>72.8.190.47</ip>
</content>
Как осуществлять блокировку по url? Это же трафик всех абонентов через прокси пускать нужно.

★★★★★

Последнее исправление: Falcon-peregrinus (всего исправлений: 4)

Профессионально о блокировке

профессия? блокировщик ...

anonymous
()

Раз спецов в треде не появилось, я покапитанствую.
Вот выдержка из статьи на хабре по ревизорской железке:

Перейдем к главному Ревизору — файлу urlcheck. Он написан на C++, динамически слинкован, использует libevent и его OpenSSL-обертку, и обладает нижеперечисленными функциями:

    Выполнение HTTP/HTTPS GET/POST-запросов по определенному URL
    Выполнение запросов по определенному URL с заданным IP-адресом (без разрешения доменного имени через DNS)
    Выполнение нестандартных запросов для обхода DPI: добавление точки в конец домена, двойной слеш в начале URL, экранирование URL
    Определение факта блокировки сайта путем поиска совпадений регулярного выражения в теле и заголовках ответа сервера
    Отправка ICMP-запросов к определенному хосту
    Запуск traceroute до определенного хоста
    Создание SSH-туннеля до сервера Ревизора для предоставления Socks5-прокси
    Отправка журнала из syslog на сервер разработчика
    Перезагрузка устройства

Программа поддерживает IPv6 и работу через прокси.

Поскольку узнать что юзер делает на HTST сайтах невозможно без подмены сертификата, остаётся блокировать ip.

Deleted
()
Ответ на: комментарий от anonymous

Ну так там для половины страниц http, для второй https... Это в отношении нормальных сайтов, которые полнейший неадекват запрещать. Не ясно, что он хотел этим сказать.

anonymous
()
Ответ на: комментарий от anonymous

На самом деле это тупо, так тупо... Я до сих пор поражаюсь. Скорее всего кто-то умный решил что можно удобно закрывать сайты оппозиции под шумок и под удобным предлогом.

anonymous
()
Ответ на: комментарий от zolden

У большой тройки стоят DPI решения за килограммы денег....Также с помощью этих решений режут полосу пропускания торрентам. Даже шифрованным.

Торренты качаю (правда весьма не часто, в основном сериалы по просьбам родственников) как раз через билайн, чего-то не заметил что бы медленно было.

anc ★★★★★
()
Последнее исправление: anc (всего исправлений: 1)
Ответ на: комментарий от vasya_pupkin

ТС дали срок 30 дней. ТС пишет «Вот взять к примеру ресурс http://www.youtube.com/watch?v=aUI*****P4M, как его блокировать? Варианты блокировки по ip или по домену - не катят, youtube - слишком популярный ресурс, пользователи бучу поднимут. Меж тем в реестре информация о запрещённом ресурсе представлена следующим образом: »
из чего я делаю выводы - за 30 дней у него РЕШЕНИЕ на коленке не взлетит. Нужно решение из каробки.
Да и нафига на коленке? Заняться что ли нечем? это не так просто как кажется на первый взгляд. А потом поставит коробку от РКН, она начнет генерить - что не все ссылки закрыты, а они вроде закрыты (при проверке) и потому, что это МОЕ решение НА КОЛЕНКЕ и начнется. Придет письмо из РКН - начнут вызывать представителей конторы на ковер. ТС а вызовут тоже на ковер
ТС после этого плюнет на решение которое на коленке и поставит решение которое из каробки.
Если у Вас есть рабочее решение на коленке - поделитесь с обществом и посмотрим как взлетает с нуля решение с коленки за 30 дней.

Vlad-76 ★★★★
()
Последнее исправление: Vlad-76 (всего исправлений: 1)
Ответ на: комментарий от Vlad-76

Т.е. совершенно левый неподконтрольный прокси-сервер чем-то «лучше» настроенного своего? Прекратите рассуждать как проплаченный евангелист проприерастов.

anonymous
()
Ответ на: комментарий от anonymous

)) я валяюсь, ну ладно делайте что хотите. я левый не подконтрольный сервер и не предлагал. Тем более прокси.
я надеюсь что у ТС а ума хватит чтобы понять что 2500 в месяц не стоят тех усилий и того траха, которые на него свалятся если начнет что то на коленке ваять. 30 дней у него. И возможно было бы не жалко усилий, познать что то новое, придумать, разработать. НО опять скажу - затея с блокировками обходится на раз. РКН работает для галочки. Ну не жалко Вам времени на эту халубуду?

Vlad-76 ★★★★
()
Ответ на: комментарий от Vlad-76

Ну не жалко Вам времени на эту халубуду?

Есть же еще спортивный интерес =)

vasya_pupkin ★★★★★
()
Ответ на: комментарий от Vlad-76

Если у Вас есть рабочее решение на коленке - поделитесь с обществом и посмотрим как взлетает с нуля решение с коленки за 30 дней.

Я уже написал выше, заворачиваем весь траф с dst ip из списка на проксю, а там фильтруем уже по url. Написать скрипт, парсящий файл с urlами дел на вечер.

vasya_pupkin ★★★★★
()
Ответ на: комментарий от vasya_pupkin

dst ip из списка

С этими адресами есть нюанс. То, во что резолвятся запрещенные домены в РКН и то во что резолвятся «на месте» может отличаться. Крупные хостеры могут отдавать в разные моменты (и в разные направления) разные адреса. Отличаются не сильно, единицы адресов из списка, но будет обидно если попадешь на такое. Я бы в этом месте как-то перестраховался. Впрочем, уже писал, не буду повторяться

DPI (о которых так с придыханием пишут в тредике) кстати этот момент отлавливают. Хотя идея проверять *весь* трафик на запрещенку, конечно, немного удивляет. Ну, операторам виднее что там и как

Deleted
()
Ответ на: комментарий от Deleted

С этими адресами есть нюанс. То, во что резолвятся запрещенные домены в РКН и то во что резолвятся «на месте» может отличаться.

Так кто тебе мешает резолвить на месте самому ? Твои клиенты используют твой ДНС ? На всякий случай можешь завернуть все исходящие DNS на другие адреса на свой DNS.

vasya_pupkin ★★★★★
()
Ответ на: комментарий от vasya_pupkin

ок. мужик сказал - мужик сделал. Тем более если у Вас есть спортивный интерес - попробуйте.
И держите нас в курсе как будет Ваше решение на коленке взлетать.
Ориентируетесь сразу на 1ГБит/с (хотябы) исходящего во внешний мир трафика.
Не учите как делать, покажите!!!
Софт для проверки блокировок запрещенных ссылок лежит в инете. Это чтобы Вам было чем отлаживать систему на коленке.

Vlad-76 ★★★★
()
Последнее исправление: Vlad-76 (всего исправлений: 1)
Ответ на: комментарий от Vlad-76

Ориентируетесь сразу на 1ГБит/с (хотябы) исходящего во внешний мир трафика.

И что, это сложно прокачать сквидом ? Тем более я не предлагаю заворачивать весь траф на сквид, а только сайты из реестра.

vasya_pupkin ★★★★★
()
Ответ на: комментарий от Vlad-76

не распыляемся в деталях, ждем резалта за 30 дней

Мне нах это не надо, я дал вполне рабочее решение. Хотя если готовы профинансировать, то я готов =)

vasya_pupkin ★★★★★
()
Последнее исправление: vasya_pupkin (всего исправлений: 1)
Ответ на: комментарий от vasya_pupkin

и я такой был
раз уж вы изменили пост
да кто ж бабло при таких условиях да и ради чего будет в форточку выкидывать.
либо слова - либо дело.

Vlad-76 ★★★★
()
Последнее исправление: Vlad-76 (всего исправлений: 2)
Ответ на: комментарий от Vlad-76

и я такой был

Я таким не был, сколько я насмотрелся за свою жизнь решений горе-интеграторов за кучу денег, что это и не передать =)
Хорошо что я со всяким ИТ завязал еще 15 лет назад, но кое-какие знания остались.

либо слова - либо дело.

Дело должно быть подкреплено чем-то интересным для меня, а ради успеха на ЛОРе в отдельно взятом треде мне это нах не упало..

vasya_pupkin ★★★★★
()
Последнее исправление: vasya_pupkin (всего исправлений: 2)
Ответ на: комментарий от vasya_pupkin

«Мне нах это не надо, я дал вполне рабочее решение. »

Vlad-76 ★★★★
()
Ответ на: комментарий от vasya_pupkin

На всякий случай можешь завернуть все исходящие DNS на другие адреса на свой DNS

Очень жаль что эксперты такого уровня рано завязывают с IT. Так бы может уже рассчитывали на квантовых компьютерах маршрут к Альфе Центавра

Vlad-76

Я из любопытства попробовал пускать в сквид трафик на запрещенные сайты (только на запрещенные, адреса брал из перехваченого DNS). Развернуться особо негде, из знакомых у самой интернето-жрущей организации всего около 200Мбит. Ну, вроде как работает (без отдачи заглушки, просто блокировка). Там конечно получилось неожиданно много возни с обработкой этого РКН-овского списка, и acl-ы регулярными выражениями компилируются оочень задумчиво.

Но в целом задача выглядит подъемно. Если полно энергии, можно наверное что-нибудь накостылить даже за 30 дней

Deleted
()
Ответ на: комментарий от vasya_pupkin

Мне нах это не надо, я дал вполне рабочее решение.

Стратег, походу.

anc ★★★★★
()
Ответ на: комментарий от Deleted

ТС вообще не представляет тему.
Как только пошла эта возня с блокировкой сайтов. Я изначально тоже как стратег думал обойтись сквидом - у моего аплинка(провайдера) сквид стоит (тока как выяснилось по факту решето) - подумал - а почему бы и мне не поставить сквид на отдельной машине - поднять на ней какой нить BGP/OSPF проаносить список запрещенных IP из списка РКН - трафика будет совсем немного, дальше как бы понятно. Но как всегда - дьявол кроется в деталях. Список IP в файле от РКН - кривой, нужно постоянно/непрерывно резолвить домены из списка URL и др. заморочки. что то там еще было канительное. Сам не ввязался в эту тему, но рассказал знакомому из провайдера - у него были админы которые взялись за эту тему. ДА что то заработало, но постоянно рисовались траблы и на 100% гарантированно решение не взлетало. Плюс РКН на них стал наезжать по полной, т.к. провайдер крупный. И на этом решении (сквид) был поставлен крест. ТАк я от него и узнал про редуктор. ПОтому как история с редуктором была из серии - поставил и забыл (ну почти).
Я посчитал что 2500 в месяц для конторы не стоят тех усилий на разработку, поддержку и отладку своего решения - это надо быть в нем на 100% при разработке и при малейшем чихе снова в него нырять, а если на сети будет установлена коробка от РКН. И должен быть рядом второй разраб этой темы.
А так если глубоко ковыряешь в этой теме, есть опыт знания то может быть за 30 дней и взлетит - пока не попробуешь не узнаешь.

Vlad-76 ★★★★
()

Оп, напиши мне письмо на e-mail.

berrywizard ★★★★★
()

В этом вопросе стоит поучиться опыту у старших китайских товарищей. У них нет никакой проблемы в глобальной подмене ssl сертификатов, а пользователям рекомендуют, или же устанавливают принудительно, специальный дополнительный набор государственных доверенных сертификатов.

anonymous
()
Ответ на: комментарий от anonymous

Кажется то что ты назвал это опыт конеедов, в Китае куда более жёстко.

anonymous
()
Ответ на: комментарий от Vlad-76

ТС вообще не представляет тему.

Я не отвечаю потому что сейчас как раз изучаю материал. Так-то уже понял, что копать нужно в сторону DPI, Редуктора, Хабра и nag.ru

sunny1983 ★★★★★
() автор топика
Ответ на: комментарий от Deleted

Непонятно, зачем? И карма портится, и эти «блокировки» легко обходятся.

Потому что надо показать идиотам из роскомпозора, что они работают и нормальным людям не мешать.

WereFox ★☆
()
Ответ на: комментарий от ne-vlezay

1.Снорт не сможет блокировать ютуб ролик по https.
2.К нему нужны специально приготовленные правила.

Deleted
()
Ответ на: комментарий от Deleted

1. По https максимум можно заблокировать имя хоста, url не заблокировать
2. Если админ не ленивый - подготовит!

ne-vlezay ★★★★★
()
Последнее исправление: ne-vlezay (всего исправлений: 1)
Ответ на: комментарий от Deleted

Если лень возится со snort - используй nfq_filter (на свой стах и риск)

ne-vlezay ★★★★★
()
Ответ на: комментарий от Deleted

Придется сертификат подменять, чтобы по url блокировать.

Ещё веселее будет, когда Гугл, как грозится, запретит Хрому обращения к сайтам с подменёнными сертификатами :)

KRoN73 ★★★★★
()
10 января 2018 г.
Ответ на: Омские линуксоиды вопрошают: от linuxmaster
Ну и чем всё закончилось?

Понятия не имею. Я уже год как в другом месте работаю. А так вроде хотели Карбон ставить.

sunny1983 ★★★★★
() автор топика
Ответ на: комментарий от anonymous

Как раз сегодня лютую багу нашёл. Из разряда «не могу воспроизвести». В общем инт кастовался во float и попалось число, в котором точность float десятки :).

anonymous
()

Как осуществлять блокировку по url?

Да и зачем всё это???

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.