«Серый ip» и товарищ майор

Не-не, летит запрос от майора к владельцу ресурса. Никакой привязки ip к сайту ни в каком случае не существует.

Кроме ip адреса есть ещё номер порта.

Твой IP «серый» пока из сети провайдера не вышел. А вышел он уже «белым». И провайдер однозначно знает, в какой момент времени какой его «серый» IP кому выдавался и в какой белый IP он превращался на бордере, то бишь на «главном шлюзе». Даже если у прова несколько серых IP транслируются в один «белый», в логах всё равно есть запись с какого конкретно серого IP была сессия с интересующим сервером.

Это работает так — по электронной почте отправляется запрос к владельцам сайта, со скриншотом и требованием сообщить IP адрес с которого пришел регистрант — автор поста + прочую о нём информацию. Владелец поднимает логи, которые он обязан по закону хранить то ли три, то ли пять лет и сообщает этот IP и дополнительную информацию. Если это крупная контора типа Вконтакте — у них есть API для этого, и запрос-ответ происходит автоматически, без участия живых людей со стороны владельцев ресурса, в рамках работы системы СОРМ.

Дальше по IP выясняется выдавший его провайдер, и если он в российской юрисдикции идёт запрос на установленное у него оборудование СОРМ с пульта управления. Согласно нынешней версии СОРМ оборудование установленное у провайдера имеет доступ к базе биллинга, а не только к логам, так что по логам выясняется кому выдавался IP, а по базе поднимается карточка абонента с договором, а там и адрес, и паспорт, и возможность поизучать по логам netflow историю его блужданий, а так же возможность отзеркалить его текущий трафик на пульт для пристального изучения в online режиме. Всё это без участия живых людей со стороны провайдера.

Нынче по «закону Яровой» можно и архивный трафик тоже поизучать, но совершенно непонятно что такого в нём можно отыскать при тотальном использовании vpn и https чего нет в обычных логах netflow. Смысл его хранения никому кроме Яровой не ясен.

Это конечно «идеальная» картинка, в реальности полностью в предписанном виде СОРМ внедрён не везде, так что запрос может быть и в виде письма на электропочту отвечающему за взаимодействие человеку.

Тут надо добавить что товарищ майор видит названия сайтов и без запросов к владельцу. SNI не шифруется пока.

Согласно нынешней версии СОРМ оборудование установленное у провайдера имеет доступ к базе биллинга, а не только к логам, так что по логам выясняется кому выдавался IP

А можно подробнее? Особенно интересует, куда это логгируется вся NAT-таблица и как на это смотрит тов. Яровая?

Никак. Просто пишется весь трафик согласно закону.

Логируется netflow абонента, по базе логов можно зная timestamp и искомый ресурс найти «серый» адрес с которого установилась искомая сессия, а «белый» из запроса известен. NAT таблицу логировать нет необходимости, так как хранится netflow каждого абона за последние 5 ЕМНИП лет, это обязательно уже десяток лет c лишним, и за отсутствие данных можно лицензии лишиться. А теперь ещё и вообще весь его трафик должен зачем то сохраняться благодаря пакету законов этой прекрасной женщины.

Тов. Яровая этим «пакетом» дополнительно обогатила и обеспечила монопольными заказами на оборудование СХД некоторых чрезвычайно рукопожатых людей, а так же помогла крупным провайдерам вытеснить с рынка мелких, которым стало сильно дороже обеспечивать себе лицензию и содержать оборудование, вплоть до нерентабельности. Что тоже было воспринято с восторгом рукопожатыми людьми. Так что смотрит она победителем по жизни.

Два раза, до и после NAT? Что дампит таблицу?

Весело у вас там в стране единорогов. Только в реальности этого всего нету.

Товарищ майор, тоньше надо быть, тоньше.

Ну биллинг еще во времена дайлапа куда надо отдавали...

Провы по-прошаренней отдают т-щу майору после хэндшейка TLS содержимое /dev/urandom нужной длины.

Результат один и тот же.

И, что, если резултатов несколько? Все равно заметно меньше, чем общее число абонентов у провайдера...

Перефразировал:

Весело у вас там в стране демократии. Только в реальности этого всего нету.

Netflow на каждого абона хранился пять лет ещё в диалапные времена, он компактный, прекрасно жмётся и проблем это не доставляло ни тогда, ни сейчас. Более того, требования к его хранению как раз жёсткие и лицензию потерять можно легко. А вот весь трафик, тот который согласно «пакету» хранить надо, тот да, хранят не все, не всегда и не везде. Многие просто от комиссий откупаются и кормят «завтраками», такое есть, но это конечно же ненормальная ситуация и вечно так работать нельзя. В итоге ты или внедряешь, или продаёшься Ростелекому\закрываешься.

Суть то не в том что «отдавали», обязаны были отдать ващет, но только после предъявления запроса\ордера и чего то там ещё официального с печатью, я просто уже не помню. По факту отдавали просто «по звонку», чтобы не портить отношения.

Суть в том что текущая версия СОРМ сама умеет в биллинг лазить, и человеки со стороны провайдера вообще в этом процессе не участвуют и не уведомляются никак. Обеспечивает доступ конечно же провайдер, по этой причине «колхозный» биллинг в проде вместо купленного и не внедрённого сертифицированного не катит. Нужен сертифицированный, тот в который умеет смотреть СОРМ.

Хз, я в 2003 в сорм логи дайлапа слал. Без этого лицензию не давали.

Ну так и я про это. Просто сейчас уже можно не слать, они сами берут и даже в биллинг к тебе лезут. Тебя при этом уже не спрашивают, только требуют обеспечить им канал, купить предписанное оборудование и подключить его надлежащим образом к своему сертифицированному биллингу. Всё это своими силами, за свой счёт и по назначенной стоимости. Без этого лицензии не будет.

Только в реальности этого всего нету.

То-то мне звонить начинают, когда-то что-то с выгрузкой Netflow на сервера СОРМа в провайдере приключается.

А оно там не используется оказывается, вау...

Я имел в виду хранение трафика хотя бы за пару лет.

какой смысл хранить https траффик ?

Факт его наличия может способствовать и косвенно указывать на некие обстоятельства.

получается там можно только узнать url https страницы с get(?) параметрами ?

то что есть в SNI

какой смысл хранить https траффик ?

Никакого, смысл в том чтобы заставить провайдеров потратиться на закупку СХД по назначенной стоимости у пролоббировавших этот закон поставщиков. Это чистой воды коррупция и монопольный сговор, технического и инженерного смысла в этом нет. Заодно убрать с рынка мелких провайдеров, вынуждая их продаваться крупным.

Ты меня спрашиваешь?

На хранение 5 лет трафика от моего российского хоста + доступ в интернет я за последние 5 лет заплатил $500. Трафика за это время я передал на без малого 700 ТБ. Их хранение в Amazon Glacier ($5/TB/мес) встало бы, на минуточку, в $42k. Если РФ изобрела способ хранить данные дешевле чем 12 центов/ТБ/месяц, а на сдачу предоставлять мне доступ в сеть Интернет, то выражаю им свой искренний восторг. Непонятно только, зачем с таким экономическим чудом под рукой нефть качать.

Не физиком единым провайдер живёт.

В работу себе в убыток я все равно не верю, потому что незачем.

Не в убыток, но маржа сильно упала. На физиках это отразилось меньше чем на юриках, из видимых проявлений для физиков — исчезновение «честных» безлимитных тарифов у сотовых операторов или превращение их в «нечестные», со скрытыми ограничениями. Ну и мелкие региональные провайдеры начали массово продаваться Ростелекому и прочим крупным провайдерам с большой долей государственного капитала.

Только у ОПСОСов же. Тот же ростелеком раздает 500M/1GB/500р. в месяц, только в путь, я тоже ннп как такое возможно, что-то неладное тут прямо на кончиках пальцев ощущается. Поделись соображениями.

«Переходный период» пока ещё не завершён, пока ещё можно кормить «завтраками» в надежде что или эмир помрёт, или ишак, или голос разума возобладает.

Ну и опять таки, то что можно Ростелекому нельзя ООО «Быстросвязь» из Усть-Безымянска, выросшему из приватизированной сети местных АТС. Хотел бы я посмотреть на процесс отбирания у Ростелекома лицензии... А так же на процесс аудиторской проверки фактов наличия и закупки СХД для «яровой» в полном объёме.

500M/1GB/500р. в месяц

Это физикам же. Прова юрики кормят так то. А Ростелеком вообще не абоны кормят, а транзит, стыки и точки обмена. А так же сдача физических волокон в аренду.

Кстати сейчас в полный рост стоит вопрос невозможности обеспечить поставки СХД в потребных для «яровой» объёмах, так что у провайдеров есть официальный повод морозиться, что они и делают кстати. Просто некоторым морозиться проще чем другим. Стоимость «понимания» и «входа в положение» разная.

Какая разница физик\юрик. У меня есть офис с 8к\50M на юрика, это не космос по сравнению с, допустим, домашним 1GB/500р. Цифры товарища t184256 превращаются в 213 500 $ расходов в год на одного такого физа…

Какая разница физик\юрик.

Ну сравнил опу с пальцем ..

Для Юрика от канал гарантирован, для физика -«1GB» на всех …

Отсюда и цена соотв. ( раз в 10 отличается )

Ну моя домашняя оптика до ближайшего ДЦ говорит об обратном, вот я и удивляюсь.

Ну ближащим ДЦ мерить смысла нету. ПОпробуй померить в час пик до заграницы …

Заграницей это за пределами провайдера же, как и у юриков. А так хоть в час пик, ни разу не замечал просадки ни на миллиметр.

Да не как раз заграница и лагает - т к канал обычно ОДИН. Ну а до ближайщего ДЦ - все ОК - 1Gb, как положено

А это потому что товарищ @t184256 прав, в реальности внедрение «яровой» саботируется провайдерами, и используется как инструмент давления и шантажа со стороны надзора. Ну физически невозможно столько СХД поставить чтобы вообще всем весь трафик писать и хранить. Но закон есть, а значит можно требовать его исполнения, избирательно. Столь же избирательно можно не требовать, в положение войти и дать отсрочку исполнения.

У «Большой Тройки» ОПСОСОВ голова в оффшорах, загнать их в стойло всем туловищем у государства не удалось, поэтому их заставили внедрять и платить первыми. На что они отреагировали ценами на сотовый инет и обрезанием тарифов своим абонентам.

У мелких провайдеров всё зависит от их способности договариваться с надзором, и от того насколько их желает приобрести местный Ростелеком. Ну а сам Ростелеком — у него 51% акций у государства, а уж само с собой оно всегда договорится.

Перестань тупить, трафик хранит провайдер. Хоть до заграницы, хоть до границы провайдера. Юрик-физик здесь неважны, гарантии все равно не будет.

Гг, у нас как обычно, спасибо за опыт.

да ну - я физик, у меня 500Мбит до ближ ДЦ ( 500 руплей). До заграницы макс 50Мбит.

Не знаю сколько будет у Юрика с ценой в 10 раз больше - но подозреваю, что лучше

Кстати у мелких провов обычно фильтрация через одно место и зависит от времени суток ( видимо переключают магистральных провайдеров ) ?

Не факт кстати, ты знаешь что такое «зона ответственности»? Провайдер обеспечивает тебе CIR только в границах своей «зоны ответственности», то бишь по принадлежащим ему или арендованным им каналам. А как только трафик её покинул - полномочия провайдера всё...

Физики без прописанного в договоре CIR в «общей полосе» болтаются, а ширина внешних каналов не беспредельна. Так что если бояре с CIR каналы разобрали — полоса для физиков становится тесной. Ну или праздники\субботы\воскресенья, у юриков выходной, а у физиков день порно и пиратского видео наступает... Короче это индивидуально, нужно смотреть как трафик распределяется статистически, но вообще это говорит о том что провайдеру пора расширять канал, но он не тянет финансово...

Еще более крутой юзкейс нашел:

root@vpn:~# speedtest-cli --server 2599
Retrieving speedtest.net configuration...
Testing from OOO Network of data-centers Selectel (85.119.144.3)...
Retrieving speedtest.net server list...
Retrieving information for the selected server...
Hosted by Rostelecom (Saint Petersburg) [634.07 km]: 21.843 ms
Testing download speed................................................................................
Download: 3076.84 Mbit/s

Т.е. одна 500 рублевая впс может нагенерить трафика на 600 000 $ в год. Жесть. Причем операторы разные, хранить обязаны оба? Значит 1 200 000 $, жесть.

Хранить они обязаны абонентский трафик, я так понимаю трафик ЦОД храниться не обязан, абонентского им достаточно.

Не совсем. Помните как некоторое время назад органы требовали у Дурова ключи для расшифровки переписки? А с другими сервисами мы про такие требования не слышали в сми. Это на намекает на то, что конторы во внутренней юрисдикции отдадут товарищу майору ключики по первому свистку. И в случае с нормальным TLS трафиком он там увидит то что хочет, а в случае с /dev/urandom не увидит и придёт товарищ майор ко мнящему себя сообразительным оператору с утюгом и спросит строго