Кто сталкивался с этим вживую

Тот тебе много не расскажет. Я вот сталкивался с сормом, на мобильном трафике. Что я могу сказать? Душераздирающее зрелище, бесполезное чуть менее, чем полностью. Бесполезное не столько в силу технической организации, сколько ... особенностей работы российских государственных структур.

Как ты думаешь, как работает СОРМ? Не в плане сбора информации вообще, а собственно в плане «обеспечения оперативно-розыскных мероприятий»?

Как и все. Операторы — как те бухгалтеры с компьютерами из анекдотов.

Следователь пишет заявление на прослушку подозреваемого, через месяц-два ему выдают аудиокассету с записями или дискету с смс-ами в документе Word? :)

Это СОРМ-1. Я про -2 и -3. Хотя на лурке есть какие-то картинки с якобы аналитическими модулями, я ничего такого не видел. Я видел, как товарищ майор спрашивает «кто писал 'спайс' из подсети /24 в диапазоне трёх месяцев», и система встаёт раком, потому что /24 за три месяца - это овердохера терабайт данных.

Я видел, как товарищ майор спрашивает «кто писал 'спайс' из подсети /24 в диапазоне трёх месяцев», и система встаёт раком, потому что /24 за три месяца - это овердохера терабайт данных.

Потом он тыкает пальцем в начало списка, которое успела выдать система до того, как встала раком, и начинает разрабатывать этих лузеров? А тех, кто попали в выдачу следом, в очередной раз пронесло? :)

ЧСХ, чем масштабнее, шире был запрос - тем вероятнее было нахождение пустого множества результатов. Почему-то.

Нет, система считает двое суток, мы материмся, вручную управляем запросами, материмся, вводим полуинтеллектуальную маршрутизацию и приоретизацию запросов (втихую, так как каждый запрос, конечно же, первостепенной важности), но на выходе всё равно чаще всего пустое множество. После чего товарищ майор понимает, что три месяца - это как-то маловато...

и система встаёт раком, потому что /24 за три месяца - это овердохера терабайт данных.

Она же ВЕСЬ трафик за три месяца не пишет, верно? Я правильно подозреваю, что пишутся сеансы, в которых встретились слова из заранее заданного списка?

Что они делали с результатами - я не в курсе, я видел только запросы. И ещё я видел отсутствие ТЗ, да что там ТЗ, даже проекта, даже разговоров об аналитике.
Короче говоря - я не боюсь сорма, я его видел практически изнутри.

Трафик пишется весь. Ну как - весь. Тот, который на данный момент мы умеем разбирать. А потом по записанному трафику осуществляется поиск.

пишутся сеансы, в которых встретились слова из заранее заданного списка?

Ты сам подумай - если бы у товарища майора была машина времени, и он мог бы сказать, на какой трафик следует обращать внимание в ближайший месяц - парился бы он с этими компьютерами и компьютерщиками?

Короче говоря, все через одно место. Как и следовало ожидать. Распил?

А что таки пишет этот СОРМ? HTTPS ведь, насколько я понимаю, сможет вскрыть только если владелец сервера сотрудничает? А всякие Tor, I2P и VPN?

Написать что ли про тебя куда следует? :)

Да. Поэтому мы лично всё это выбрасывали. Только открытый pop3, smtp, http, ftp ... Над скайпом коллега некоторое время бился - забил, скайп тоже выбрасывали.
Три года назад, по крайней мере.

Ага, как про того мужика с надписью «дурак» на футболке?

Трафик пишется весь. Ну как - весь.

Я вот сталкивался с сормом, на мобильном трафике.

GPRS-ы и прочее? Я как-то плохо представляю запись всего трафика у широкополосных провайдеров, со 100 мегабитами до абонента по оптике и прочему :)

Ну прочитай требования по ссылке в топике. Там сказано сколько сам СОРМ должен запоминать. Еще есть какие-то требования к провайдерам...

ШПД тоже пишется. При чём тут мегабиты по оптике? У провайдера стоит оборудование, которое зеркалирует трафик. ВЕСЬ трафик. Отзеркалированный трафик сливается в Хранилище№1. По Хранилищу№1 ходит парсер и анализатор, и сливают результат в Хранилище№2. По Хранилищу№2 уже и осуществляется затем поиск по запросам.

Так вам и надо, нечего свои грязные лапы в мой свободный интернет пихать. Используйте свои познания в NLP / Data mining в мирных целях, я не в целях репрессирования людей, уроды.

Ну зачем так категорично. Xellos же спокойно и адекватно объясняет нам как все работает. И что не так просто что-то найти

А ты не думаешь, что постепенно они научатся? Ведь и на компьютер раньше смотрели как на непойми что. А сегодня уже всякие бухгалтеры и секретари прекрасно на них работают.

А сегодня уже всякие бухгалтеры и секретари прекрасно на них работают

Чотаржу.

И что не так просто что-то найти

Я этого не говорил. Я говорил, что в силу некоторых особенностей любая достаточно сложная технология скорее не работает, чем работает. Дура лекс, как известно, компенсируется той самой дурой.

Понятно, что не все. Но ты бы видел тот п=ц который был в 90х.

Ах да, и я не боюсь, что наши доблестные органы по борьбе с врагом внутренним однажды поумнеют. Я бы даже страстно хотел этого.

Я вижу прекрасно тот 5.1, который творится сейчас. Когда люди не способны сформулировать проблему. Когда люди не знают, в чём разница между компьютером, ОС, браузером, сайтом, интернетом и БАЗОЙ ДАННЫХ.

Когда научатся https на лету расшифровывать? =)

Когда люди не знают, в чём разница между компьютером, ОС, браузером, сайтом, интернетом и БАЗОЙ ДАННЫХ

Вот теперь попробуй объясни социологам, которые как один петух орут 3 главных слова: анализ данных, бигдата, дата майнинг. ЧТо такое БД и почему они очень важны в любом социологическом исследовании - им совершенно похренку, ибо анализ данных один на уме. А что «откуда» этот анализ данных брать - российские социологи, вслед за идиотами из Запада, не ведают.

Я надеюсь, уроды, работающие над СОРМ, никогда не откроют для себя stanbol/lucene и подобные штуки, а если откоют, то будут слишком тупыми, чтобы реализовать там поддержку русского языка.

а сколько по времени хранятся данные в каждым из хранилищ?

А разве еще не?

Поставят какой-нибудь СОРМ9000 на клиентские машины и будут снифать до шифрования =)

Все правильно сделал - неудачники не нужны )

А разве еще не?

Конечно нет.

Ну... по закону три года, кажется. Это постоянные. И три месяца сырой трафик, ЕМНИП.

Я смотрю, ты сильно умный.

Я не о том. Приходит к нам сотрудник и говорит - мужики, я тут работаю с БАЗОЙ ДАННЫХ, и у меня проблемы.
Выясняется, что это был поиск ... научных статей, так скажем, в публичных архивах. Через веб-морду. Веб-морду, которая не умела в регистровую независимость, и время от времени роняла какой-то апплет, который на первый взгляд был не нужен, но без него ничего не работает.
Это называлось - работа с БАЗОЙ ДАННЫХ. И к нам, в IT, с этим пришли - вы же компьютерщики, помогите.

Так уже открыли.

Щас повсеместно прячут абонентов за NAT'ом и выдают адреса динамически, не льют данные в сертифицированные биллинги, повсюду https. Так что лучше избегать помоек, тех что в топике перечислены.

Минутка дешёвого петросянства

передача на ПУ информаци

на ПУ

Взоржал.

Итого: боитесь глобальной слежки - не используйте публичные сервисы, шифруйте трафик, проверяйте контрольные суммы сертификатов, пользуйтесь доверенными каналами передачи данных, и.т.д. по вашей модели угроз. Или расслабиться и получать удовольствие.

И три месяца сырой трафик

Это где такой объём может храниться? У нас сейчас каждый школьник в день по нескольку гигабайт легко выбирает. Простая арифметика говорит мне что Россия должна была бы стать основным потребителем терабайтных дисков )) Что-то подсказывает мне что не так просто оно устроено на самом деле, не будет никто сырой траффик столько хранить если вообще. Да и смысла нет, одно дело переписку в соцсетях хранить и другое качаемые пользователем фильмы.

Да, ПУ. Пульт чего-то там, таково официальное название.

Я не помню, сколько у нас получалось фактически, и не дропали ли мы что-то ещё на первом этапе. Но ФСБ хочет три месяца. Зачем им сырой трафик - не ко мне вопрос.

не так просто оно устроено на самом деле

Скажем так - в жизни не всегда всё устроено так же, как на бумаге. Даже - в требованиях одно, в тз другое, в приёмо-сдаточных и в акте третье, а по факту - четвёртое.

Я вот первым делом тогда поставил себе https everywhere. Так, на всякий случай :)

У меня есть такое + на роутере фильтрую не секурные протоколы в критичных, как мне кажется местах. И трафик до разных гмыл и прочего роутится через финский публичный впн или свой vps, в зависимости от степени важности ли приватности.

Моей почты нету, хорошо

Я вижу прекрасно тот 5.1, который творится сейчас. Когда люди не способны сформулировать проблему. Когда люди не знают, в чём разница между компьютером, ОС, браузером, сайтом, интернетом и БАЗОЙ ДАННЫХ.

И кто бы говорил;) Собрались грамотеи начитавшиеся умных книжек но не понимающие как всё это работает и как можно сделать поумнее и произвели нецеленаправленное вредительство. Товарищ майор, записывайте, как надо сделать чтобы поиск по ключевым словам не тормозил:

Бригаду агрессивных плюсописателей баз данных продублировать бригадой нормальных программистов на дельфях, предоставить им аппаратное обеспечение, ТЗ и свои собственные сервера. Далее, на те сервера постоянно дублировать в ТЕКСТОВОМ формате, обычными файлами, весь тот бред что плюсописатели пишут в базы данных. Далее, писать не на одну машину, а на много, по цельному логическому куску на машину. Также написать обычный поисковик по тексту, наподобии того что в виндах и кедах запросто находит нужное слово в файлах. Научить поисковик понимать различные кодировки а за злоупотребления регекспом бить по рукам - пусть на дельфях пишут свою либу ФУНКЦИЯМИ для поиска по мере необходимости. А поскольку параллельная текстовая база данных как бы и ни при чём, то хранить её можно хз. сколько.