серые списки

Источники спама менялись со временем. Лет 10-15 назад это были завирусованые рабочие станции под управлением Windows XP. Сейчас, по моему наблюдению, крупные спамеры становятся собственниками больших диапазонов ip-адресов и оттуда ведут свои рассылки. Я имею в виду российский спам.

Может быть, многие со мной не согласятся, сейчас появился смысл блокировать такие диапазоны адресов.

Применительно к серым спискам. И раньше-то их надо было применять выборочно, сейчас, по моему мнению, это крайне неэффективная мера против спама.

Вот у меня аналогичное ощущение. После введения тотального PTR, и прочих spf. - Проще поднять свой postfix или ломануть аккаунт крупной корпорации. Нежели спамить с WinXP станций.

Хочется понять, имеет смысл тратить время на серые списки или нет.

ИМХО толку мало, а гемора много.

Лишним не будет. Настраивается с полпинка, софт уже дописан до юзабельного состояния.

Не вижу, почему бы благородному дону не подкрепить свой антиспам ещё и грейлистом для подозрительных.

Вот именно для «подозрительных». Эти подозрительные, я бы сказал, должны быть настолько подозрительными, что если бы не было серых списков, то почта от них бы вообще не была принята.

Не уверен, что это есть из «коробки». А огульный greylisting ужасен зело.

И да, очень уж неприятное впечатление производит почтовый сервер, куда почта не приходит «мгновенно».

Сейчас, по моему наблюдению, крупные спамеры становятся собственниками больших диапазонов ip-адресов и оттуда ведут свои рассылки.

По моим наблюдениям это все больше с хостинг провайдеров идет (от их клиентов), «я у мамы админ» понапокупают «дешевого и разного» настроить ничего не могут и становятся частью ботнета.

И да, очень уж неприятное впечатление производит почтовый сервер, куда почта не приходит «мгновенно».

Поддержу, меня пользователи просто сожрут если подниму graylist.
ЗЫ Как админ в самом graylist плохого не вижу, как пользователь вижу. Проще в junk/spam посмотреть раз в пару деней (дааавно там ничего реального не видел), чем ждать пока письмо дойдет :)

по моему мнению, это крайне неэффективная мера против спама.

На самом деле нет, достаточно эффективная. Но да, применять надо выборочно. Если источник похож на сервер, смысла нет, а если это непонятно, что (в helo левое значение, реверс несходящийся/отсутствующий и т.п.), то работает. Плюс полезно его не на mail from активировать, а на data.

А как на data его активировать?

А как на data его активировать?

Я, как в анекдоте, стратегией занимаюсь. :-)
В mailfromd можно.

Да я с трудом понимаю, чего в дате искать то?)

Да я с трудом понимаю, чего в дате искать то?)

Не date, а data. Искать ничего не надо, надо пропустить mail from и rcpt to, чтобы, если у кого-то smtp callback есть, то он отработал. То есть, на rcpt to вернуть 250 Ok, а на data вернуть 451 Greylisted. Обычно же пишут в ответ уже на mail from, что не очень хорошо.

Вот именно для «подозрительных». Эти подозрительные, я бы сказал, должны быть настолько подозрительными, что если бы не было серых списков, то почта от них бы вообще не была принята.

Не уверен, что это есть из «коробки». А огульный greylisting ужасен зело.

«selective greylisting» есть в гугле например. Только я вот не пойму, может пояснит кто, что есть hostname в контексте SMTP диалога, который автор по ссылке фильтрует в check_client_access pcre:/etc/postfix/dialups.pcre? HELO/EHLO/RDNS? Ну очевидно же, что нет, для них есть свои проверки. Я всегда думал, что client - это IP адрес.

Могу рассказать про sendmail. Может, в случае postfix похоже. client_name это ответ DNS сервера из обратной зоны.

Например, client_name для www.linux.org.ru будет пустым, то есть

$> host 178.248.233.6

$> Host 6.233.248.178.in-addr.arpa not found: 3(NXDOMAIN)

По поводу ссылки из гугла, выскажу свое скромное мнение. Это всё игры десятилетней давности. Мне кажется, это давно устарело.

Однако, отчего не попробовать, опыт появится.

Вот только я бы не стал, как предыдущий оратор советует, активировать greylisting после data. Это ересь какая-то. Традиционно это делают после rcpt to. Потому что после greylisting-а хорошо бы сделать ещё несколько проверок.

Ну так, из вредности.

Да, уже нашел в рассылке postfix, что hostname берется из reverse DNS lookup. Просто для этого есть специальная проверка check_reverse_client_hostname_access. Я и не думал, что check_client_access по сути включает ее в себя.

Greylisting никогда толком не работал из-за идиотов с callback'ами. Но никогда не поздно вернуться к пройденному. Я подумал, что вот есть такой файл с динами/статами: https://github.com/stevejenkins/hardwarefreak.com-fqrdns.pcre и для некоторого смягчения творимой им беспредельной резни можно было бы отправлять членов этого списка в greylist.

Вот только я бы не стал, как предыдущий оратор советует,
активировать greylisting после data. Это ересь какая-то.

Как раз нет. Именно так и следует делать.

Традиционно это делают после rcpt to.

Потому, что не думают про smtp callback у других.

Потому что после greylisting-а хорошо бы сделать ещё несколько проверок.

Во-первых, какая разница, после чего срабатывает грейлистинг с точки зрения последующих проверок ? Во-вторых, о каких проверках речь, если уже вернули 4xx ? Поздно проверять уже.

Greylisting никогда толком не работал из-за идиотов с callback'ами.

Это потому, что идиоты грейлистинг неправильно включают, то есть, не в том месте. :-)

Моё ИМХО, подсказывает мне, что современные спамеры, пишут со взломанных аккаунтов таких крупных сервисов как Яндеск, google, крупных корпораций и т.п.

Не всегда

Насколько актуальна идея graylist в 2016?

Более чем актуально. Оно у меня режет 99.999% хлама. Мой личный blacklist состоит всего из 20 записей (MTA спамеров, которые придерживаются RFC). При этом моё мыло в plain text на куче сайтов.

Что значит у тебя? Это твой личный почтовый севрер? Или сервер предприятия? :) Если речь идёт об одном e-mail, и личном домене, то я боюсь, это не очень релевантно. Даже не смотря на то, что твой mail, находится в public

Ну, callback'и-то с роду были порочной практикой, о чем там прямо в доках и написано. А сейчас, когда столько всякой автоматической дряни ходит от типа user=vasya.domain.tld+bounce.compaign=123@megamailer.com, я не вообще не представлю как люди с интактным мозгом могут это использовать, потому и так пишу.

я так понял, что половина отписавшихся понятия не имеет как работае грейлист. Это не лист вообще. Это отлуп при первых попытках всучить тебе почту. Грейлист даёт отлуп и отправляющая сторона откладывает попытку передать письмо. Нормальный сервер так делает. Тупой скрипт делает только одну попытку. Поэтому тупой скрипт не проходит. Ппц, развели рассуждения про «списки».

а как правильно? Есть дока?

rubic,

у всех разный взгляд на проблему, потому что смотрим мы из разных мест.

Поставь уже грейлистинг, попробуй. Может быть, он тебе подойдёт.

я так понял, что половина отписавшихся понятия не имеет

Душка-прелесть какая :)

а как правильно? Есть дока?

Я выше написал. :-)

оно?

Собственно, мне кажется все отписавшиеся, это понимают. Я в начале темы и написал: собственно, насколько тупые скрипты в 2016 актуальны?

хз, надо бы углубиться, но тааааак лениииивоооо...

Так я собственно и спрашиваю, на сколько graylist актуален сейчас.

на сколько graylist актуален сейчас.

Актуален. Но не следует его делать, если отправитель похож на почтовый сервер. Например, если есть SPF-запись, либо если в PTR есть mail (и некоторый набор начал имени ещё - mx, relay и т.п.), и всё это соответствует helo. Ну и ещё некоторый набор признаков.

оно?

Да.

ясно... надо копать...

Ой. Толково. А как, так можно настроить graylist? Чтобы было так вкусно? Есть готовые примеры может где-то?

А как, так можно настроить graylist? Чтобы было так вкусно?

Я уже писал - mailfromd. Там чёрта лысого можно накуролесить, а не только это. Единстенное «но», это то, что Postfix в milter переменных для анализа отдаёт поменьше, чем Sendmail. То есть, чёрта лысого - это с Sendmail. С Postfix - просто чёрта. :-)

Ой. Ок! Я как-то упустил. Спасибо! В общем, посмотрел я лог спамных писем. - Все прилетают из взломанных postfix. Я правильно понимаю, что в таком случае, мне эта штука, скорее всего, мало поможет? Я походил даже через telnet, на эти ip - везде 25 порт открыт.

Что-нибудь можешь сказать про такую штуку как: razor / pyzor, опять же, применительно к 2016, и РФ?

Все прилетают из взломанных postfix.

Хм. Поломать его сложно. Можно настроить, по незнанию, как open relay, но я не замечал, чтобы их (open lelay) сейчас было катастрофически много.

Я правильно понимаю, что в таком случае, мне эта штука, скорее всего, мало поможет?

Если придумаешь критерий для их отсева, то поможет. Если там что-то поломали, значит, настраивал кто-то криворукий. А раз так, наверняка есть, к чему там прицепиться.

Что-нибудь можешь сказать про такую штуку как: razor / pyzor

Нет, не могу. У меня поток почты такой, что к далёкой базе обращаться плохо, надо локальное что-то. Меня как-то достали со взять на потестировать антиспам Касперского. В принципе не плохо, уровень фильтрации был получше, чем напридуманное мной в mailfromd + spamassasin без razor / pyzor (кстати, SA вызывается всё из того же mailfromd не для всех подряд, как и грейлистинг), но не на ту сумму денег, что стоит Касперский антиспам. Если базы razor/pyzor ведутся так же хорошо, наверное, должен быть эффект.

Ну, callback'и-то с роду были порочной практикой

Кстати, о каллбэках. Я лучше сделаю каллбэк, чем приму сообщение с каким-нибудь «mail from:<apache@undeliverable.cool.web.hosting>». Потому как лучше я, чем, потом, пользователь настроит что-то там в Sieve у себя, и оно отреджектится в спул моего сервера и зависнет там на 5 дней. А то, что веб-кодеры не умеют правильно сообщение с формочки сформировать, и сисадмины в логи не смотрят, это проблемы тех, кто таких нанимает для создания и сопровождения сайтов.

В принципе не плохо, уровень фильтрации был получше, чем напридуманное мной в mailfromd + spamassasin без razor / pyzor

Я собственно сам посматриваю в сторону Касперского. Не уверен, что это будет прям золотая пуля... Но...

razor / pyzor

Хочу поискать почтовый клиент, интегрированный с этими штуками. Так можно будет оценить эффект, без особых трудозатрат на серверной стороне.

Если придумаешь критерий для их отсева, то поможет. Если там что-то поломали, значит, настраивал кто-то криворукий.

Я думаю, что ломают не сами почтовики, а ломают аккаунты, с которых, собственно и спамят потом. Меняя from, to и т.д.

Вот смотри, типичный лог спама:

Received: from miytan.ru (s1.miytan.ru [188.138.88.156])
	by email.mycompany.com (Postfix) with ESMTP id CD908168787D
	for <me@mycompany.com>; Thu,  9 Jun 2016 10:08:23 +0300 (MSK)
Received: from miytan.ru (unknown [185.146.169.160])
	by miytan.ru (Postfix) with ESMTPA id 896836C98E7;
	Thu,  9 Jun 2016 01:18:17 +0300 (EEST)
Message-ID: <49ad01d1c1ec$d1d513a0$add381e0@info>
From: "=?windows-1251?B?w9HNIM/w6OXs7vft4P8g6u7s6PHx6P8=?=" <info@miytan.ru>
To: <romaneevich.da@toil.spb.ru>

Делаем:

# telnet 188.138.88.156 mail
Trying 188.138.88.156...
Connected to 188.138.88.156.
Escape character is '^]'.
220 miytan.ru ESMTP Postfix

С вероятностью в 99 процентов, могу предположить, что перед нами, настоящий, просто поломаный postfix

С вероятностью в 99 процентов, могу предположить, что
перед нами, настоящий, просто поломаный postfix

Вероятно, действительно, там авторизация и подобрали пароль. Но, тем не менее, сервер уже странен. По хорошему, в helo должен быть fqdn. fqdn - s1.miytan.ru, а не miytan.ru. Плюс, если посмотреть на whois, там «created: 2016.06.06». Может быть, и настоящий спаммер так работает. Так что надо ещё не забывать про abuse@ как регистратору домена, так и хостеру.

Хочу поискать почтовый клиент, интегрированный с этими штуками.

Можно поискать интегрированный со spamassassin, а уже в нём включить только razor и pyzor.

Но, тем не менее, сервер уже странен. По хорошему, в helo должен быть fqdn. fqdn - s1.miytan.ru, а не miytan.ru.

Спасибище тебе ОГРОМНОЕ, что не поленился, и вник в мой лог. Я и сам уже начал смотреть. И понял, что похоже, мой сервер то не выполняет проверку helo должен быть fqdn - и я как полный лох принимаю такие письма. Я сам в этом убедился, когда отправил себе письмо от ehlo putinnnnn.nnnn.... Это фейл с моей стороны?

Мой postfix содержит такое:

reject_invalid_hostname
reject_non_fqdn_hostname
reject_non_fqdn_sender
reject_unknown_client
reject_unknown_hostname
reject_unknown_sender_domain
reject_rbl_client xxxx
....
reject_rbl_client xxxx

Если у меня что-то не так, и я сейчас добьюсь, чтобы ehlo = fqdn. - Я много легитимных писем потеряю?

Но я не понимаю, я уже должен вроде проверять это... Что-то в моей консерватории не так.

Если у меня что-то не так, и я сейчас добьюсь, чтобы ehlo = fqdn. - Я много легитимных писем потеряю?

Думаю, какие-то потеряются. Я просто проверки злее делаю, если ehlo != fqdn, но в одном домене 2-ого уровня. Вот если не в одном, другой разговор. Ещё любят писать localhost, или, вовсе, fqdn сервера получателя. В последнем случае точно лесом сразу. Ещё может быть IP-адрес в helo, это лесом тоже, так как IP адрес недопустим, допустим так называемый адрес-литерал - IP в квадратных скобках. Но адрес-литарал, сам по себе, тоже показывает недонастроенный сервер, со всеми вытекающими.

Мой postfix содержит такое:

Тут ничего не скажу, Sendmail использую. Но вся логика проверок в mailfromd.

Что-нибудь можешь сказать про такую штуку как: razor / pyzor, опять же, применительно к 2016, и РФ?

Свои 5 копеек вносят, не так частно как хотелось бы (это уже скорее как раз про РФ) но работает. На европейском серваке их активность заметнее.
Присоединюсь к AS а части каспера, тоже лет семь назад ставил на потестить, действительно неплох. Но по тойже причине что и у AS не стали ставить.

Спасибо за mailfromd, может попробую заменить им свои костыли. Жаль, нет у него в dns функциях TXT query.

Жаль, нет у него в dns функциях TXT query.

Зачем ? Если речь про SPF, то это есть: check_host(). Вот когда появилось, это не помню, вероятно, в последнем релизе ещё не было. Если надо что-то другое, то bug-mailutils@gnu.org. Сергей интересные предложения вполне принимает и расширяет функционал.

Зачем ?

я ловлю оттуда spf +all, еще через team-cymru.com достаю из TXT AS number/description/prefix length айпишников. Зная префикс, можно делать более осмысленный forward-confirmed reverse DNS

я ловлю оттуда spf +all

При отработке check_host() заполняется переменная spf_mechanism. Я на +all тоже смотрю.

еще через team-cymru.com достаю из TXT AS number/description/prefix length айпишников

Интересный сервис. Какие-то выводы именно на размере префикса делаются, или что-то ещё ?

Делаю FCrDNS, т.е. допустим, кто-то стучится ко мне со своего IP, я по IP беру PTR, затем наоборот беру IP от PTR-имени. Грубая проверка одинаковости первого и второго IP часто дает false positive, зато если второй IP попадает в префикс первого (из одной сети), то это частично нивелирует проблему. Ну и вообще, спам имеет некие паттерны. Сейчас например у меня AS48666/MAROSNET при некоторых прочих условиях банится, раньше был ISPSYSTEM. PTR-то произволен на хостингах, что хочешь, то и пиши. На этом и палятся.