Фильтрация спама при помощи greylistd+exim

>O_o это как? "Настоящий спаморез, только в Москве" ?

Нет, конечно. Но на бекбоне гораздо легче блокировать распостранение массовых рассылок. Они ведь, как минимум, неделями идут. Вполне можно их резать. Другое дело, что там оно мало кому надо...

Ну вам нравится, что у вас на сервере не то сииив, не то вообще решето.

А у меня на сервере шестирукий индус шива подрабатывает...

;)

Нуу..за неделю может так засыпать, мало не покажеться. Вот и говорю...Спам должен резаться на этапе соединения а не после приема.

>>Ну уж это беда того, где регистрируешься.

>Не всегда. Бывает, ему до @$#%#$^& , а тебе как раз надо...

Бред какой-то. Приведи реальный пример. Или может лучше поспать?

>Нуу..за неделю может так засыпать, мало не покажеться. Вот и говорю...Спам должен резаться на этапе соединения а не после приема.

Дык не будет спама. Кому этот спам нужен, если им нельзя окучить хотя бы пару десятков городов?

Если бы рассылки более чем на тысячу адресов нельзя было бы рассылать иначе как с авторизированного доменного адреса - проблем бы не было.

после этого отсекать локальных спаммеров было бы куда проще.

>Бред какой-то. Приведи реальный пример. Или может лучше поспать?

На digg.com, спасибо грейлистингу, я не попал. причем ни зарегаться повторно я не мог - адрес занят, ни подтвердить авторизацию...

>>Бред какой-то. Приведи реальный пример. Или может лучше поспать?

>На digg.com, спасибо грейлистингу, я не попал. причем ни зарегаться повторно я не мог - адрес занят, ни подтвердить авторизацию...

Поподробней пожалуйста...

Я так понимаю, что письмо от digg.com вам пришло, но вы не смогли отправить ответ, потому, что у них работает грейлистинг?

>Если бы рассылки более чем на тысячу адресов нельзя было бы рассылать иначе как с авторизированного доменного адреса - проблем бы не было.

Это какой же почтовый сервер позволяет авторизованному пользователю рассылать сообщения более тысячи адресатам за одну сессию? Это не один ли из тех, что числятся в списках спамхауса?

>Если бы рассылки более чем на тысячу адресов нельзя было бы рассылать иначе как с авторизированного доменного адреса - проблем бы не было.

>после этого отсекать локальных спаммеров было бы куда проще.

Вы все усложняете... у спамеров все проще - в 99% случаев они тупо коннектятся своим клиентом на 25 порт почтовика и льют сообщения для локальных пользователей этого сервера. Если сервер не принимает сообщения (например,просит подождать), то они уходят и не возвращаются. Они не используют полнофункциональные МТА, поэтому грейлистинг так эффективен.

>Я так понимаю, что письмо от digg.com вам пришло, но вы не смогли отправить ответ, потому, что у них работает грейлистинг?

Нет. Грейлистинг работал у нас на сервере. И первое письмо от дига было им, как положено, зарублено. А повторного он не прислал.

>Это какой же почтовый сервер позволяет авторизованному пользователю рассылать сообщения более тысячи адресатам за одну сессию? Это не один ли из тех, что числятся в списках спамхауса?

при чем тут один почтовик или одна сессия? Анализировать надо именно открытый почтовый трафик.

>Вы все усложняете... у спамеров все проще - в 99% случаев они тупо коннектятся своим клиентом на 25 порт почтовика и льют сообщения для локальных пользователей этого сервера. Если сервер не принимает сообщения (например,просит подождать), то они уходят и не возвращаются. Они не используют полнофункциональные МТА, поэтому грейлистинг так эффективен.

Это было давно. Теперь у большинства спаммеров уже давно реализована простейшая очередь. Так что они прекрасно возвращаются и пробивают свой спам через грейлистинг. Другое дело, что все равно грейлистинг усложняет им жизнь и снижает скорость рассылки, но он также превращает нормальную почту в почту на протезах.

я посылаю важное письмо, поднимаю трубу, звоню и спрашиваю - получили? С грейлистингом этот номер уже не проходит.

>Нет. Грейлистинг работал у нас на сервере. И первое письмо от дига было им, как положено, зарублено. А повторного он не прислал.

Отсюда вывод, что на digg.com почтовая система не работает правильно. Ведь кроме грейлистинга его первое сообщение могло быть отвергнуто и по другим причинам: сбой связи у вашего провайдера, большая нагрузка в тот момент на вашем почтовике, ваш почтовик мог быть выключен. Они должны были повторить попытку передачи.

> при чем тут один почтовик или одна сессия? Анализировать надо именно открытый почтовый трафик.

Это как?

> Debian postfix+posgrey(из коробки) режет 80-95% спама, дает задержку от 15 до 60 минут (зависит от настроек тайменгов перепосыла почтовика отпровителя)

Тотже результат (~95%) дает спамассасин + задержка 0 минут.

>Это было давно. Теперь у большинства спаммеров уже давно реализована простейшая очередь. Так что они прекрасно возвращаются и пробивают свой спам через грейлистинг. Другое дело, что все равно грейлистинг усложняет им жизнь и снижает скорость рассылки, но он также превращает нормальную почту в почту на протезах.

А так же у них реализовано подсоединение с разных адресов и подстановка случайных обратных адресов в заголовке From во время обработки их немалой очереди. Грейлистинг в этом случае отлично срабатывает.

>я посылаю важное письмо, поднимаю трубу, звоню и спрашиваю - получили? С грейлистингом этот номер уже не проходит.

Я так понимаю это партнеры? Они на своей стороне могут добавить вас в белый список - и задержек не будет. И как уже говорилось выше - с задержкой идет только первое сообщение, а остальные от того же адресата пропускаются без задержки.

> Тотже результат (~95%) дает спамассасин + задержка 0 минут.

И будет интересно узнать процент НЕ СПАМА попавшего в эти 95%... 1-5%?

> случайных обратных адресов в заголовке From

в команде MAIL FROM, smtp сессии

>> Тотже результат (~95%) дает спамассасин + задержка 0 минут.

> И будет интересно узнать процент НЕ СПАМА попавшего в эти 95%... 1-5%?

эти 1-5% - хорошее оправдание для сотрудников многих офисов: "а я не знал, потому что не читал, потомучто оно упало в спам, а спам я не читаю, поэтому во всем виноваты админы"

> И будет интересно узнать процент НЕ СПАМА попавшего в эти 95%... 1-5%?

Близко к 0. Потому что смотрели в основном не на контент.

> С ума сошел? mta может обрабатывать сотню виртуальных доменов, а обратка у него при этом может быть одна.

Это еще кто сошел: в этом случае отсылка идет с smtp.provider.ru с нормальной зоной. Провов и хостеров, рассылающих с неправильно реверса - весьма мало (но обычно это говно-пров которого использует ваш VIP-клиент).

> эти 1-5% - хорошее оправдание для сотрудников многих офисов: "а я не знал, потому что не читал, потомучто оно упало в спам, а спам я не читаю, поэтому во всем виноваты админы"

Если у вас работают люди, не хотящие работать, то они всегда найдут оправдания и всегда будет в этом кто-то виноват. Сидящие на премиях просматривают спам, даже если туда ничего не попадает ;)

>Я так понимаю это партнеры? Они на своей стороне могут добавить вас в белый список - и задержек не будет. И как уже говорилось выше - с задержкой идет только первое сообщение, а остальные от того же адресата пропускаются без задержки.

Мы на разных планетах, значт, живем. Я у партнеров периодически вижу локалхост в поле from от mta, а тут оперативное добавление в белые списки...

Насчет остальные без задержки, это тоже неправда. Некоторое время без задержки. А затем опять по новой.

> И будет интересно узнать процент НЕ СПАМА попавшего в эти 95%... 1-5%?

Прикинул по памяти. В рабочий день рубилось спама порядка 1000-10000 писем, попадало в спам порядка письма в неделю... Процент считай сам.... ;)

> Я у партнеров периодически вижу локалхост в поле from от mta

Так не хочется умирать, не оторвав яйца хотя бы одному такому одмину...

>Это еще кто сошел: в этом случае отсылка идет с smtp.provider.ru с нормальной зоной. Провов и хостеров, рассылающих с неправильно реверса - весьма мало (но обычно это говно-пров которого использует ваш VIP-клиент).

смтп прова вполне может глючить. Я вот периодически наблюдаю глюки у акады, у корбины и ситека. Так что это не решение. Нахрена мы ставим свой сервак к прову, чтоб перемножать надежность своего почтовика на его?

>> И будет интересно узнать процент НЕ СПАМА попавшего в эти 95%... 1-5%?

>Близко к 0. Потому что смотрели в основном не на контент.

Близко - это не 0.

С грейлистингом этот показатель равен нулю. Т.е. если сервер принял сообщение то он его В ЛЮБОМ случае доставит адресату. Можно еще применить и другие фильтры отрабатывающие после грейлиста, но так чтобы они только помечали сообщения как смам. Но в любом случае сообщение принятое сервером должно быть доставлено адресату, ведь отправитель мог запросить сообщение о доставке, а со спаммассасином бывает выходит так, что сообщение доставлено а адресат его не получил.

И еще момент. Со спамассасином сервер ПРИНИМАЕТ все эти 95% спама и потом только определят, что это спам. Грейлистинг позволяет отсечь спам еще до приема тела сообщения.

>Так не хочется умирать, не оторвав яйца хотя бы одному такому одмину...

Я за химичекий метод. Талий - надежно и безопасно. Но это решение другой задачи...

>Это как?

Прозрачный почтовик на бекбоне. Проверка всего проходящего по каналу открытого почтового трафика. Как только зафиксирована массовая рассылка одного и того же сообщения - блок.

>Мы на разных планетах, значт, живем. Я у партнеров периодически вижу локалхост в поле from от mta, а тут оперативное добавление в белые списки...

Я говорил о команде "MAIL FROM" smtp сессии (делал поправку, уточнение). Заголовок "From" из тела сообщения грейлистами не должен обрабатываться.

>Насчет остальные без задержки, это тоже неправда. Некоторое время без задержки. А затем опять по новой.

Файлы настроек думаю есть во всех реализациях грейлистинга, где и настраиваются эти таймауты.

Вам стоит почитать документацию по работе smtp и реализации иеханизма грейлистинга, чтобы не разжигать пустые споры.

> С грейлистингом этот показатель равен нулю.

С грейлистом он может резать нормальную почту, потому что считает что повтор слишком быстро или долго или вообще фиг знает почему.

> Т.е. если сервер принял сообщение то он его В ЛЮБОМ случае доставит адресату.

Как только спаммеры поумнеют, это рухнет (вернее, уже поумнели, и фильтровать надо и затем).

> Можно еще применить и другие фильтры отрабатывающие после грейлиста, но так чтобы они только помечали сообщения как смам.

И спамассасин только помечает, если значение меньше порогового. А что? ;)

> Но в любом случае сообщение принятое сервером должно быть доставлено адресату, ведь отправитель мог запросить сообщение о доставке, а со спаммассасином бывает выходит так, что сообщение доставлено а адресат его не получил.

Да, CONNECT 195-10-20-provider-without-reverse-service, helo localhost, и Viagra в теле письма приведут к этому. Удивительно! ;)

> И еще момент. Со спамассасином сервер ПРИНИМАЕТ все эти 95% спама и потом только определят, что это спам. Грейлистинг позволяет отсечь спам еще до приема тела сообщения.

CONNECT по dsl/pool - тоже (а зачем нам гемморойные партнеры, типа) ;)

А вот как работает greylist с системой, постоянно рассылающей через *разные* хосты? gg: gmail greylisting... о, да, проблемы есть.

>Прикинул по памяти. В рабочий день рубилось спама порядка 1000-10000 писем, попадало в спам порядка письма в неделю... Процент считай сам.... ;)

Капля дегтя?

П.С. Я говорил о тех письмах которые не должны были определиться как спам, были приняты сервером, но не были доставлены адресату потому что спамассасин определил их как спам и скинул в свой карантин (например).

>Я говорил о команде "MAIL FROM" smtp сессии (делал поправку, уточнение). Заголовок "From" из тела сообщения грейлистами не должен обрабатываться.

Это я для примера уровня поддержки серверов привел. Глупо ожидать оперативной реакции от партеров, которые даже поле from установить не в состоянии...

>Файлы настроек думаю есть во всех реализациях грейлистинга, где и настраиваются эти таймауты.

угу. И эти таймауты не с потолка берутся, так что если письма от партнера не каждый час или день - будут тормозиться, как миленькие каждый раз.

> Капля дегтя?

В системы с эффективностью 100% и ошибкой 0% я не поверю даже во сне, утверждающих что грейлистинг это позволяет - отправляю учиться в вуз на первый курс ;)

> Я говорил о тех письмах которые не должны были определиться как спам, были приняты сервером, но не были доставлены адресату потому что спамассасин определил их как спам и скинул в свой карантин (например).

Кидает он в папку spam пользователю, и я о них же. Конечно, если фирма занималась бы продажей виагры и часов-реплик с партнерами на 195-78-pool.povider.cn - процент этой ошибки был бы выше.

>Viagra в теле письма приведут к этому. Удивительно! ;)

Слова вроде "Viagra" - не признак спама, т.к могут встречалься в деловой и личной переписке.

> А вот как работает greylist с системой, постоянно рассылающей через *разные* хосты? gg: gmail greylisting... о, да, проблемы есть.

Это скорее проблемы тех публичных почтовых систем, которые имеют несколько smtp релеев для исходящей почты не делающих повторную попытку передачи через короткий промежуток времени. Их не много, т.к. такое себе могут позволить только крупные компании с большим числом серверов. mail.ru - один из таких. Это решается добавлением адресов таких систем в белый список.

> Viagra в теле письма приведут к этому. Удивительно! ;)

> Слова вроде "Viagra" - не признак спама, т.к могут встречалься в деловой и личной переписке.

Нет, не признак, должен быть еще helo localhost и адрес pool-dsl, как я и написал.

> Это решается добавлением адресов таких систем в белый список.

Предлагаю тезис: если вам 100% нужен белый список - ваша система порочна.

> Предлагаю тезис: если вам 100% нужен белый список - ваша система порочна.

Предлагаю более обобщенный тезис: Во всех крупных компаниях есть служба охраны с системой пропусков, ограничивающей и фильтрующей доступ ради безопасного существования компании. Этот мир порочен.

> Предлагаю тезис: если вам 100% нужен белый список - ваша система порочна.

У вас есть дом, в нем дверь и замок. Когда к вам кто-то приходит без ключа, вы сначала впускаете его в дом, а потом смотрите кто пришел?

Это принцип работы спамассасина.

> Предлагаю более обобщенный тезис: Во всех крупных компаниях есть служба охраны с системой пропусков, ограничивающей и фильтрующей доступ ради безопасного существования компании. Этот мир порочен.

Это не белый список, а авторизация пропуска. Охрана на сером + белом списке будет выглядеть так:

- Так, одет в костюм, пришел в 9-30, на алкаше не похож - значит наш сотрудник, пропускаем... - А это кто такой, в джинсах и свитере... а, говоришь админ Вася... сейчас поищем тебя в белом списке...

> Предлагаю тезис: если вам 100% нужен белый список - ваша система порочна.

> вас есть дом, в нем дверь и замок. Когда к вам кто-то приходит без ключа, вы сначала впускаете его в дом, а потом смотрите кто пришел?

> Это принцип работы спамассасина.

Щаз. Это принцип работы грейлиста - в дом пускают всех, кто похож на честного человека ;)

> Нет, не признак, должен быть еще helo localhost и адрес pool-dsl, как я и написал.

Тем более! Зачем вообще принимать тело такого сообщения если его можно отсеч еще на начальной стадии переговоров smtp до команды data?

> Тем более! Зачем вообще принимать тело такого сообщения если его можно отсеч еще на начальной стадии переговоров smtp до команды data?

Да, вполне можно рубить еще до спамассасина и data, если смелый, а в чем проблема?

whitelist+blacklist+greylis - 99.5% спама отсеивается против ~95% систем фильтрующих по контенту. Хотя думаю (по своему опыту) 95% - цифра завышенная.

Фильтрация контента роботами не нужна.

> Да, вполне можно рубить еще до спамассасина и data, если смелый, а в чем проблема?

А чего дояться? Это обычная процедура в некоторых системах.

На приветствие "helo localhost" без авторизации можно прерывать сессию смело.

pool-dsl - я так понимаю все они есть в PBL.

> - Так, одет в костюм, пришел в 9-30, на алкаше не похож - значит наш сотрудник, пропускаем... - А это кто такой, в джинсах и свитере... а, говоришь админ Вася... сейчас поищем тебя в белом списке...

:))) вообще да, примерно так оно и есть. мир порочен.

>И первое письмо от дига было им, как положено, зарублено. А повторного он не прислал.

1. Грейлист зарубил _первую попытку передачи письма_, а не первое письмо

2. Если отправляющий сервер не умеет анализировать SMTP-шный ответ ответ принимающего сервера, отправляющий сервер списывается в топку как несоответствующий стандарту (отправляющий должен повторить отправку в случае первой неудачи)

> грейлистинг [...] превращает нормальную почту в почту на протезах.

Чушь. Для почтового сообщения время доставки 30 минут считается нормальным. Хотите мгновенной реакции - есть телефон и ICQ.

Читайте маны. "письмо зарублено" == 5хх ошибка. Грейлистинг по умолчанию выдает 4хх ошибку -- которая просто кричит о том что есть _временные_ проблемы. И в рфц написано что при получении 400х отбойников мта должне повторить попытку позже.

По теме: я на работе поднял грейлистинг, контора ~5к человек. Да, у нас все проходит через грейлистинг. Да, наш сервер отвечает простым и понятным языком, что следует повторить попытку через 60 секунд. Да, мы естественно добавляем информативное сообщение к 451му еррору, чтобы админ мог почитать логи и понять, почему его письма не идут. Да, что после 5ти успешных попыток пара (отправитель, получатель) заносится в белый список грейлистинга. И да, у меня количество спама в сутки упало с сотни тысяч до пары сотен. И это на всю контору, учитывая адреса вроде abuse@ и webmaster@. Грейлистинг конечно делает почту "почтой на костылях", но это тема для отдельного разговора про функциональность протокола смтп _сейчас_, а не 20 лет назад.

Более того, кроме грейлистинга, мы не принимаем письма с динамических айпишников и ип без обратки. Мы не требуем чтобы совпадали ehlo, обратка и хост, хотя у наши сервера настроены именно таким образом.

И все замечательно работает.

Что казается веб-морды, чтобы пользователи превентивно добавляли адреса -- это утопия. Ваши пользователи будут просто копировать из почтового клиента адреса и вставлять туда. Вы видели, кхм, Лотус? Какова эффективность чего-либо на "почтовом адресе" "some gubberish because of encoding mismatch"<some_lotus_internal_hash@domain.com> ?

>и никому не интересно, что за письма повыкладывали остальные. оге.

если нужно индивидуальные фильтры, то просто эти две папки делаются отдельные для каждого (или по группам)

>Тотже результат (~95%) дает спамассасин + задержка 0 минут.

да, спамассасин столько отсекает, но 5% спама это иногда очень много

например мой ящик которым я в рассылки пишу очень засвечен и около 30-50 писем 100% сквозь спам ежедневно просачивалось

а с грейлистингом теперь 1-2 :)