Вышел SpamAssassin 3.1.0.

гуд. реальная, реально работающая прога. *пошёл обновляться*

Do you think a message echo out a message about dcc and razor being disabled by default per a license change?

Вотс. Писча для размышлений

У кого-нибудь есть данные по производительности? А то по моему опыту он просто омерзительно медленен на больших нагрузках.

>У кого-нибудь есть данные по производительности? А то по моему опыту он просто омерзительно медленен на больших нагрузках.

Тут все от настроек будет сильно зависеть, а также ка ты его дергаешь. К слову сказать хочу верить, что появиться возможность обкатать SpamAssassin на потоке примерно 1-1,5 млн. писем в сутки. У кого-нибудь работает в таком режиме ?

1) Этот антиспамер - ЖУТКИЙ ТОРМОЗ!
2) Толком не умеет работать с русским контентом
3) Есть на порядок умнее и быстрее система - DSPAM.

1-1.5 млн писем это очень мало, это всего до 50 писем в секунду в пике и 20 на потоке. Мне интересно 50-60 писем в секунду при нормальной работе и 150 в пике на машину (больше уже издевательство, я согласен).

>1) Этот антиспамер - ЖУТКИЙ ТОРМОЗ!

У вас поток более лимона на сервер ?

2) Толком не умеет работать с русским контентом

Вызывающе неверная информация - при нормальной настройке SpamAssassin корректно вырезает 93-97% "русского" спама, проверено неоднократно на потче организаций в различными сферами деятельности. Единственное, что я возьмусь фильтровать "с опаской" так это рекламные и туристические агентства.

3) Есть на порядок умнее и быстрее система - DSPAM.

DSPAM - надо учить. Что получается при переучивании вы знаете ?

DSPAM применяет хи-квадрат, но это только 1 проверка. Вы готовы доверить свою почту только одному алгоритму?

SpamAssassin является комплексным весовым решением и по этому критерию мало, что с ним может конкурировать.

P.S.
Могу поискать письма пропущенные DSPAM, Spamtest, но корректно обработанные SpamAssassin'ом на нашем сервисе.

>150 в пике на машину (больше уже издевательство, я согласен).

Ну как вариант - поток складывать в очередь, а потом уже эту очередь разгребать, если задержки на 3-7 мин. терпимы. IMHO, разумеется.

> при нормальной настройке SpamAssassin корректно вырезает 93-97% "русского" спама

А где об этой "нормальной настройке" можно почитать ? а то у меня прекрасно режется нерусский спам, а вот русский практически не фильтруется ((

>DSPAM - надо учить. Что получается при переучивании вы знаете ? нет .. что? Учат DSPAM пользователи . админ только вяло за этим наблюдает... >DSPAM применяет хи-квадрат, но это только 1 проверка. Вы готовы доверить свою почту только одному алгоритму? если именно эта проверка обеспечивает 98% точности фильтрафиции то да - остальные только жрут процессорное время. По многочисленным тестам эффективности SA занимает позицию серядняка - ни в каких тестах не выдалятся и не проваливается. По _этому критерию_ с ним мало, что может конкурировать - но не по эффективности фильтрации. Комплекстность решения - это преимущество? Сложная программа лучше простой?

>А где об этой "нормальной настройке" можно почитать ? а то у меня прекрасно режется нерусский спам, а вот русский практически не фильтруется ((

man sa-learn и все фильтруется.

>> при нормальной настройке SpamAssassin корректно вырезает 93-97% "русского" спама >А где об этой "нормальной настройке" можно почитать ? а то у меня прекрасно режется нерусский спам, а вот русский практически не фильтруется ((

Использую ловушку для самообучения. Очень хорошо режет спам, даже новоявленный. Некоторые пользователи удивляются, когда им говорят, что на сервере для них тормозится по несколько десятков спамовых писем в сутки.

Ложные срабатывания иногда бывают но очень-очень редко. Нагрузка невысокая, поэтому данный зверь полностью устраивает. Будем обновляться.

Боги антиспама :)))))))

>А где об этой "нормальной настройке" можно почитать ?

Ну ка уже ответили, рекомндую ознакомиться с man sa-learn, а также найти в сети вот эту пару книг:

http://www.oreilly.com/catalog/spamassassin/
http://www.packtpub.com/spamassassin/book

>halter >1) Этот антиспамер - ЖУТКИЙ ТОРМОЗ! >2) Толком не умеет работать с русским контентом

...Просто омерзительно неверная инфа...

to_halter: пробуйте все-же иногда читать инфу от производителя.

to_Alter: respect. :-)

>А где об этой "нормальной настройке" можно почитать ? а то у меня прекрасно режется нерусский спам, а вот русский практически не фильтруется ((

во-первых, да - sa-learn

во вторых, прочитайте наконец http://spamassassin.apache.org/

http://spamassassin.apache.org/tests_3_0_x.html

и

http://spamassassin.apache.org/full/3.0.x/dist/doc/Mail_SpamAssassin_Conf.html

поможет вам справиться с русским языком...

SA - система, за которую памятники надо ставить разработчикам...

>нет .. что? Учат DSPAM пользователи .

Что ж повезло пользователям.. У меня ситуация немного другая - команда в которой я работую предлагает в том числе услугу серверной фильтрации спама.

>если именно эта проверка обеспечивает 98% точности фильтрафиции то да - остальные только жрут процессорное время.

Недообученный, переобученный, неправильно обученный (это же пользователи) DSPAM дает false positives. Отмониторить это бывает сложно, да и подчас не надо ни кому.

>По _этому критерию_ с ним мало, что может конкурировать - но не по эффективности фильтрации.

С этим не соглашусь, но с сожалению объективных численных данных привести пока не смогу т.к. мы не успели попасть в http://www.ifap.ru/pr/2005/050530a.htm

>Комплекстность решения - это преимущество? Сложная программа лучше простой?

Мое IMHO в этом вопросе следущее - "серебнянной пули" в отношении спама не существует и требуется целый комплекс мер на каждом этапе для сколь-либо эффективной работы системы фильтрации. SpamAssassin является одной из этих комплексных мер, но опять же не единственной.

>Сложная программа лучше простой?

Медитируя больше года над почтовым логом я перестал верить в простые решения.. :-)

>Некоторые пользователи удивляются, когда им говорят, что на сервере для них тормозится по несколько десятков спамовых писем в сутки.

Эх.. счастливые люди! - мечтательно так..

У меня в карантине:

$du -sh quarantine/
836M quarantine/

Обычно под гиг этого гуано валяется..

а не подскажет кто ссылочки на эти книги в цифре?

>а не подскажет кто ссылочки на эти книги в цифре?

Они есть.

При таком подходе очередь имеет неприятные свойства разрастаться до бесконечности при всплесках хотя бы до 200-250, плюс начинает кончаться адресное пространство, дискрипторы (но это позже, часа через 3)... Я сам видел машины с load average 300, притом это были 2 процессорные HP-DL140 (дерьмо, конечно, но для почтовиков использовать что-то более дорогое - расточительно, особенно когда их больше 10). Проблема в том, что при массовой рассылке какой-то дряни, будь то дока с указаниями от руководства или новый вирус ситуация не должна становиться критической, потому как я знаю сотню мест, где это случается раз в неделю.

sa-learn, это здорово, но когда пользователей больше 50 общая база не катит, а пользовательские вести трудоемко.

>sa-learn, это здорово, но когда пользователей больше 50 общая база не катит, а пользовательские вести трудоемко.

Это, дорогой, вопрос очень спорный, особенно, когда массовая расссылка :-)

>При таком подходе очередь имеет неприятные свойства разрастаться до бесконечности при всплесках

Shaman007, ну не говори, что нет вариантов.. :-)

У тебя же в руках SMTP сессия! Мысли вслух:

1. На входе поставить policy daemon, которые весовым образом будет регулировать подрезку: скажем передающая сторона сидит в 2 надежных RBL + не имеет обратного резовинга или резовлится в BOTNET - пускай гуляет. Использовать RBL в чистом виде я перестал (кроме как open relay & proxy).

2. Регулировать доставку с релея определенным кол-вом писем в минуту.

3. Загрейлистить посторонних сек на 30.

4. Если очередь подвержена резким всплескам - переходить с FIFO на LIFO при определенном пороге и включать более экономичный режим чекания, т.е. скажем дергаем SpamAssassin без сетевых проверок или вообще не дергаем при условии при сидении релея в 2 RBL кидаем сразу в карантин.

/мну думает, что не стоит ему из себя очень умного строить, но если Shaman007 захочет когда-нибудь потом продолжить дисскуссию, то weclome на support(ГАВ!)antispam-post.ru.

>>Могу поискать письма пропущенные DSPAM, Spamtest, но корректно обработанные SpamAssassin'ом на нашем сервисе.

Не надо субъективизма, может один настроен был чуть лучше :).

> Я сам видел машины с load average 300, притом это были 2 процессорные HP-DL140

из своего опыта: давал ценные советы при создании нового почтовика у одного из достаточно крупных провайдеров города N'ск, так вот когда почта фильтровалась на одной машине (ну простой Athlon 1000MHz / 500Mb ram) с запущенным SA, LA (load average) тоже до 100 доходил, после того как сделали балансировку нагрузки (через dns насколько я помню) на 2 машины с SA, LA упал до 10.

Имхо все эти тулзы - полная ***ня. Толку совершенно никакгого. Другое дело - нормально настроить обычные фильтры например в Thunderbird (к примеру на фильтрацию сообщений, у которых в поле To: нет вашего мыла - бОльшую часть спама убьёт сразу).

>Не надо субъективизма, может один настроен был чуть лучше :).

Не спорю - я объективно заинтересованная сторона :-)

P.S.
Сработали проверки на URIBL, а баес так и не шелохнулся. Тестят нынешние спамеры рассылки на куче фильтров.

это у вас позиция такая как непосредственного пользователя, а не системного администратора, так что учитывайте это мнение тоже. А назвать дерьмом можно что угодно.

>Другое дело - нормально настроить обычные фильтры например в Thunderbird

Ага.. а перед этим неплохо бы изучить какие алгоритмы для этого используются, а также подумать сколько это будет стоить обычной конторе на 150-200 почтовых аккаунтов.

Текст новости скопирован с http://www.opennet.ru/opennews/art.shtml?num=6093

Если лень писать описание самим, имейте советь - ставьте ссылки на первоисточник.

Я говорю о 150 письмах в секунду уже после всякий RBL'ей, обратного резолвинга, gray фильтров, которые я считаю злом из-за тонн проблем с нужными рассылками и прочей обороны первого уровня. Я говорю о "нормальной" с точки зрения заголовка, о том, что можно фильтровать только по контенту.

sa-learn плодит false-positives при "плохом" обучении, а более 50 разнородных пользователей (админы - программеры - менеджмент) пользователей на базу, это как раз пример "плохого" обучения. Не работает статистика с таком режиме, байес для персонального использования хорошь.

Вообще, детектирование спама больше 90% при разумном количестве false-positive на сервере - сказки.

Правильно, но зачем балансировка, если есть системы, которые вполне способны жевать мой поток на моем уже имеющемся железе при разумной загрузке (для меня это spamtest)?

>Я говорю о 150 письмах в секунду уже после всякий RBL'ей, обратного резолвинга

Дамс.. Посидел с калькулятором. Прикинул, на DL140 (если о'двуконь) в пике 100-120 писем, дальше надо думать как..

>gray фильтров, которые я считаю злом из-за тонн проблем с нужными рассылками

AutoWhiteListing не рулит ? :-)

>sa-learn плодит false-positives при "плохом" обучении, а более 50 разнородных пользователей

sa-learn --ham - соглашусь, но он IMHO не так важен;
sa-learn --spam - готов предметно поспорить.

Интересует-то в основном --spam, как я понимаю ? :-)

Народ только не смейтесь пожалуйста :) Я решил себе поставить на небольшую сетку SpamAssassin собрал его в rpm, устрановил. Чесно, ну не могу найти инструкцию по настройке и запуску. С чего начать?

Ты в порядках чисел (150 в секунду) не ошибся? news://news.gmane.org:119/d69bf1dd05090203341ea1f9@mail.gmail.com - крупный провайдер (tiscali?) 6 млн пользователей, в среднем 7-14 писем в секунду, максимум до 40 писем в секунду, 14 двухпроцессорных серверов. Жаловались, что тормозит, написали в рассылку amavisd-new, разобрались, что затык был на сервере LDAP, и нормально все настроили.

> sa-learn плодит false-positives при "плохом" обучении, а более 50 разнородных пользователей (админы - программеры - менеджмент) пользователей на базу, это как раз пример "плохого" обучения.

Плохое обучение - это когда 1) используются параметры по умолчанию (типа автообучается на том, что имеет рейтинг больше 10 или 12). Обучать надо на том, что имеет рейтинг близкий к порогу прохождения, а для этого надо периодически карантин загонять в байес. 2) Надо ставить ловушки - типа sales@domain.xx и mail@domain.xx, на которые пишут только спамеры, и письма на эти адреса сразу отправлять в sa-learn --spam. Тогда будет не 90%, а 99 и 9 в периоде.

> есть системы, которые вполне способны жевать мой поток на моем уже имеющемся железе при разумной загрузке (для меня это spamtest)?

так значит это системы не чита SA и не выполняют столько же по функциональности. Конечно, если spamtest выполняет данную работу, то почему бы им и не пользоваться, зачем тогда с SA ковырятся? На самом деле 40~100 сообщений в секунду, это ни сколько не обычный сервер и SA все-таки можно попробовать _настроить_ , но для этого просто время понадобится. И опять же тут есть много способов, начиная от фермы серверов с балансировкой нагрузки (что в общем-то достаточно универсальное решение, потому что используется "сплошь и рядом" так сказать) , и заканчивая постановкой сообщений в очередь, для проверки с последующей доставкой. В общем рекомендовал бы еще в списке рассылки SA поспрашивать, кто как делает. Или поискать на google -> 'high volume MTA'

Не все так просто при массе неподвластный тупаков среди пользователей. И почта не должна теряться вообще никогда.

Да знаю я все, не надо меня лечить :-) у меня везде spamtest, так как особенных альтернатив на моих задачах ему нет. Я просто в стороны смотрю, как там дела обстоят.

> Не все так просто при массе неподвластный тупаков среди пользователей.

Согласен. Но по своему опыту - ловушки для спама + свой адрес (который у меня светится в открытом Инете года с 1998, соответственно нет спамерской базы, в которой бы его не было) с ручной отбивкой особо одаренных спамеров очень эффективны даже с самыми тупыми пользователями - на них раньше приходит спам, чем на ящики тупаков, и тут же попадает в байесовскую базу, на razor и dcc.

> И почта не должна теряться вообще никогда.

Здесь ты, к сожалению, сам себе противоречишь. RBL на переднем фронте приема почты - это гарантия потери писем. И увы, никакой метод не дает 100% результатов, 99% с хвостиком - это вполне реально.

>Проблема в том, что при массовой рассылке какой-то дряни, будь то дока с указаниями от руководства или новый вирус ситуация не должна становиться критической, потому как я знаю сотню мест, где это случается раз в неделю.

кончайте курить разную дрянь - мошно просто пометить внутренние подсети или часть позсетей как трастед и скипать проверку для них.

собсно у спамотсосина одна проблема с русским: спам обычно идет в plain windows-1251, но стоит спаму придти хотя бы mime, или того хуже html-utf-8, да даже и в koi8 - пиздец! байес абсолютно не срабатывает! а все потому что на заучивание письма отдаются как есть не перекодированные со всеми заголовками.

в общем все еще жду когда они сделают "нормализацию" писем.

-жи, -ши пешы с буквой "и".

Одменестраторы, сестемные, чорт бы вас пабрал. Что у вас там не фильтруется? Вы русский с албанским не путаете?

>у меня везде spamtest, так как особенных альтернатив на моих задачах ему нет

Таких граблей не ловил ?
http://www.livejournal.com/users/exler/78661.html

Год работает без сказок именно в таком режиме.

Весь год - 09/2004 - 2.64 - сейчас 10/2005 переехал на 3.10 - сказка. Логика переезда - больше свободы с управлением из вэб-морды и отработка варианта глобального бакапа всей системы - под VmWare.

http://iasb.narod.ru - там в общем как ставилось. 200-300 МБ почты в сутки, 60-75 % спама. Пробоев практически нет.