Free-SA 1.4.0

>>их обязательно стоит прочитать пользователям RedHat Linux, из-за нестандартности этих систем;

не скажу, что я поклонник Редхата, но тут я поперхнулся... я что-то проспал?

Более полугода пользуюсь lightsquid и очень доволен

> ...их обязательно стоит прочитать пользователям RedHat Linux, из-за нестандартности этих систем;

эта фраза убила наповал.

..это RH то нестандартный?!? :-О извините, а по сравнению с чем?..

>RedHat Linux, из-за нестандартности этих систем;

всегда думалось что оно самое стандартное. И вообще, какой из дистров наиболее стандартен? (/me ушел изучать LSB)

меня на squide'e полностью устраивает lightsquid -- и быстро, и всё что нужно уже есть

>их обязательно стоит прочитать пользователям RedHat Linux, из-за нестандартности этих систем

Видите ли практически во всех ОС, включая Solaris, HP-UX, AIX, Slackware, Debian, Gentoo, OpenBSD, FreeBSD команда sort находится в /usr/bin/sort. И только в CentOS, Fedora, RHEL эта команда находится в /bin/sort, причем без символических ссылок в /usr/bin на нее.

Кроме того, какая то версия coreutils в этих системах и особенно SuSE отпатчена так, что команда sort зависает на сортировке файла в пару килобайт.

P.S. Это всё по багрепортам от пользователей написал.

конечно он быстрее чем сарг, потому как написан на C, а сарг на perl

> обновлены файлы документации INSTALL и FAQ, их обязательно стоит прочитать пользователям RedHat Linux, из-за нестандартности этих систем;

Нихрена себе наезды. Чем это один из первых и самый популярный в корпоративной среде Linux'ов нестандартен?

Кто уже юзался? Каковы преимущества?

> команда sort находится в /usr/bin/sort

Вы что не можете sort по getenv("PATH") найти? Какой-то неприятный отмаз.

Вот более точные имена "победителей" (названия написал так, как мне их присылали):
1. Redhat Enterprise Linux Server 5.0 (сделан на базе Fedora 6) - оба бага.
2. Fedora 6 - только первый с путями.
3. ASPLinux - второй точно есть (его пакет пытались поставить на Fedor-у, в итоге взяли от ALTLinux, где все работает).
4. SuSE Linux 9.3 (i586) VERSION = 9.3 LSB_VERSION="core-2.0-noarch:core-2.0-ia32" - второй тоже точно есть.

Во второй ошибке один админ указывает на виноватый патч coreutils-i18n.patch в Fedora.

>> команда sort находится в /usr/bin/sort

> Вы что не можете sort по getenv("PATH") найти? Какой-то неприятный отмаз.

Какой то unsecure way получается, кто его знает, что там у горе-админа в PATH прописано. Может тогда вместо execv использовать execvp? ;-)

А у меня он иногда на sort подвисает под 100% загрузкой.

1.3.3 версия. Вот

> А у меня он иногда на sort подвисает под 100% загрузкой. 1.3.3 версия. Вот

А какой у вас дистрибутив? Скорее всего это ошибка, описанная мною выше...

proxy ~ # uname -a Linux proxy 2.6.22-gentoo-r8 #1 SMP Tue Oct 2 16:19:18 MSD 2007 i686 Intel(R) Xeon(TM) CPU 2.80GHz GenuineIntel GNU/Linux proxy ~ # emerge -pv coreutils

These are the packages that would be merged, in order:

Calculating dependencies... done! [ebuild R ] sys-apps/coreutils-6.9-r1 USE="nls (selinux) (-acl) -static -xattr" 0 kB

Total: 1 package (1 reinstall), Size of downloads: 0 kB proxy ~ #

Да! 1.4.0 вот ща тоже висит ...

Гм, Gentoo. Порядок несложный:
1. Запустите free-sa, дождитесь зависания.
2. ps axfw|grep sort
3. Нужно скопировать файл, который передан sort как параметр, в любое другое место.
4. Остановить free-sa и sort.
5. Запустить sort вручную с опциями из п.2 на файле из п.3.
6. Если зависнет sort, то скорее всего проблема именно в этой программе. Соответственно ее нужно или обновить или откатить назад или собрать без сторонних патчей.

Я сделал проще:

http://bugs.gentoo.org/show_bug.cgi?id=194685

> Я сделал проще: http://bugs.gentoo.org/show_bug.cgi?id=194685

Замечательно, надеюсь в Gentoo это быстро поправят.

Sort неверно реагирует на коды ASCII старше 127 :-( Ладно - бум ждать - но надоть тебе фильтровать энто дело =) URL не бывают русскими (не говорим об IDN)

> надоть тебе фильтровать энто дело =) URL не бывают русскими

А вот это лучше не мне, а команде squid отправить ;-)

>конечно он быстрее чем сарг, потому как написан на C, а сарг на perl

сарг написан не на перле! он написан криво на си
на перле написан lightsquid - но работает все равно быстро... дело не в языке, а в алгоритмах :)

>sort неверно реагирует на коды ASCII старше 127

uniq не лучше. И так уже довольно давно. Что интересно, древние версии которые были в старых дебианах (ядро 2.4), нормально работали.

Пока они исправят - рак свиснет. Ты ближе, тебя можно догнать и ударить, если что :)))))))))))

Ладно - хреново конечно все. Придется сидеть без статистики или че-нить мутить с фильтрацией логов перед тем как отдавать free-sa

Значит фиксации бага можно даже не ждать. Ну что? Сносим free-sa? :))))

Поставьте sort из любого Slackware или соберите его из родного пакета coreutils без патчей от дистрибутива и будет всё работать.

Так в том то и дело. что старые версии этих утилит вроде работают лучше современных, так как в дебиане всё нормально, а в генту например, глючит

если бы вы тестили свою поделку сначала на центосе хотябы, то можно было бы избежать подобных смешных заявлений, что мол рхел нестандартный и пути у него не такие и сорт кривой

Slackware 12.0 тоже достаточно свежий дистрибутив и sort нормально работает, это дистрокодеры зачем то патчат coreutils.

Проблема в другом - из-за free-sa пересобирать coreutils, а если какая-нить из сторонних системных программ нуждается в патчах? Накроется вся система? Нет - "слишком мелкие зайцы для волков, чтобы за ними гонятся".

> если бы вы тестили свою поделку сначала на центосе хотябы, то можно было бы избежать подобных смешных заявлений, что мол рхел нестандартный и пути у него не такие и сорт кривой

Поделка у вас в штанах, если бы она не была такой маленькой, то вы бы не писали такие смешные заявления тут.

> Проблема в другом - из-за free-sa пересобирать coreutils, а если какая-нить из сторонних системных программ нуждается в патчах? Накроется вся система? Нет - "слишком мелкие зайцы для волков, чтобы за ними гонятся".

Там где пересобирали coreutils жалоб не было на нестабильность/неработоспособность систем. В любом случае, я думаю, вы согласитесь, что проблема у разработчиков отдельных дистрибутивов, а не у Free-SA.

Соберите sort без патча и положите его в /usr/bin/sort таким образом убъете обеих зайцев (багов) и, возможно, заведете новых.

Кстати отличная мысль (я так рекомендовал товарищу с OpenSuSE кажется), можно даже еще лучше/проще: установить sort под любым именем в любом пути, и этот путь/имя прописать в global.mk в качестве SORT.

Нафиг патчи, не люблю менять работающее :)

Вот решение вопроса, судя по патчам i18n это для multibyte. Уберем multibyte :)

export LANG=en_US.ISO8859-1 free-sa

Я конечно не смотрел патч, но видимо код выше 127 вызывает срабатывание обработки UTF-8, и конечно следующий символ не является вторым кодом UTF-8. Отсюда и зависон. Он тупо ждет последний символ от UTF, и висит.

Горе программисты, мля

а чем платный http://www.rbsec.ru/solutions/rbsecsa.html лутчше?

мож его сразу купить и не парицо?

> а чем платный http://www.rbsec.ru/solutions/rbsecsa.html лутчше?

Отличия RBSec-SA от Free-SA:
1. RBSec-SA хорошо тестируется, поэтому он почти всегда немного отстает по возможнотям от Free-SA.
2. Техническая поддержка в виде обновлений и консультаций.

> мож его сразу купить и не парицо?
3. Если вы приобретете RBSec-SA как аппаратное решение, тогда проблем с sort не будет. Однако это возможно будет не эффективно, тогда стоит брать RBSec-PX/SA (прокси+анализатор).

>стоит прочитать пользователям RedHat Linux, из-за нестандартности этих систем;

Что есть стандарт? бдлодебиан? бзда? зюзя? аффтар, за такую новость убей себя апстенку.

Немного оффтоп, но может знающие люди подскажут чем лучше делать анализ логов и генерацию отчётов по логам FTP сервера (конкретно интересует pure-ftpd)?

А какой анализ нужен? Если подобный free-sa/sarg, то присылайте запрос с образцом журнала, сделаем.

> А какой анализ нужен? Если подобный free-sa/sarg, то присылайте запрос с образцом журнала, сделаем.

Да, _примерно_ такой (никогда не использовал Free-SA). Основное желание: чтобы можно было видеть наиболее часто скачиваемые файлы за выбранный период времени с указанием числа закачек файла и суммарного объёма трафика, потраченного на раздачу конкретного файла (а также списка адресов, с которых скачивали этот файл). Также хотелось бы иметь возможность вывести сортированный список клиентов (клиентских IP адресов) по суммарному объёму download/upload, просмотреть полный список скачанных конкретным пользователем файлов. В принципе это всё можно и самостоятельно написать, но не хотелось бы в тысячный раз изобретать велосипед.

За предложение спасибо, если ничего готового не найду, то обращусь (формат файла там простейший, как и в большинстве логов). Мне эта тема не горит, просто хотелось бы подыскать подходящий софт.

Порадовала работа с большим постфикс-логом зачем ему столько файлов временных? до сегфолта дело дошло на 8ххх файле

> Порадовала работа с большим постфикс-логом зачем ему столько файлов временных? до сегфолта дело дошло на 8ххх файле

В FAQ сказано, что на каждого пользователя открывается 2 файла. Изначально SA разрабатывалась для обработки Squid журналов, где количество пользователей не так велико. Позже, после добавления поддержки почтовых форматов, мы увидели эту проблему (в основном, из-за спама растет кол-во пользователей). Как временный вариант могу предложить делать 3 отчета (обычно так и делают) с использованием global_filter:
1. Все исходящие с вашего домена.
2. Все входящие на ваш домен.
3. Все остальные (т.е. в адресе отправителя или получателя нет вашего домена).

Схема с тремя global_filter реализуется не сложно, фильтры будут максимум в 4 строки.

> до сегфолта дело дошло на 8ххх файле
Поделитесь файлом ;-)

> Так в том то и дело. что старые версии этих утилит вроде работают лучше современных, так как в дебиане всё нормально, а в генту например, глючит

Генту в топку