Посоветуйте анализатор логов прокси

для сквида много чего есть. гугль в помощь.

Я просто счастлив, что оно есть. Желательно еще, чтоб оно соответствовало перечисленным в первом посте требованиям. Потому (прошу прощения, что не написал этого сразу) - вопрос в первую очередь к тем, кто имеет опыт настройки/эксплуатации лог-аналайзеров в сетях на несколько тысяч пользователей.

P.S. Этим аналайзером кроме меня будут пользоваться еще несколько человек, потому хотя-бы относительное удобство интерфейса - не последнее требование.

Я бы взял Lightsquid и подпилил бы все необходимое. Lightsquid написан на перле, и парсит довольно быстро.

http://lightsquid.sourceforge.net/

Благодарю, погляжу.

mysar посмотри (MySQL Squid Access Report)

http://giannis.stoilis.gr/software/mysar/

Ага, это уже интереснее. БД для хранения логов. Отчеты генерируемые по запросу, а не по крону. Только последнее обновление - багфикс в августе позапрошлого года. Все равно, благодарю, будем поглядеть.

2 gaestur Уважаемый как насчёт - "Sams" http://sams.perm.ru ?

>какие зарегистрированные пользователи со среды по пятницу на прошлой неделе заходили на такой-то урл,

"Ведение статистики посещенных пользователями ресурсов интернет"

>сколько трафика потребили

"Формирование отчетов по трафику пользователей за любой отрезок времени"

Благодарю, почитал, поглядел демку. Это все-же немного другое - в первую очередь конфигуратор для сквида, статистика вторична и выдается по пользователям. Сделать запрос "_кто_ с 13.30 по 18.15 вчера посещал бла-бла-бла орг" если и можно, то я не нашел, как.

Да и задачи управлять Сквидом у меня нет. Просто Блукоаты умеют отправлять логи доступа в его формате.

Прошу прощения, что не отвечу на поставленный вопрос. Я лишь хочу удовлетворить своё любопытство. ЗАЧЕМ? ЗАЧЕМ нужно знать какие пользователи с понедельника по пятницу заходят на парт.орг? Для какой цели такие отчеты нужны? Может вы в другом мире живете, где такие отчеты каждый день необходимы, но я даже представить не могу, для каких нужд требуются такие отчеты. Заранее благодарю за внимание.

>Заранее благодарю за внимание.

С удовольствием отвечаю :)
Вот есть у нашей конторы хилый 3-мегабитный спутниковый линк, через который крутятся всякие корпорейт-аппликейшены, голос и прочее (через этот линк работают примерно 1500 человек, и еще столько же - через второй такой же). Есть еще линк на 10 мегабит, который не очень стабилен в силу ... хм, многих причин. Если с ним чего не так, интернет и прочая тоже пускаются через спутник.

Потому, увидев (да здравствует NetFlow и его анализаторы), что, несмотря на заблоченный по двум раз в два часа обновляемым спискам TOR, несмотря на обновляемые с сайта производителя проксиков блек-листы, несмотря на то, у аплинка тоже зарезано все, что можно, какая-то ... нехороший человек нашла левую хттпсы проксю, и, подцепившись на нее через нашу проксю, вытащила полтора гектара чего-то через и без того забитый спутниковый линк - я хочу иметь возможность посмотреть, КТО подключался к адресу такому-то. Потом позвонить этой сво^W и сказать ей, что она нехороший человек, и буде такое повторится, трафик ей будет урезан по самое некуда, а от начальства прилетит глубокий анальный поцелуй.

Где-то так.

>Потому .... > >Где-то так.

sarg - покажет куда ушло много трафика. А зная кто отличился можно уже в логах непосредственно grep'нуть.

А то я уж было подумал, что вы - провайдер, сливающий статистику куда-то в гугл :)

>sarg - покажет куда ушло много трафика

Куда ушло много мне NAM-2 показывает, в большой свич воткнутый :)

>А зная кто отличился можно уже в логах непосредственно grep'нуть

Скорее, зная _куда_ отличился. А вот чтоб знать, кто именно, и нужен анализ логов прокси. Но, учитывая объем логов (см. в первом посте), мне коллеги за предложение погрепать спасибо точно не скажут :) Дык что, вопрос о хорошем анализаторе логов, читающем их из БД, и предоставляющем удобный веб-интерфейс, остается в силе.

А пока мучаемся с тормозным Ъ-ынтырпрайз Вебсенсом за много тыщ баксов, работающим на не менее Ъ Win 2003 server + MSSQL.

> Но, учитывая объем логов (см. в первом посте), мне коллеги за предложение погрепать спасибо точно не скажут :) Дык что, вопрос о хорошем анализаторе логов, читающем их из БД, и предоставляющем удобный веб-интерфейс, остается в силе. С каких это пор любой анализатор логов стал быстрей grep'а?

>С каких это пор любой анализатор логов стал быстрей grep'а?

grep быстрее, спору нет. Будь у нас единственная задача "найди падонка, вчера начудившего", писали б наши прокси логи на тот же сервер, куда циски пишут, и грепали б мы по ним по мере надобности. Но история с левыми прокси - это был ответ на вопрос "Зачем знать, _кто_ ходил _туда-то_ в отчетный период". Просто недавний случай, и пример яркий.

Бывает и наоборот: "Вася Петров много качает - проверьте-ка за прошлую неделю. А за месяц?". "Проверили - столько-то входящего, столько-то исходящего. Нифига не много".

И просто в порядке мониторинга использования сети бывает надо поглядеть объемы трафика по потребителям, сайтам, за разные периоды времени.

P.S. Я сам люблю простые решения, ибо ленив. Но - не тот случай. Нужна именно замена Websense® Enterprise Explorer, сравнимая с ним по функциональности.