LINUX.ORG.RU

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

 ipaudit, , ,


0

0

Во всем мире активно используются системы кэширования интернет-трафика в целях экономии денежных средств и дополнительной защиты пользователей при их работе в сети Интернет. Учитывая сегодняшнее состояние кризиса и финансовые неурядицы, эти системы становятся еще более актуальными.

Подобных программ существует немало, но статистика показывает, что наибольшим спросом пользуются связки на базе прокси-сервера SQUID и вспомогательных средств для анализа его логов и генерации отчетов, а также контроля за расходом трафика. Тройку популярности среди них неизменно уже в течение многих лет составляют: SAMS, SARG и Ipaudit. Рассмотрим все эти программы по очереди в разрезе их функциональности применительно к учету трафика, проходящего через сервер SQUID. Остальных свойств этих разработок мы коснемся поверхностно, в контексте описываемого.

>>> Подробности

★★★

Проверено: maxcom ()
Ответ на: комментарий от mv

>Претензия у меня ровно одна была: убрать "во всём мире".

но однако как пошел твой пост !! :))) Но комрады увидели в "во всём мире" и свой мир. :)

Для справки: Беларусь, Минск, до 120 юзеров, модем поднимается на 2048/768, трафик лимитируется, 36Gb около $100, что выше по 0,02 цента за метр. Кроме юзеров на этом же канале мобильные юзеры. Благо почту, сцайты и филиалы перевели на другой.

zooooo
()
Ответ на: комментарий от mv

>Претензия у меня ровно одна была: убрать "во всём мире".

И претензия глупая. То-то куча вендоров из "всего мира" разрабатывают и продвигают решения, где это самое кэширование активно используется (Cisco WAAS, Juniper не-помню-что и т.д.).

Не надо думать, что кэширование - это только прокси на выходе из своей конторы в Интернет.

Cyril ★★
()
Ответ на: комментарий от Cyril

Пусть вендоры разрабатывают и продвигают, использовать-то всё равно на толстом канале мало кто будет.

mv ★★★★★
()

Не плохая статья.

Но на практике, если честно, в конце-концов, останавливаешься не на системе "из коробки", а на собственном (и скомпилеванном!) фильтре для сквида, скрипта для переноса логов сквида в базу и тригера добавления записей в этой самой базе. Веб-морда на усмотрение админа. Можно и на пхп. Но, в принципе, можно и без нее.

k0valenk0_igor ★★★
()
Ответ на: комментарий от psv1967

>теперь разработку ведет сообщество.

"Вы глупы, друг Портос." (ц) То, что "разработку ведёт сообщество", никак не отменяет факта, что крохотный самс глючнее, чем все монструозные поделия микрософт, вместе взятые. Кстати, он уже перестал отдавать свою страницу в кодировке cp1251, да ещё не указанной в заголовке страницы, или до сих демонстрирует это позорище?

> отрубание "до конца" самое бессмысленное что можно придумать в такой системе.

В какой "такой системе"?

Самс используется, прежде всего, для обрезания трафика -- в случаях, когда трафик лимитирован, ЛИБО в случаях, когда канал безлимитный, но сидит много пользователей. Как показывает многолетный опыт, офисный планк^W^W мудрые специалисты, дорвавшись до интернета, минимум 98 % процентов данного им на работе трафика спускают на развлекуху. Таким образом, имея типичный для дальнего замкадья канал в 0,5-1 мегабит на 100 пользователей, легко попасть в ситуацию, когда всего лишь двое-трое этих пользователей заткнут весь канал махом. Самс позволяет умерить аппетиты путём урезания трафика, но он не позволяет сделать это оперативно. Блэклисты тоже не панацея.

Oleaster ★★★
()
Ответ на: комментарий от mv

>...кэширование...Актуально ... только там, где за кол-во потреблённого трафика платят.

А что - стоимость трафика это еднственная его характеристика? Или мосье не сисадмин?

Pronin ★★★★
()
Ответ на: комментарий от k0valenk0_igor

>останавливаешься не на системе "из коробки", а на собственном (и скомпилеванном!) фильтре для сквида

А потом придёт другой админ и будет сочинять другой собственный скрипт... Бесконечное рукоблудие вместо промышленных стандартов. Где крупные корпорации не вложились -- там всегда чёрная дыра и истерические крики "это не нужно!". Саопчество, ёптыть.

Oleaster ★★★
()
Ответ на: комментарий от Oleaster

>А потом придёт другой админ и будет сочинять другой собственный скрипт

Если исходники в subversion, а дока - в wiki, то сочинение и улучшение - нормальный рабочий процесс. Не вижу ничего в это плохого. Если, скажем, новый админ докажет, что время отработки скриптового (или скомпилированного) фильтра написанного под его мудрым водительством будет меньше существующего, то в чем беда?

Беда как правило подкрадывается с другого бока: один на коленке наваял, незадокументировал, уволился.... Другой пришел, не разобрался, сказал "нах..." и снес все... для того что бы тут же сесть писать такое же поделие! На самом деле, эта ситуация стара как мир и говорит только об отсутствии вменяемого ИТ-руководителя. И ни о чем более.

>Бесконечное рукоблудие вместо промышленных стандартов

Стандарт говорить только о том, какие характеристики являются допустимыми. Конкретную реализацию стандарт оставляет на ИТ-шников. Эго...

k0valenk0_igor ★★★
()
Ответ на: комментарий от mv

До чего мерзкая, упрямая и снобская бородка...

m00n
()
Ответ на: комментарий от Quasar

Вообще-то у меня это "поделие" SAMS уже больше 1.5 лет работает, и ни разу не было глюков, хотя на форуме САМСа регулярно читаю о проблемах с ним. Наверное вся проблема в кривых руках.

anonymous
()
Ответ на: комментарий от mv

>Пусть вендоры разрабатывают и продвигают, использовать-то всё равно на толстом канале мало кто будет.

И опять глупость. Достаточно, например, вспомнить про site-to-site VPN - которых много не только "в этой стране" (с), но и во "всём мире" (с). И для которых, собственно, и используются упомянутые мной решения.

А всё почему? А всё потому, что - как я уже говорил в прошлом сообщении - не надо думать, что кэширование - это прокси на выходе из своей сети в Интернет.

Cyril ★★
()
Ответ на: комментарий от anonymous

>Вообще-то у меня это "поделие" SAMS уже больше 1.5 лет работает

А у меня Windows NT 4 & 5 девять лет отлично работали, пока не выкинул окончательно. И чо дальше? Начать орать "виндовс прекрасна, всё дело в руках"? Если Вы день-другой потратили на допиливание этой дивной стокилобайтной программы -- флаг в руки; но о качестве уж лучше бы помолчать.

anonymous
()
Ответ на: комментарий от anonymous

>Если Вы день-другой потратили на допиливание этой дивной стокилобайтной программы -- флаг в руки; но о качестве уж лучше бы помолчать.

и что-то в Вашем сообщении я не заметил ни каких упоминаний о гораздо_больших_чем_сто_килобайт_размером убер-программ аналогичных по функционалу SAMS, поэтому Вам просто "уж лучше бы помолчать"

straus
()
Ответ на: комментарий от mv

600 МБит это толстый канал? И именно на нем один провайдер просто счастлив запустить кеширование p2p

psv1967 ★★★★★
()
Ответ на: комментарий от Oleaster

Средства позволяющие не дать скачать изошку или mp3 достаточно в самом прокси присутствуют. Если пользователь в конце выделенной ему квоты начал качать нужный ему файл (не попадающий под запреты), то крайне глупо не дать ему его докачать.

Для того чтобы трое идиотов не смогли положить канал просто достаточно ограничить кол-во сессий.

А про блек листы вы мой друк просто не компетентны...

psv1967 ★★★★★
()
Ответ на: комментарий от Oleaster

> "Вы глупы, друг Портос." (ц) То, что "разработку ведёт сообщество", никак не отменяет факта, что крохотный самс глючнее, чем все монструозные поделия микрософт, вместе взятые. Кстати, он уже перестал отдавать свою страницу в кодировке cp1251, да ещё не указанной в заголовке страницы, или до сих демонстрирует это позорище?

Дорогой друк! Вы я вижу достаточно юны что бы не помнить времена, когда достославный афтар sam херил на протяжении нескольких лет патчи присылаемые к его несомненно нужному и расово правильному поделию? Кто не успел выкалупать актуальный патч с форума, тот опоздал :( И настойчиво предлагал купить техподдержку? А потом у него сломался ноут и настали кранты вообще?

Ну так знайте что теперь это не тогда. И разница сия велика есть.

psv1967 ★★★★★
()
Ответ на: комментарий от ximeric

> > отрубание "до конца" самое бессмысленное что можно придумать в такой системе. Даже авторы патча дающего такую возможность отказались от этого бреда.

> О каком патче речь? Об extacclog?

патч при котором на длинной зачачке в лог сквида сыпятся сообщения каждые ххх килобайт

psv1967 ★★★★★
()
Ответ на: комментарий от mv

> > Ты не прав, из-за недостатка желания подумать головой. Кеширование актуально всегда, т.к. позволяет сохранять до 20-30% канала при безлимите.

> ЗАЧЕМ? Если ситуация в половине цивилизованного мира такова, что сервера контент с такой скоростью отдавать не могут, с какой клиент готов тянуть.

ПОТОМУЧТО ССЗБ. Кеширование не надо осуществлять в точке где стоит сервер, надо разместить кешь сервера (или копию) там где находится с точки зрения сети потребитель. И те кто делал squid прекрасно это понимали, в сквиде акселерирующий режим с момента создания присутствует.

Например у меня акселератор на дохлом канале дает плечо гигабит выходного трафика на 8 мегабИт входного.

psv1967 ★★★★★
()
Ответ на: комментарий от psv1967

Вы, нахрен, зажрались! У нас за МКАДОМ (г.Иркутск) не только другой часовой пояс, но и дорогой интернет. В моей фирме на 15 голов уважаемых спецов прихрдится 1 мб/с анлима. Кэширование экономит не только 35 % траффика, но создаёт впечатление 2 мб/с. Нерациональное использование ресурсов - скудность мышления. И несчёт всего мира. Мой бывший коллега работает в достаточно не маленькой конторке в штатах - представте себе, там тоже кэшируют.

shnurok
()
Ответ на: комментарий от mv

>Я и говорю: "экономить на трафике" и "во всём мире" при современном положении в телекоммуникационной области уже как-то режет глаз.

еще один аналитик. открою тайну: владельцы AS как правило тоже экономят на трафике с помощью сквида.

anonymous
()

На клиентских машинах задайте в настройках браузеров ip-адрес и порт прокси-сервера, где работают SAMS и SQUID.

Не понял, а если у меня прозрачный прокси? Можно как то прикрутить этот самс в моём случае?

TwisteR ★★
()
Ответ на: комментарий от psv1967

> патч при котором на длинной зачачке в лог сквида сыпятся сообщения каждые ххх килобайт

Значит это он.

> Даже авторы патча дающего такую возможность отказались от этого бреда.

Откуда информация?

ximeric
()
Ответ на: комментарий от psv1967

> нет версий под новые сквиды?

Нету. А если посмотреть, насколько пока недоделан squid 3-х версий, то не хочется использовать. Т.ч. не удивительно.

ximeric
()
Ответ на: комментарий от psv1967

>Вы я вижу достаточно юны что бы не помнить времена

Вы плохо видите, Вам надо к окулисту. (И к учителю русского языка, конечно.) Ибо я отлично помню времена, когда красноглазые придурки и слова-то такого не знали -- линукс, а мастурбировали на полуось и всякое там фидо. Но с тех пор, собственно, ничего не изменилось, и с самсом в том числе. Одни баги бодро меняются на другие, даже удивительно, как можно так много накосячить в столь небольшой программе.

Ваши прочие сентенции -- про обрезание роликов на уровне сквида и прочее -- тоже смешны. Ведь это всё ставится глобально. А если, скажем, само руководство любит сидеть в одноклассниках и вконтактах, то все блэклисты сразу идут лесом. Так же и про разрешение "докачать нужный файл". Если у юзера достаточный трафик для работы, но он его прогадил на чтение лирушек и вконтактов, то надо его как-то наказывать. Если бы самс резал в режиме реального времени, то это было прекрасно. А он это не умеет в принципе. Так, студенческая поделка, годится для маленького офиса в десять работников.

Oleaster ★★★
()
Ответ на: комментарий от Oleaster

Ха ха ха, давайте угадаю? Вы пользуетесь прозрачный прокси? Вывод --- ССЗБ. Авторизация абонента основа здоровья.

(Правда причем тут SAMS и пользовались ли Вы им вообще и в какой период его развития конкретно большой вопрос.)

Во всех остальных описанных бредовых случаях заводится ACL в сквиде на имя начальника, типы файлов, или группы лиц у которых особые права. Таких ACL может быть вагон и маленькая тележка.

Если начальнику вообще нужен NAT, сделайте ему его NAT (раз он Вам деньги платит, если не платит, а подножного корма нет, пошлите нахер и найдите работу где платят :).

1) Никто не предлагает заменять билинг коммерческого провайдера услуг доступа сквидом с самсом. (Хотя домовые сети вполне "арабская система" унлима.)

2) Только полный идиот будет ставить коммерческий биллинг в конторе, которой нужно управлять корпоративным доступом в инетернет.

3) Мощность связки сквид + sams на современных ординарных машинках с ОЗУ по 4-8 гиг и всяких 10х рейдах под access.log + база мускуля запредельная, ну никак не меньше 2000 одновременно активных пользователей.

psv1967 ★★★★★
()
Ответ на: комментарий от bender

Я уже года два как использую cake (http://code.google.com/p/cakebilling/) на FreeBSD (в качестве pppoe/pptp-сервера использую mpd). Для обрубания инета по достижении лимита использую perl-скрипт в кроне, который при отрицательном балансе выполняет route delete, после чего у юзера перестают бегать пакетики (хотя соединение не рвется).

tim2k
()
Ответ на: комментарий от psv1967

>Ха ха ха, давайте угадаю? Вы пользуетесь прозрачный прокси?

Что-то опять не угадали. Наверно, Вы неудачник?

У нас стоит два разных самса на разных серверах, более старый глючит меньше, чем более новый (последний где-то годичной давности). Впрочем, под влиянием этого треда появилась идея поменять оба на свежий и зафиксировать свежайшие глюки. Единственное, что сдерживает -- опасение, что эта херня вообще не заработает. ;)

>Во всех остальных описанных бредовых случаях заводится ACL в сквиде на имя начальника, типы файлов, или группы лиц у которых особые права. Таких ACL может быть вагон и маленькая тележка.

Дык я об этом всю дорогу и талдычу: ни хера этот самс сам-с не умеет-с, везде ему костыль подавай-с. ;)

Oleaster ★★★
()
Ответ на: комментарий от Oleaster

> Что-то опять не угадали. Наверно, Вы неудачник?

Давайте поговорим и об этом.

К чему тогда весь этот стон? Все делается и даже проще, только думать надо. Использование ацл в том числе и ведение списков "кому какая роль доступна" автоматизируется на раз два три.

Автор самса в чем то был прав (С) --- "Вам платят деньги за ваш труд? Мой продукт его облегчает? Ну так башляйте за настройку-допиливание, раз думать над настройкой вам не хочется самим!".

> У нас стоит два разных самса на разных серверах, более старый глючит меньше, чем более новый (последний где-то годичной давности). Впрочем, под влиянием этого треда появилась идея поменять оба на свежий и зафиксировать свежайшие глюки. Единственное, что сдерживает -- опасение, что эта херня вообще не заработает. ;)

Ну Вы то счастливчик! Так что все получится, дерзайте!

Хотя какая проблема поднять тестовый сервак и все проверить в наш век виртуалок я не пойму-с ну никак-с.

> Дык я об этом всю дорогу и талдычу: ни хера этот самс сам-с не умеет-с, везде ему костыль подавай-с. ;)

Кому костыли, а кому ноги. Напишите свой самс с б&ш, который будет иметь одну большую кнопку "Сделать за%^*&с!".

psv1967 ★★★★★
()
Ответ на: комментарий от psv1967

С удвольствием напишу. Для компьютера, процессор которого изготовите лично Вы -- вручную.

Сейчас, видите ли, XXI век. И цивилизованные люди не ткут себе ткань на штаны, а пользуются готовыми изделиями.

Oleaster ★★★
()
Ответ на: комментарий от Oleaster

Трололо... То что меня в самсе не устраивает я меняю (не требуя новых процессоров от окружающих), Вы на это по факту не способны, скорее всего просто ошиблись сайтом.

Сказку о коте лезущем через забор знаете? :) Так вот никто в мире свободного софта не обязан помогать "если кот лезущий через забор наступил себе на ... и ему лень поднять лапу".

Крики "быстрей быстрей мудаки" тоже выглядят глуповато.

PS не трудитесь отвечать... хотя кому я это говорю :)

psv1967 ★★★★★
()
Ответ на: комментарий от cray_rus

ага точно вы маскалики со всей России бабло сосёте вам канечно на трафик пофихх фанаты тимотей-биланов

anonymous
()
Ответ на: комментарий от k0valenk0_igor

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS Не плохая статья.

Но на практике, если честно, в конце-концов, останавливаешься не на системе "из коробки", а на собственном (и скомпилеванном!) фильтре для сквида, скрипта для переноса логов сквида в базу и тригера добавления записей в этой самой базе. Веб-морда на усмотрение админа. Можно и на пхп. Но, в принципе, можно и без нее. k0valenk0_igor (*) (04.11.2009 4:14:50)

абсолютно согласен с вами веть в этом и есть профессионализм

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.