LINUX.ORG.RU

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

 ipaudit, , ,


0

0

Во всем мире активно используются системы кэширования интернет-трафика в целях экономии денежных средств и дополнительной защиты пользователей при их работе в сети Интернет. Учитывая сегодняшнее состояние кризиса и финансовые неурядицы, эти системы становятся еще более актуальными.

Подобных программ существует немало, но статистика показывает, что наибольшим спросом пользуются связки на базе прокси-сервера SQUID и вспомогательных средств для анализа его логов и генерации отчетов, а также контроля за расходом трафика. Тройку популярности среди них неизменно уже в течение многих лет составляют: SAMS, SARG и Ipaudit. Рассмотрим все эти программы по очереди в разрезе их функциональности применительно к учету трафика, проходящего через сервер SQUID. Остальных свойств этих разработок мы коснемся поверхностно, в контексте описываемого.

>>> Подробности

★★★

Проверено: maxcom ()

Во всём мире кэширование не актуально. Актуально оно только там, где за кол-во потреблённого трафика платят. У кого оплата за фиксированной ширины линк, тому на кэширование пофиг.

mv ★★★★★
()

Жаль, что Free-SA не включили в анализ :(

saper ★★★★★
()
Ответ на: комментарий от cray_rus

> контора в каком-нибудь мухосранске сможет реально сэкономить на интернет-трафике

Я и говорю: "экономить на трафике" и "во всём мире" при современном положении в телекоммуникационной области уже как-то режет глаз.

mv ★★★★★
()
Ответ на: комментарий от Jetty

Я и не спорю. Только "во всём мире" уберите.

mv ★★★★★
()

Самс -- удивительно глючное поделие, и глючность его с годами нисколько не убывает. В статье также не указан главный недостаток самса -- он не умеет отрубать юзера до окончания сеанса, что позволяет превышать лимит на сколько угодно.

Oleaster ★★★
()
Ответ на: комментарий от Black_Shadow

Для экономии токенов отключают :)

Jetty ★★★★★
()
Ответ на: комментарий от mv

> Я и говорю: "экономить на трафике" и "во всём мире" при современном положении в телекоммуникационной области уже как-то режет глаз.

Неужели "во всём мире" уже никто ничего не кэширует? Ширины каналов ведь тоже не бесконечны, а при разумном кэшировании кое-что тут можно выиграть.

nfubh
()
Ответ на: комментарий от Oleaster

> В статье также не указан главный недостаток самса -- он не умеет отрубать юзера до окончания сеанса, что позволяет превышать лимит на сколько угодно.

Это, скорее, проблема самой технологии на основе сквида. Ей, вроде, подвержены и другие подобные системы.

nfubh
()
Ответ на: комментарий от mv

0_o интерестно, откуда вообще такая точка зрения взялась? выходит прокси-сервера нахрен никому и не нужны?

кстати, первый прокси-сервер придумал Моисей, накормив горсткой еды толпу голодных израильтян, а теперь мы по его примеру кормим толпы студентов интернетом через 64кб/с...

ei-grad ★★★★★
()
Ответ на: комментарий от ei-grad

> 0_o интерестно, откуда вообще такая точка зрения взялась?

Выдавать частное за общее - это неверно. Кэширование нужно, но не везде. Утверждать, что оно нужно во всём мире - наглое враньё. Я даже не помню, какой ширины у меня канал дома, зачем там ещё кэширование?

mv ★★★★★
()
Ответ на: комментарий от mv

Вас закешили! :) Просто Вам об этом не сказали xD

Jetty ★★★★★
()
Ответ на: комментарий от mv

>Я даже не помню, какой ширины у меня канал дома, зачем там ещё кэширование?

Дома браузер кэширует, даже если у тебя 5 компов в каждой комнате - оно да, тебе не нужно. А прикинь быдлоуебконтору с офисным планктоном, 1к юзеров, которые днем снидят вконтактах (и проч) и пересылают себе по аське ссылки на какой нить фишки.ру и проч. Ты поразишься ! Как рулит там сквид %)

зы, не надо только воплей "планктон не нужен, вконтакте не нужен, фишки не нужны, фейсбук не нужен, всех в анальное рабство и расстрелять", руководство часто осознанно идет на такое ибо это единственная радость планктона, который по пять дней в неделю (!!!!!!) в офисе с утра до вечера сидит.

А еще кэширование можно использовать на веб сервере, вот ! %) через сквид %) Очень готично.

anonizmus
()
Ответ на: комментарий от nfubh

>Неужели "во всём мире" уже никто ничего не кэширует?

Ты не поверишь, но практически нигде и ничего.

anonymous
()

Точных значений не помню, но порядок соответствует: более 90% всего интернет трафика приходится на пиринговый файлообмен и почтовый спам. Сквид не работает ни с тем, ни с другим.

У больного рак в последней стадии, а мы всерьез обсуждаем методы лечения от насморка.

>системы кэширования интернет-трафика в целях экономии денежных средств....Учитывая сегодняшнее состояние кризиса и финансовые неурядицы, эти системы становятся еще более актуальными

Ни хрена это не актуально - частные проблемы админа из Мухосранска.

anonymous
()
Ответ на: комментарий от mv

Ну особенно кеширование неактуально, когда трафик раздается [s] толпе долбоебов [/s] уважаемому сообществу студентов униврситета. Их высокоморальные устои просто не позволят качать [s]всякую не нужную хуйню и порнографию[/s] не связанные с обучением информацию. Оригинальность и индивидуальность сего мысокомудственного сообщества такова, что увидев на мониторе соседа [s]жопу[/s] интересную научную статью... никогда и ни при каких обстоятельствах член сего соебщетва не станет качать эту же ... из интернета.

Еще такому сообществу всегда хватает канала, который покупает университет, это ведь повелось с библейских времен (хватало же тогда рыбы и хлеба).

psv1967 ★★★★★
()
Ответ на: комментарий от anonymous

Точные значения мой друк в том, что есть кеширование и для p2p сетей тоже... Ну а то что отдельные админы из ньювасюков продолжают кипятить (принимать спам) вообще возмутительно.

psv1967 ★★★★★
()
Ответ на: комментарий от anonymous

>>Неужели "во всём мире" уже никто ничего не кэширует?

> Ты не поверишь, но практически нигде и ничего.

таки кол-во ума константа... радует только что больше при экспоненциальном течении процесса от этого страдают те кто позже в очереди стоял :)

Крупнейший рынок дорогого софта и железячных решений направлен на кеширование.

psv1967 ★★★★★
()

sams - уг, внедрить по-человечески так и не смогли (~ 500 юзеров, ежемесячный access.log размером около 2,5-3 гб), пользуемся самописной прогой.

spiro ★★
()
Ответ на: комментарий от Oleaster

> Самс -- удивительно глючное поделие, и глючность его с годами нисколько не убывает. В статье также не указан главный недостаток самса -- он не умеет отрубать юзера до окончания сеанса, что позволяет превышать лимит на сколько угодно.

пора вылезти из анабиоза. теперь разработку ведет сообщество.

отрубание "до конца" самое бессмысленное что можно придумать в такой системе. Даже авторы патча дающего такую возможность отказались от этого бреда.

psv1967 ★★★★★
()
Ответ на: комментарий от spiro

ты умрешь но оно работало на 10000 пользователей в базе и реально пользовавшихся учеткой 2000 .

причем это был самс еще не сообществом дописанный :)

psv1967 ★★★★★
()
Ответ на: комментарий от nfubh

> Это, скорее, проблема самой технологии на основе сквида. Ей, вроде, подвержены и другие подобные системы.

После наложения патча extacclog этой проблемы нет. Использую много лет, очень помогает. Спасибо авторам.

Не знаю, как в sams'е (будет ли работать), а в моём самописном биллинге пользователю отрубается доступ при нулевом балансе, даже если объект ещё не докачан.

ximeric
()

Во всем мире успешно посылают нахрен саму идею учета трафика.

Deleted
()

Не удержался... Как всегда, много криков без всякой конкретики...

Небольшая организация в далеком заМКАДье, ~90 компьютеров в сетке, Пользователи с о-о-очень разными интересами и 2-х язычные. Канал в Интернет декларируется 1МБ, но часто бывает загружен и, соответсвенно, меньше. Локальный трафик по республике не ограничен, но какую ширину канала дает провайдер даже не знаю. Squid показыавет около 30% попаданий в кэш. Ощутимо...

Вам не нужно? Не пользуйтесь! Мне тоже много чего не нужно, зачем же об этом так громки кричать? Вы думаете, всем так интересно чем вы ЕЩЕ не пользуетесь?

greyhorse
()
Ответ на: комментарий от mv

>Во всём мире кэширование не актуально. Актуально оно только там, где за кол-во потреблённого трафика платят. У кого оплата за фиксированной ширины линк, тому на кэширование пофиг.

Ты не прав, из-за недостатка желания подумать головой. Кеширование актуально всегда, т.к. позволяет сохранять до 20-30% канала при безлимите.

Весь офис, как правило, будет сидеть на майлах-говноклассниках-дебилохабрах

Жаль, что в проекте SAMS не взяли на вооружение мою идею с MYSQL-авторизацией, позволявшей получать мизерную нагрузку на сервер при пары тысяч пользователей онлайн. Так и крутится решение внедрённое в одном из региональных ВУЗов (с безлимитным каналом).

Помимо кэша сквиды могут решать массы проблем, особенно с утечками секретных данных.

Секрет кэширования на безлимите кроется в небольшом (2-3Гб) вытесняющем GDSF кэше, расположенном полностью в оперативной памяти.

Ej_Pulsar
()
Ответ на: комментарий от ZigmunD

В некоторых организациях вместо сквида ставят _сертифицированное_ УГ "Трафик Инспектор" под оффтопик. И считают трафик...

keika
()

кэширующие прокси всё более и более актуальны.. особенно _дома_

так как количество компов в домах — увеличивается (сначало все хотели по отдельному персональному компа, а не один на семью. теперь каждый хочет по два или больше)..., а покупа компактного-бесшумного-безвентиляторного сервера (размером с библию) вместо «глупого» маршрутизатора D-Link — всё более-и-более доступна каждому

стоит также отметить что (какаябы скорость подключения к интернету не была) никто ещё из людей не хотелбы урезать свой полезный доступный канал, а вот расширить все всегда хотят (ну или тайно мечтают. например если предложат на холяву) :-)

вот так :-)

mkfifo
()
Ответ на: комментарий от slyjoe

>Нищебродские конторы экономящие на интернетах не нужны

Каналы везеде нерезиновые. Бывает для адекватной настройки шейпинга нужно анализировать трафик. Но сквид тут реально ни при чем...

madcore ★★★★★
()
Ответ на: комментарий от mkfifo

>кэширующие прокси всё более и более актуальны.. особенно _дома_

10-15% кэш-попаданий это очень круто.

madcore ★★★★★
()
Ответ на: комментарий от nfubh

очевидно же - если жалко трафика для мелкой конторки и самому лень писать скрипты есть крон и iptables (ну на крайний случай сарг)- ни где не вижу этому говну больше применений ...не ?

izmena ★★
()
Ответ на: комментарий от Ej_Pulsar

> Ты не прав, из-за недостатка желания подумать головой. Кеширование актуально всегда, т.к. позволяет сохранять до 20-30% канала при безлимите.

ЗАЧЕМ? Если ситуация в половине цивилизованного мира такова, что сервера контент с такой скоростью отдавать не могут, с какой клиент готов тянуть.

> Весь офис, как правило, будет сидеть на майлах-говноклассниках-дебилохабрах


И? Вся ваша аргументация строится вокруг предположения, что канала на всех не хватает. А канала в половине цивилизованного мира хватает.

> Помимо кэша сквиды могут решать массы проблем, особенно с утечками секретных данных.


Режим секретности - это отдельный вопрос, заключающийся не только и не столько в установленном специальном ПО.

> Секрет кэширования на безлимите кроется в небольшом (2-3Гб) вытесняющем GDSF кэше, расположенном полностью в оперативной памяти.


Резюмируя: секрет Неуловимого Джо кроется в том, что Неуловимый Джо нафиг никому не нужен.

mv ★★★★★
()
Ответ на: комментарий от psv1967

> отрубание "до конца" самое бессмысленное что можно придумать в такой системе. Даже авторы патча дающего такую возможность отказались от этого бреда.

О каком патче речь? Об extacclog?

ximeric
()
Ответ на: комментарий от mv

> Если ситуация в половине цивилизованного мира такова, что сервера контент с такой скоростью отдавать не могут, с какой клиент готов тянуть.

Ситуация в "замкадье" такова, что далеко не все бюджетные организации могут иметь достаточной ширины и/или "глубины" канал. Ну нужно забывать: мы не "в цивилизованном мире", мы в России. :-(

ximeric
()
Ответ на: комментарий от ZigmunD

А чем правильно считать трафик (правда интересно - возможно скоро придется делать что-то похожее и кроме сквида интернет ничего внятного не выдает)?

bender ★★★★★
()
Ответ на: комментарий от izmena

PS: судя по тому как тут ноют наместники - Владивосток - третье транспортное кольцо ...гспода а не пробовали устраиватся в конторки которые не из сквида трафик считают ?

izmena ★★
()
Ответ на: комментарий от ximeric

> Ситуация в "замкадье" такова, что далеко не все бюджетные организации могут иметь достаточной ширины и/или "глубины" канал. Ну нужно забывать: мы не "в цивилизованном мире", мы в России. :-(

Претензия у меня ровно одна была: убрать "во всём мире".

mv ★★★★★
()
Ответ на: комментарий от mv

> Претензия у меня ровно одна была: убрать "во всём мире".

Значит вернёмся к истокам.

> Во всём мире кэширование не актуально. Актуально оно только там, где за кол-во потреблённого трафика платят. У кого оплата за фиксированной ширины линк, тому на кэширование пофиг.

В нашем учебном заведении (напоминаю - бюджетном) безлимитный канал фиксированной ширины, ~550Кбит/с. В среднем параллельно выходят наружу 20 человек. Раздели первое число на второе.

ximeric
()
Ответ на: комментарий от anonymous

подтяни логику. весь мир - это Азиатский кусок России, Африка и местами Азия/Океания?

val-amart ★★★★★
()
Ответ на: комментарий от mv

> Во всём мире кэширование не актуально. Актуально оно только там, где за кол-во потреблённого трафика платят. У кого оплата за фиксированной ширины линк, тому на кэширование пофиг.

справедливости ради. это все если мы говорим о кэшировании на стороне клиента =) а иначе по всему миру (ну почти) есть Akamai, или хотя бы банально те же сквиды.

val-amart ★★★★★
()
Ответ на: комментарий от mv

че тебе зарезало глаз то? на таких как ты мажоров каналов не напасешся , вас каждый год все больше и больше подключается. а через океан то канал не резиновый.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.