LINUX.ORG.RU
ФорумAdmin

[Анализ траффика]Выявление качающих клиентов


0

1

Имеется поток в 150 мбит в сек.1500 сессий в пике.
Нужно срезать тех клиентов которые качают большие файлы(больше 50 метров (но надо драйвера оставить) )(90% трафа это http)
Траф у нас через nfsen смотриться(можно и дамп тоже снимать - просто гигабайтный файл wireshark еле-еле пашет)
Вопросы:
1.Как это можно сделать?
2.Что почитать по этой теме?


P.S Вопросы выглядят нюбские,но это частично не так ( :) )

★★★★★

Помню твой предыдущий тред. Чем кончилось там?

squid.conf.original

TAG: reply_body_max_size bytes allow|deny acl acl...
# This option specifies the maximum size of a reply body in bytes.
# It can be used to prevent users from downloading very large files,
# such as MP3's and movies.

adriano32 ★★★
()
Ответ на: комментарий от adriano32

>Помню твой предыдущий тред. Чем кончилось там?

Все нормально,спасибо большое за помощь.
Ну там я пока тестю squid (и пока все довольно неплохо ).У нас просто надо втыкать схему squid + wccp + tproxy .А эта схема довольно сложная и надо мне каждый компонент оттестить ,проверить сначала на траффе одной подсети,и так еще пару иттераций + понаписать документации
Кроме того я щас жду когда новый сервер приедет под squid.

P.S Я щас на многих фронтах работаю,так что много чего буду спрашивать + и еще больше читать и вспоминать ;)

pinachet ★★★★★
() автор топика

А если попробовать использовать iptables с нужными модулями, например recent? Считать трафик он умеет и без модулей. Пример использования recent:
http://denis-aikidoka.livejournal.com/82604.html
но только Вам не нужно парсить содержимое пакета, а связать блокировку с кол-вом переданных данных.

aikikode
()
Ответ на: комментарий от ventilator

>лор это вообще неудачное место чтобы чего то спрашивать.

Ну как сказать это одно из немногих мест где встречаются еще умные и вменяемый люди.

pinachet ★★★★★
() автор топика
Ответ на: комментарий от pr0mille

>а зачем такие танцы вокруг костра ? В чем смысл такой жесткой экономии трафика ?

Мы ISP которые инет в образовательные учереждения предоставляет.Соотвественно мы имеем большие полномочия по срезанию траффа и тд и тп

pinachet ★★★★★
() автор топика

Большие, но не драйверы.

Нэ понял, нужно ограничить скачивание не всех больших файлов? Нужно чтобы большие драйверы качались, а всё остальное не качалось? А в чём отличие драйверов от остальных файлов? Они качаются с каких-то особенных файлов?

Camel ★★★★★
()
Ответ на: Большие, но не драйверы. от Camel

>Нэ понял, нужно ограничить скачивание не всех больших файлов? Нужно чтобы большие драйверы качались, а всё остальное не качалось? А в чём отличие драйверов от остальных файлов? Они качаются с каких-то особенных файлов?

Ну отличие то что драйвера учителю всяко полезней чем какой нить художественный фильм

pinachet ★★★★★
() автор топика
Ответ на: комментарий от pinachet

Мерка полезности.

Ну отличие то что драйвера учителю всяко полезней чем какой нить художественный фильм

Полезность не есть технический термин. Какой у нас критерий дравера, чтобы можно было фильтровать согласно этому критерию?

Camel ★★★★★
()
Ответ на: комментарий от pinachet

А ты всех учителей научишь качать дрова исключительно с оффсайтов вендоров матерей/девайсов итп? То есть все учителя в твоём секторе ответственности не будут качать с «драйвер.сру» и других варезников дрова?

Бредовая идея. Попытки ограничить нежелательный контент при лояльной политике фильтрования «что не запрещено, разрешено» приводят к пустой трате времени.
Кто захочет - будет качать через прокси (если ты не насобираешь бооольшой список проксей) или через оперу турбо (если ты не будешь крыть и её по url_regex) или ещё как-нибудь.
А кто не попадёт в первые две категории будет подымать шифрованный туннель и ему наплевать будет на твои запреты.

Поясни, если ты ISP для образовательных учреждений, перед тобой реально цель минимизировать траффик? Он подсчитывается и тарифицируется? Спутниковый что ли?

adriano32 ★★★
()
Ответ на: комментарий от pinachet

А в договоре у вас написано что вы можете на свой взгляд определять «полезность» трафика?

ventilator ★★★
()
Ответ на: комментарий от adriano32

>Поясни, если ты ISP для образовательных учреждений, перед тобой реально цель минимизировать траффик? Он подсчитывается и тарифицируется? Спутниковый что ли?

Он не тарифицируется,просто некоторые чтобы канал не забивали фильмами и тд.

pinachet ★★★★★
() автор топика
Ответ на: комментарий от pinachet

чтобы канал не забивали фильмами

А как же учебные фильмы для физиков/химиков и экранизации литературных произведений для учителей литературы, которые так любят в последнее время показывать на уроках и задавать школоте написать сочинение-миниатюру или отзыв. Или учителя художественной культуры, музыки, ИЗО?
Об этих самых педагогах-организаторах ты вообще забыл - у них же вся работа состоит в поиске фонограмм и прочей хрени для мероприятий всяких.

Сразу видно, что ты не работал в педколлективе.

Ты и не представляешь, насколько непростая перед тобой задача, если ты хочешь держать канал не забитым.

Тебе не над контентным фильтром лучше плясать, а над квотами по скорости.

adriano32 ★★★
()
Ответ на: комментарий от pinachet

ventilator дельный совет высказал. При превышении квоты, понижение скорости до оговоренного в договоре минимума.

pr0mille
()
Ответ на: комментарий от ventilator

>Почему бы просто не сделать квоту трафика на день? Хоть драйвера качай хоть кино.

Политика не дает такого.Нужно заниматься полезными вещами

pinachet ★★★★★
() автор топика
Ответ на: комментарий от adriano32

>А как же учебные фильмы для физиков/химиков и экранизации литературных произведений для учителей литературы, которые так любят в последнее время показывать на уроках и задавать школоте написать сочинение-миниатюру или отзыв. Или учителя художественной культуры, музыки, ИЗО?
Об этих самых педагогах-организаторах ты вообще забыл - у них же вся работа состоит в поиске фонограмм и прочей хрени для мероприятий всяких.

Это отчасти верно.Но тут как бы качают не учителя а школьники и студенты.

pinachet ★★★★★
() автор топика
Ответ на: комментарий от pinachet

качают не учителя а школьники и студенты

Ы? А у учителей отдельный канал что ли?
Я когда в школе работал детям вообще всё крыл, кроме того, что нужно для конкретно взятого урока информатики. Интернет всё равно был дома у всех учеников в классе, так что сказать, что ограничивал я кого-то в доступе ко всемирной паутине нельзя. Програму урока выполнил? то что хотел тебе продемонстировать учитель посмотрел? Проверку полученных знаний прошёл? Свободен!

Как-то я до сих пор не понял задачу, которая перед тобой. Ты заводишь кабель в школу и дальше тебе наплевать как инет раздаётся по кабинетам информатики, заучей, учителей итп? Или это цельная сетевая инфраструктура, каждая школа - как дом у нормального провайдера, каждый комп - как абонент сети нормального провайдера, а ты управляешь сервером общего доступа, и в школах локальных серверов-проксей нет, на которых может выполняться дополнительное фильтрование «это ученикам можно, а это нельзя, но зато можно учителям»?

adriano32 ★★★
()
Ответ на: комментарий от adriano32

>Ы? А у учителей отдельный канал что ли?
Я когда в школе работал детям вообще всё крыл, кроме того, что нужно для конкретно взятого урока информатики. Интернет всё равно был дома у всех учеников в классе, так что сказать, что ограничивал я кого-то в доступе ко всемирной паутине нельзя. Програму урока выполнил? то что хотел тебе продемонстировать учитель посмотрел? Проверку полученных знаний прошёл? Свободен!

Ну инет всем доступен
Мы инет в школу просто пробрасываем(в среднем 2 мбит в сек).Но есть школы где гигабит.

pinachet ★★★★★
() автор топика
Ответ на: комментарий от pinachet

Мы инет в школу просто пробрасываем

Ну так что за авторитарные замашки? Есть по договору 2МБит/с - дай 2МБит/с, блеать :) А там пусть хоть видео заседаний ЦК КПСС качают. Порно итп прикрой и хватит, но в договоре укажи этот факт.

Ты какое-то отношение к управлению образования имеешь? или вы просто тендер выиграли?

adriano32 ★★★
()
Ответ на: комментарий от pinachet

У меня в договоре с пользователями тоже нет упоминания про сла. Однако когда чего то перестает работать, они выносят мозг техподдержке и на форумах. У вас что написано что вы по своему усмотрению определяете пропускать трафик или нет согласно его «кошерности»?

ventilator ★★★
()
Ответ на: комментарий от ventilator

>Дайте возможность руководству школы самим составлять банлисты для вашего прокси. Все будут довольны.

Преподователи не все ИТшники + это большой гемор.Если бы везде поставили бы все как есть то я не был не мучался бы со squid

pinachet ★★★★★
() автор топика
Ответ на: комментарий от pinachet

для того чтобы залогиниться на веб, нажать кнопку забанить сайт, не обязательно быть ИТшником.

ventilator ★★★
()
Ответ на: комментарий от pinachet

>Но есть школы где гигабит. Гигабит из squid выжать, на мелких файлах(веб странички,драйверы и т.д.) будет крайне сложно,ИМХО. Да и смысл в таком гигабите, его не ощутить.

pr0mille
()
Ответ на: комментарий от pr0mille

>Но есть школы где гигабит.

Гигабит из squid выжать, на мелких файлах(веб странички,драйверы и т.д.) будет крайне сложно,ИМХО. Да и смысл в таком гигабите, его не ощутить.

self fix

pr0mille
()

Юзай htb.init и не строй из себя главного цензора Страны Советов. Маркируй iptables'ом по размеру соединения (-m connbytes --connbytes-dir both --connbytes-mode bytes --connbytes <bytes>) и понижай приоритет.

nbw ★★★
()
Ответ на: комментарий от nbw

И ощути тормоза нетфильтра на динамический правилах при росте трафика. Всякие -m connbytes для провайдинга вообще не подходят, не говоря про htb.init который подходит только для нескольких типичных задач.

ventilator ★★★
()
Ответ на: комментарий от nbw

>Юзай htb.init и не строй из себя главного цензора Страны Советов. Маркируй iptables'ом по размеру соединения (-m connbytes --connbytes-dir both --connbytes-mode bytes --connbytes <bytes>) и понижай приоритет.

Это буду делать через netflow + plugin.

pinachet ★★★★★
() автор топика
Ответ на: комментарий от pinachet

squid и redirector к нему с парсингом ip и расширений что кому можно.
Посмотри http://bars.neman.by/projects/sqlredir/
Писалось при горохе, но на том предприятии где 10 лет назад работал - скомпилили и работает по сей день.
Вполне удобно. Рулится через веб.
Заоодно и баннеры порещешь, и порнуху позатыкаешь. :)

hbars ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.