sams: Правильный анализ access.log

Опишите проблему как-то иначе, иначе плохо понятно, что вас не устраивает.

Лог может быть хоть за 20 лет, если парсер лога не запущен или не добавляет записи в бд, можете получить какой угодно результат.

hint: path_to_sams/bin/sams -d
покажет вам, что происходит. И чего не происходит.

Спасибо за полезный ответ. парсер лога - это samsdaemon? если да, то он запущен. а вот как им добавить записи в БД - это я и хотел узнать. Плохо представляя техническую сторону процесса, спросил как мог. Вывод samsdaemon -d смогу посмотреть только завтра, но на этапе отладки ничего интересного там не видел.

добрался до ssh

/usr/local/bin/samsdaemon -d
Starting process: pid = 9806           
Read SAMS configuration... Ok          
Connected database: squidctrl:localhost user=sams
Connected database: squidlog:localhost user=sams 
Read SAMS properties...                          
    Cache... 0                                   
    User autentification... Active Directory (NTLM)
    Windows domain used                            
    Sleep time of samsdaemon...  1 second          
    Redirector... REJIK                            
    SQUID log parser... diskret
    User traffic cleaner... NO
    Squidlog cache save... 12 month
    User name recode... NO
    Delay pools... ON
    Domain separators... '0\'
    Log level... '9'
    Create PDF file... NO
Ok
SQUID log parser time=1 min
countdown: 27
countdown: 26
countdown: 25
countdown: 24
countdown: 23
countdown: 22

«Cache... 0» вроде на что-то намекает, но на что - я как-то не улавливаю :)

но на что - я как-то не улавливаю :)

потому что парсер лога это «sams», а не «samsdaemon», самсдемон мониторит флаг в БД и запускает sams.

вывод sams -d

Connected database: squidctrl:localhost user=sams
Connected database: squidlog:localhost user=sams
Starting process: pid = 11982
Cache 0
Reading file: start=1643414920 length=1643422257
disable user script = /usr/local/share/sams/src/script/none
Administrator address:
ISP Mb size=1048576, kb size=1024
Found 222 SAMS users
 0:      user1        domain.my 0.0.0.0.0.0./0.0.0.0.0.0. 1          0   104
8576000 4c90b0ebd4c1e adld
 1:         user2        domain.my 0.0.0.0.0.0./0.0.0.0.0.0. 1          0   104
8576000 4c90b16a7a9d0 adld
 2:       user3        domain.my 0.0.0.0.0.0./0.0.0.0.0.0. 1          0   104
8576000 4c90b16a80f62 adld
 3:       user4        domain.my 0.0.0.0.0.0./0.0.0.0.0.0. 1          0   104
8576000 4c90b16a822ea adld
...
 

Found 2 localhosts
127.0.0.1 >> 127.0.0.1/255.255.255.255
127.0.0.1 >> 127.0.0.1/255.255.255.255
192.168.10.0/24 >> 192.168.10.0/255.255.255.0
2. SELECT count(*) FROM squidctrl.urlreplace
end=1643422257 newend=1643813733 clear=0 loadfile=0
Reading new data from /usr/local/squid/logs/access.log
open SQUID cache file: /usr/local/squid/logs/access.log

1 SQUID log string:
1284615342.738      0 192.168.10.56 TCP_DENIED/400 1509 GET NONE:// - NONE/- text/html

2 SQUID log string:
1284615347.396    176 192.168.10.27 TCP_MISS/200 4510 POST http://safebrowsing.clients.google.com/safebrowsing/downloads? user1 DIRECT/74.125.77.100 application/vnd.google.safebrowsing-update
Serch SAMS user: domain.my/user1 user found
Test local domain:  local domain not found
user domain.my/user1, ip=0.0.0.0  traffic: 4510+56702997=56707507  limit:1048576000
update db: 2010-9-16 9:35:47 domain.my/user1 4510 http://safebrowsing.clients.google.com/safebrowsing/downloads?
Save new access.log file size
database appended

и всё остальное в таком же духе

Видно, что все в штатном режиме. А что собственно не устраивает?

непонятно, почему sams считает трафик только от вчерашнего числа, т.е. с момента установки sams. Получается, как будто он перехватывает новые записи, попадающие в акцесс.лог, а старые не анализирует (хотя бы о 1.09 до 14.09)

попутно еще вопрос, в веб-админке есть меню загрузить логи сквид в базу. После загрузки никаких результатов не увидел. размер файла большеват - 1,5 Гб, может из-за этого?

Получается, как будто он перехватывает новые записи, попадающие в акцесс.лог

Такое могло произойти, если вы еще не настроили sams, а уже запустили анализатор. Он посмотрел файл, не нашел, что считать (вы не настроили условия) и закончил работу, запомнив где остановился.

После того, как вы наконец настроили параметры сбора данных - он начал запускаться в штатном порядке и записывать трафик в соотв. с конфигурацией с того места, на котором закончил, будучи запущен впервые.

Выхода 2:

1) Остановить samsdaemon и sams, очистить базу логов, изменить файл squid.log (я обычно нарезаю на 2-3 куска), и переименовав их по очереди в squid.log каждый раз запускаете sams, он посчитает, что лог новый и начнет анализ с самого начала. После чего запустить sams -c (сброс общего счетчика трафика) и затем сделать из web интерфейса пересчет трафика пользователей

2) Найти в базе (я не помню, в какой таблице именно), где он хранит позицию в файле лога, на которой закончил. Обнулить ее, очистить базу от логов, запустить sams, дождаться окончания работы, После чего запустить sams -c (сброс общего счетчика трафика) и затем сделать из web интерфейса пересчет трафика пользователей

может из-за этого?

Там может быть много причин, например ограничение на время выполнения php скрипта, или недостаток памяти для загрузки большого файла и еще тысяча причин. Знать истинную можете только вы глядя в логи.

Спасибо, буду пробовать!