LINUX.ORG.RU
Форум — Admin  

Ошибка cache squid

 , ,


0

1

С недавнего времени, начались проблемы со squid, работавшим довольна долго и исправно. Пользователи стали жаловаться на то что пропал инет. Обнаружил что перестал работать squidGuard. Обнаружил что у squidGuard пропали права на db. Теперь началась следующая проблема что где-то за 10 минут до обеда пропадает инет. Перезапуск squid помогает, на следующий день та же проблема. Версия squid 3.4.1

В логах cache squid висит следующее 

 
2016/04/06 14:00:01 kid1| storeDirWriteCleanLogs: Starting...
2016/04/06 14:00:01 kid1|   Finished.  Wrote 48528 entries.
2016/04/06 14:00:01 kid1|   Took 0.02 seconds (2865037.19 entries/sec).
2016/04/06 14:00:01 kid1| logfileRotate: stdio:/var/log/squid/access.log
2016/04/06 14:00:01 kid1| Rotate log file stdio:/var/log/squid/access.log
2016/04/06 14:00:01 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/06 14:00:01 kid1| helperOpenServers: Starting 1/30 'ncsa_auth' processes
2016/04/06 14:00:04 kid1| Starting new redirector helpers...
2016/04/06 14:00:04 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/06 14:00:04 kid1| Starting new redirector helpers...
2016/04/06 14:00:04 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/06 14:00:09 kid1| Starting new redirector helpers...
2016/04/06 14:00:09 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/06 14:00:09 kid1| Starting new redirector helpers...
2016/04/06 14:00:09 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
error execve: 2
2016/04/06 14:00:23 kid1| WARNING: redirector #1 exited
2016/04/06 14:00:23 kid1| Too few redirector processes are running (need 1/40)
2016/04/06 14:00:23 kid1| Starting new helpers
2016/04/06 14:00:23 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/06 14:00:23 kid1| ERROR: URL rewrite helper returned invalid result code. Wrong helper? {result=Unknown}
error execve: 2


← SQUID.Запрет скачки файлов
ip route save/ip route restore. Как восстановить таблицу маршрутизации →

squid 3.4.1 использует новый протокол общения с хелперами, squidGuard в том числе.

Патч для squidGuard можно взять здесь http://bugs.squid-cache.org/show_bug.cgi?id=3978

А вообще, очень мало информации. В этом куске лога только о гварде, а что происходит в ~11:50 не видно

Kuzz ★★★
()
Ответ на: комментарий от Kuzz

Да простите, лога действительно за это время не выложил. В ситуации падения squid не много разобрался но не полностью. Падения происходит из-за превышения параметра 

 url_rewrite_children 40
при отключенном 
 redirector_bypass off

И пока непонятно почему сильно выросло количество процессов редиректора.

И логах cache сейчас наблюдается следующее 

 
2016/04/06 22:52:33 kid1| WARNING: redirector #1 exited
2016/04/06 22:52:33 kid1| Too few redirector processes are running (need 1/40)
2016/04/06 22:52:33 kid1| Starting new helpers
2016/04/06 22:52:33 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/06 22:52:33 kid1| ERROR: URL rewrite helper returned invalid result code. Wrong helper? {result=Unknown}
error execve: 2
2016/04/06 22:52:42 kid1| WARNING: redirector #1 exited
2016/04/06 22:52:42 kid1| Too few redirector processes are running (need 1/40)
2016/04/06 22:52:42 kid1| Starting new helpers
2016/04/06 22:52:42 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/06 22:52:42 kid1| ERROR: URL rewrite helper returned invalid result code. Wrong helper? {result=Unknown}
error execve: 2

Подскажите в чем может быть причина данной проблемы?? Отсутствие прав доступа???

Rusat
() автор топика
Ответ на: комментарий от Rusat

Да, я почти уверен, что всё дело в правах . Поставте максимальные (забекапив) и посмотрите.

NemesisSOAD ★
()
Ответ на: комментарий от Rusat

Если поставить ставить redirector_bypass off, то сквид и должен падать.

If this is 'off' and the redirector queue grows too large, Squid will exit with a FATAL error and ask you to increase the number of redirectors.

http://www.squid-cache.org/Doc/config/url_rewrite_bypass/

А вот опция redirector_bypass выкинута в 3.*

Kuzz ★★★
()
Ответ на: комментарий от Rusat

И пока непонятно почему сильно выросло количество процессов редиректора.
за 10 минут до обеда

Все ломонулись))

Kuzz ★★★
()
Последнее исправление: Kuzz (всего исправлений: 1)
Ответ на: комментарий от Rusat

ERROR: URL rewrite helper returned invalid result code. Wrong helper? {result=Unknown}

error execve: 2

Вот это точно из-за старого формата ответов гварда.

Kuzz ★★★
()
Ответ на: комментарий от Kuzz

То что ломанулись - в том согласен. Но количество пользователей в сети не увеличилось, а скажем месяц назад народ ходил в инет, но при этом squid не падал.

Rusat
() автор топика
Ответ на: комментарий от Kuzz

поменял в конфиге redirector_bypass off на

url_rewrite_bypass off

перезапустил squid и в логах увидел следующее 

2016/04/07 08:01:22 kid1| Starting new redirector helpers...
2016/04/07 08:01:22 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:02:00 kid1| UPGRADE WARNING: URL rewriter reponded with garbage ' 192.168.111.27/- antonova CONNECT'. Future Squid will treat this as part of the URL.
error execve: 2
2016/04/07 08:02:23 kid1| WARNING: redirector #1 exited
2016/04/07 08:02:23 kid1| Too few redirector processes are running (need 1/40)
2016/04/07 08:02:23 kid1| Starting new helpers
2016/04/07 08:02:23 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:02:23 kid1| ERROR: URL rewrite helper returned invalid result code. Wrong helper? {result=Unknown}
error execve: 2
error execve: 2
2016/04/07 08:02:24 kid1| WARNING: redirector #1 exited
2016/04/07 08:02:24 kid1| Too few redirector processes are running (need 1/40)
2016/04/07 08:02:24 kid1| Starting new helpers
2016/04/07 08:02:24 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:02:24 kid1| ERROR: URL rewrite helper returned invalid result code. Wrong helper? {result=Unknown}
2016/04/07 08:02:24 kid1| WARNING: redirector #1 exited
2016/04/07 08:02:24 kid1| Too few redirector processes are running (need 1/40)
2016/04/07 08:02:24 kid1| Starting new helpers
2016/04/07 08:02:24 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:02:24 kid1| ERROR: URL rewrite helper returned invalid result code. Wrong helper? {result=Unknown}
error execve: 2
2016/04/07 08:02:24 kid1| WARNING: redirector #1 exited
2016/04/07 08:02:24 kid1| Too few redirector processes are running (need 1/40)
2016/04/07 08:02:24 kid1| Starting new helpers
2016/04/07 08:02:24 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:02:24 kid1| ERROR: URL rewrite helper returned invalid result code. Wrong helper? {result=Unknown}
2016/04/07 08:02:25| Set Current Directory to /var/spool/squid
2016/04/07 08:02:25| Set Current Directory to /var/spool/squid
2016/04/07 08:02:25 kid1| Preparing for shutdown after 53266 requests
2016/04/07 08:02:25 kid1| Waiting 30 seconds for active connections to finish
2016/04/07 08:02:25 kid1| Closing HTTP port 192.168.111.9:3128
2016/04/07 08:02:25 kid1| Closing SNMP receiving port [::]:3401
2016/04/07 08:02:25 kid1| Shutdown: NTLM authentication.
2016/04/07 08:02:25 kid1| Shutdown: Negotiate authentication.
2016/04/07 08:02:25 kid1| Shutdown: Digest authentication.
2016/04/07 08:02:25 kid1| Shutdown: Basic authentication.
2016/04/07 08:02:56 kid1| Shutting down...
2016/04/07 08:02:56 kid1| Closing unlinkd pipe on FD 13
2016/04/07 08:02:56 kid1| storeDirWriteCleanLogs: Starting...
2016/04/07 08:02:56 kid1|   Finished.  Wrote 53757 entries.
2016/04/07 08:02:56 kid1|   Took 0.02 seconds (2688522.13 entries/sec).
CPU Usage: 69.650 seconds = 32.872 user + 36.778 sys
Maximum Resident Size: 1218048 KB
Page faults with physical i/o: 0
Memory usage for squid via mallinfo():
<------>total space in arena:  313480 KB
<------>Ordinary blocks:       308579 KB   1851 blks
<------>Small blocks:               0 KB      1 blks
<------>Holding blocks:          1332 KB      4 blks
<------>Free Small blocks:          0 KB
<------>Free Ordinary blocks:    4900 KB
<------>Total in use:          309911 KB 99%
<------>Total free:              4900 KB 2%
2016/04/07 08:02:56 kid1| Logfile: closing log stdio:/var/log/squid/access.log
2016/04/07 08:02:56 kid1| Open FD UNSTARTED     7 DNS Socket IPv6
2016/04/07 08:02:56 kid1| Open FD READ/WRITE    8 DNS Socket IPv4
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   12 Idle client: Waiting for next request
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   15 notify.dropbox.com:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   20 188.172.204.19:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   22 Idle client: Waiting for next request
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   24 notify.dropbox.com:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   25 notify.dropbox.com:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   26 notify.dropbox.com:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   27 favicon.yandex.net:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   29 178.237.17.122:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   30 37.252.248.70:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   31 188.172.223.27:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   32 mc.yandex.ru:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   33 yastatic.net:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   34 notify.dropbox.com:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   35 178.237.17.122:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   36 notify.dropbox.com:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   38 jim25.mail.ru:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   40 Idle client: Waiting for next request
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   41 1.client-channel.google.com:443
2016/04/07 08:02:56 kid1| Open FD UNSTARTED    42 vk.com
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   43 queuev4.vk.com:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   44 jim25.mail.ru:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   47 push.yandex.ru:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   48 awaps.yandex.net:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   50 http://o53xo.n5vs44tv.cmle.ru/push?cmd=PeriodicManager&gwt.requ
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   51 yastatic.net:443
2016/04/07 08:02:56 kid1| Open FD READ/WRITE   52 e.mail.ru:443
favicon.yandex.net:443

Rusat
() автор топика
Ответ на: комментарий от Rusat

и еще следующий блок 

2016/04/07 08:02:56 kid1| Squid Cache (Version 3.4.1): Exiting normally.
2016/04/07 08:02:57 kid1| Set Current Directory to /var/spool/squid
2016/04/07 08:02:57 kid1| Starting Squid Cache version 3.4.1 for x86_64-redhat-linux-gnu...
2016/04/07 08:02:57 kid1| Process ID 3625
2016/04/07 08:02:57 kid1| Process Roles: worker
2016/04/07 08:02:57 kid1| With 1024 file descriptors available
2016/04/07 08:02:57 kid1| Initializing IP Cache...
2016/04/07 08:02:57 kid1| DNS Socket created at [::], FD 7
2016/04/07 08:02:57 kid1| DNS Socket created at 0.0.0.0, FD 8
2016/04/07 08:02:57 kid1| Adding domain lamzur.local from /etc/resolv.conf
2016/04/07 08:02:57 kid1| Adding nameserver 127.0.0.1 from /etc/resolv.conf
2016/04/07 08:02:57 kid1| Adding nameserver 8.8.8.8 from /etc/resolv.conf
2016/04/07 08:02:57 kid1| helperOpenServers: Starting 0/40 'squidGuard' processes
2016/04/07 08:02:57 kid1| helperOpenServers: No 'squidGuard' processes needed.
2016/04/07 08:02:57 kid1| helperOpenServers: Starting 0/30 'ncsa_auth' processes
2016/04/07 08:02:57 kid1| helperOpenServers: No 'ncsa_auth' processes needed.
2016/04/07 08:02:57 kid1| Logfile: opening log /var/log/squid/access.log
2016/04/07 08:02:57 kid1| WARNING: log name now starts with a module name. Use 'stdio:/var/log/squid/access.log'
2016/04/07 08:02:57 kid1| Unlinkd pipe opened on FD 13
2016/04/07 08:02:57 kid1| Local cache digest enabled; rebuild/rewrite every 3600/3600 sec
2016/04/07 08:02:57 kid1| Store logging disabled
2016/04/07 08:02:57 kid1| Swap maxSize 2097152 + 524288 KB, estimated 201649 objects
2016/04/07 08:02:57 kid1| Target number of buckets: 10082
2016/04/07 08:02:57 kid1| Using 16384 Store buckets
2016/04/07 08:02:57 kid1| Max Mem  size: 524288 KB
2016/04/07 08:02:57 kid1| Max Swap size: 2097152 KB
2016/04/07 08:02:57 kid1| Rebuilding storage in /var/spool/squid (clean log)
2016/04/07 08:02:57 kid1| Using Least Load store dir selection
2016/04/07 08:02:57 kid1| Set Current Directory to /var/spool/squid
2016/04/07 08:02:57 kid1| Finished loading MIME types and icons.
2016/04/07 08:02:57 kid1| HTCP Disabled.
2016/04/07 08:02:57 kid1| Sending SNMP messages from [::]:3401
2016/04/07 08:02:57 kid1| Squid plugin modules loaded: 0
2016/04/07 08:02:57 kid1| Adaptation support is on
2016/04/07 08:02:57 kid1| Accepting HTTP Socket connections at local=192.168.111.9:3128 remote=[::] FD 16 flags=9
2016/04/07 08:02:57 kid1| Accepting SNMP messages on [::]:3401
2016/04/07 08:02:57 kid1| Store rebuilding is 7.44% complete
2016/04/07 08:02:57 kid1| Starting new basicauthenticator helpers...
2016/04/07 08:02:57 kid1| helperOpenServers: Starting 1/30 'ncsa_auth' processes
2016/04/07 08:02:57 kid1| Starting new basicauthenticator helpers...
2016/04/07 08:02:57 kid1| helperOpenServers: Starting 1/30 'ncsa_auth' processes
SECURITY ALERT: NCSA DES algorithm truncating user bespalova password to 8 bytes. Upgrade to MD5.2016/04/07 08:02:57 kid1| Starting new basicauthenticator helpers...
2016/04/07 08:02:57 kid1| helperOpenServers: Starting 1/30 'ncsa_auth' processes
2016/04/07 08:02:58 kid1| Done reading /var/spool/squid swaplog (53757 entries)
2016/04/07 08:02:58 kid1| Finished rebuilding storage from disk.
2016/04/07 08:02:58 kid1|     53757 Entries scanned
2016/04/07 08:02:58 kid1|         0 Invalid entries.
2016/04/07 08:02:58 kid1|         0 With invalid flags.
2016/04/07 08:02:58 kid1|     53757 Objects loaded.
2016/04/07 08:02:58 kid1|         0 Objects expired.
2016/04/07 08:02:58 kid1|         0 Objects cancelled.
2016/04/07 08:02:58 kid1|         0 Duplicate URLs purged.
2016/04/07 08:02:58 kid1|         0 Swapfile clashes avoided.
2016/04/07 08:02:58 kid1|   Took 0.33 seconds (162966.67 objects/sec).
2016/04/07 08:02:58 kid1| Beginning Validation Procedure
2016/04/07 08:02:58 kid1|   Completed Validation Procedure
2016/04/07 08:02:58 kid1|   Validated 53753 Entries
2016/04/07 08:02:58 kid1|   store_swap_size = 1887356.00 KB
2016/04/07 08:02:58 kid1| storeLateRelease: released 0 objects
2016/04/07 08:03:00 kid1| optional ICAP service is down after an options fetch failure: icap://192.168.111.88:1344/reqmod [down,!opt]
2016/04/07 08:03:00 kid1| suspending ICAP service for too many failures
2016/04/07 08:03:00 kid1| Starting new redirector helpers...
2016/04/07 08:03:00 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:03:00 kid1| Starting new redirector helpers...
2016/04/07 08:03:00 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes

2016/04/07 08:03:00 kid1| Starting new redirector helpers...
2016/04/07 08:03:00 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:03:00 kid1| Starting new redirector helpers...
2016/04/07 08:03:00 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:03:00 kid1| Starting new redirector helpers...
2016/04/07 08:03:00 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:03:00 kid1| Starting new redirector helpers...
2016/04/07 08:03:00 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:03:00 kid1| Starting new redirector helpers...
2016/04/07 08:03:00 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:03:00 kid1| Starting new redirector helpers...
2016/04/07 08:03:00 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:03:00 kid1| Starting new redirector helpers...
2016/04/07 08:03:00 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:03:00 kid1| Starting new redirector helpers...
2016/04/07 08:03:00 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:03:00 kid1| Starting new redirector helpers...
2016/04/07 08:03:00 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:03:00 kid1| Starting new redirector helpers...
2016/04/07 08:03:00 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:03:01 kid1| UPGRADE WARNING: URL rewriter reponded with garbage ' 192.168.111.53/- maksimov CONNECT'. Future Squid will treat this as part of the URL.
error execve: 2
2016/04/07 08:04:24 kid1| WARNING: redirector #1 exited
2016/04/07 08:04:24 kid1| Too few redirector processes are running (need 1/40)
2016/04/07 08:04:24 kid1| Starting new helpers
2016/04/07 08:04:24 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:04:24 kid1| ERROR: URL rewrite helper returned invalid result code. Wrong helper? {result=Unknown}
error execve: 2
2016/04/07 08:04:25 kid1| WARNING: redirector #1 exited
2016/04/07 08:04:25 kid1| Too few redirector processes are running (need 1/40)
2016/04/07 08:04:25 kid1| Starting new helpers
2016/04/07 08:04:25 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes
2016/04/07 08:04:25 kid1| ERROR: URL rewrite helper returned invalid result code. Wrong helper? {result=Unknown}
error execve: 2
2016/04/07 08:04:25 kid1| WARNING: redirector #1 exited
2016/04/07 08:04:25 kid1| Too few redirector processes are running (need 1/40)
2016/04/07 08:04:25 kid1| Starting new helpers
2016/04/07 08:04:25 kid1| helperOpenServers: Starting 1/40 'squidGuard' processes

Rusat
() автор топика
Ответ на: комментарий от Rusat

Да. Он будет работать, но все равно с «url_rewrite_bypass off» он будет иногда падать, как написано в доке.

Количество пользователей не увеличилось, но вот количество открытых вкладок в их браузерах волне могло. Да и сайты становятся все тяжелее, статику отдают с отдельных серверов (а это тоже повышает количество одновременных соединений).

Kuzz ★★★
()
Ответ на: комментарий от Kuzz

Вопрос если увеличить количество url_rewrite_children 40 , может привести к тому что съест ресурсы сервера???

Rusat
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← SQUID.Запрет скачки файлов
Admin
ip route save/ip route restore. Как восстановить таблицу маршрутизации →