LINUX.ORG.RU
Форум — Admin  

squid и высокая нагрузка на диск

 , ,


0

1

всем магия дружбы. поставил тут сквид, стандартный конфиг дебиана, настроил как прозрачный прокси, в конец добавил cache deny all. проблема в том, что грузит диск по самое не могу. куда копать-то?

★★★
← DD-WRT Объеденение сетей по кабелю
Как подключиться к Wi-Fi с WPA-EAP/TLS? →
Ответ на: комментарий от psv1967

бле. опять в панике забыл про логи. щас, включу снова

xsektorx ★★★
() автор топика
Ответ на: комментарий от psv1967

store.log:

1394044118.622 RELEASE -1 FFFFFFFF 8565E2B38750B0D5071FFE709E16F7BC  504 1394044118        -1        -1 text/html 1295/1295 GET http://imgcdn.ptvcdn.net/pan_img/appDownload/PandoraService/Service_Info.xml
1394044119.621 RELEASE -1 FFFFFFFF F2B2FB36DE4F2F367C2CD58EEACE5F21  504 1394044119        -1        -1 text/html 1295/1295 GET http://imgcdn.ptvcdn.net/pan_img/appDownload/PandoraService/Service_Info.xml
1394044120.103 RELEASE -1 FFFFFFFF 6543F71BCEF44632F522F0580677768C  400 1394044120        -1        -1 text/html 1815/1815 NONE error:unsupported-request-method
1394044120.945 RELEASE -1 FFFFFFFF CD31760E654DF3104AC69741A51F32E6  400 1394044120        -1        -1 text/html 1815/1815 NONE error:unsupported-request-method
1394044122.621 RELEASE -1 FFFFFFFF 0F74CB8DBAF0903B75E9755A1579D062  504 1394044122        -1        -1 text/html 1233/1233 GET http://imgcdn.ptvcdn.net/nocache/LiveInfo.txt
1394044123.145 RELEASE -1 FFFFFFFF 21B0A2B07658AEE700A118B5CDB34134  400 1394044123        -1        -1 text/html 1815/1815 NONE error:unsupported-request-method
1394044124.743 RELEASE -1 FFFFFFFF 4110356B57C5C8344D9D6A0F19D2BF78  400 1394044124        -1        -1 text/html 1815/1815 NONE error:unsupported-request-method
1394044125.500 RELEASE -1 FFFFFFFF C211750C7B78613D058CF5F96A50919F  400 1394044125        -1        -1 text/html 1815/1815 NONE error:unsupported-request-method
1394044125.621 RELEASE -1 FFFFFFFF B00E39BB829A03A4E6FD90B9A10A85C3  504 1394044125        -1        -1 text/html 1295/1295 GET http://imgcdn.ptvcdn.net/pan_img/appDownload/PandoraService/Service_Info.xml
1394044126.518 RELEASE -1 FFFFFFFF 79B233A3BA4B80DD9764F1E2CB6B8B50  400 1394044126        -1        -1 text/html 1815/1815 NONE error:unsupported-request-method
1394044127.621 RELEASE -1 FFFFFFFF CBEF0A5D4530B10DDEDE05FE377B0755  504 1394044127        -1        -1 text/html 1295/1295 GET http://imgcdn.ptvcdn.net/pan_img/appDownload/PandoraService/Service_Info.xml
1394044127.835 RELEASE -1 FFFFFFFF BA6BB1B57B2DABADB2D3C37413B73CEC  400 1394044127        -1        -1 text/html 1815/1815 NONE error:unsupported-request-method
1394044128.448 RELEASE -1 FFFFFFFF A066AF2BA6AFD90671DD8494D98B32F8  400 1394044128        -1        -1 text/html 1815/1815 NONE error:unsupported-request-method
1394044128.809 RELEASE -1 FFFFFFFF 77035A471F04D050A1C6A038CE377E38  502 1394043976        -1        -1 text/html 172/172 POST http://tools.updaterss.com/service/update2?w=3:O6KET8W7Qykn6edTvcB8_FOBXxLoh8ycczv-Kp4N4ObmrMglcQEZOPd8X0MoWbTXbX24Kvg9IKz0AqF9BRWOvOGbqWn1-3kZ-zyE8zEFp39c809afx2UZmXDwZo_PqFvVqs32KMd6kx7GIfIWjyfgO-CDFvSMO88k5vKyias7eI
1394044129.020 RELEASE -1 FFFFFFFF B833FEC73BA514ED03121B753AFC7E81  400 1394044129        -1        -1 text/html 1815/1815 NONE error:unsupported-request-method
1394044129.520 RELEASE -1 FFFFFFFF 9BEA26B83B9EEDC86FDAB54F4BF3A65D  400 1394044129        -1        -1 text/html 1815/1815 NONE error:unsupported-request-method

cache.log:

2014/03/05 22:30:32| parseHttpRequest: Unsupported method '�'
2014/03/05 22:30:32| clientTryParseRequest: FD 62 (10.20.192.168:50605) Invalid Request
2014/03/05 22:30:33| parseHttpRequest: Unsupported method '�'
2014/03/05 22:30:33| clientTryParseRequest: FD 37 (10.20.192.168:50606) Invalid Request
2014/03/05 22:30:37| parseHttpRequest: Unsupported method '�'
2014/03/05 22:30:37| clientTryParseRequest: FD 74 (10.20.192.168:50609) Invalid Request
2014/03/05 22:30:37| parseHttpRequest: Unsupported method '�'
2014/03/05 22:30:37| clientTryParseRequest: FD 74 (10.20.192.168:50611) Invalid Request

а вообще, кажется, я испугался 100% записи на диск в атопе при врдск всего в 8 кило, например

# iostat -d -x 1 10
Linux 3.2.0-4-amd64 (squid)     05/03/14        _x86_64_        (1 CPU)

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
vda               0.01     0.72    0.65    0.52     5.84    17.71    40.16     0.10   82.79    6.05  178.08   3.74   0.44

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
vda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
vda               0.00    16.16    0.00    2.02     0.00    72.73    72.00     0.02    8.00    0.00    8.00   8.00   1.62

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
vda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
vda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
vda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
vda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
vda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
vda               0.00     0.99    0.00    1.98     0.00    11.88    12.00     0.03   14.00    0.00   14.00  14.00   2.77

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
vda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
xsektorx ★★★
() автор топика
Ответ на: комментарий от xsektorx

Ну пишет он об удалении. Возможно если то, что качает не помещается в озу (по крайней мере раньше этот лимит задавался) он вынужден писать.

Вообще зачем отказываться от записи? Главное что бы он мог писать на много устройств (число иопов пропорционально кол-ву устройств) + настроены ацл кешировать кривые веб сайты + объем записанного в идеале неделю трафика помещал.

Тогда 30% по трафику + Качество в виде моментальной отдачи из кеша.

PS ну и банерорезалка централизованная

psv1967 ★★★★★
()
Последнее исправление: psv1967 (всего исправлений: 1)
Ответ на: комментарий от psv1967

озу - 1.5 гб, свободно 1.1 гб, не уверен, что дело в озу

отказываться потому что нагружает диск, сходу начинают жаловаться, что ИНТЕРНЕТ НЕ РАБОТАЕТ. я бы и сам продиагностировал, будь у меня машина, на которой я проверить могу, но контора очень далеко и людей, которые могут адекватно объяснить, что происходит, нет

xsektorx ★★★
() автор топика
Ответ на: комментарий от xsektorx

1) У сквида (по крайней мере раньше был) лимит ОЗУ в конфиге.

2) Проверьте по atop какая нагрузка и от чего по прерываниям, равномерно ли нагружены прерывания, если что разведите руками.

3) Нагрузка по дискам решается добавлением их числа.

4) Ну сделайте в качестве затычки проблемы каше_дир прямо в тмпфс раз такие дела и памяти море.

psv1967 ★★★★★
()
Ответ на: комментарий от psv1967

таки отключил, но похоже, это днище пишет coredump-файлы. тоже надо отрубить

xsektorx ★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← DD-WRT Объеденение сетей по кабелю
Admin
Как подключиться к Wi-Fi с WPA-EAP/TLS? →