mod_security

ну, ты проверь, что происходит, когда запрашивается www.mydomen.ru/robots.txt ?

Вижу содержимое этого файла

http://www.vdovinko.ru/robots.txt

# For all robots
User-agent: *
Disallow: /img/
Disallow: /css/
Disallow: /msg.php 


В логах апача:

Access.log
213.180.216.253 - - [12/Nov/2005:02:22:20 +0300] "GET /robots.txt HTTP/1.1" 500 540

Error.log
[Sat Nov 12 02:22:20 2005] [error] [client 213.180.216.253]
 mod_security: Access denied with code 500. Pattern match 
"!(mod_security|mozilla)" at HEADER. [hostname "www.vdovinko.ru"] [uri "/robots.txt"]

Но содержимое robots.txt вижу только из внутренней сетки,
с наружи даёт ошибку 500



$ links www.vdovinko.ru/robots.txt
                                                      500 Internal Server Error
                             Internal Server Error

   The server encountered an internal error or misconfiguration and was unable to complete your request.

   Please contact the server administrator, support@lancronix.ru and inform them of the time the error occurred, and anything you might have done that may have caused the error. 
   More information about this error may be available in the server error log.

> mod_security: Access denied with code 500. Pattern match "!(mod_security|mozilla)" at HEADER. [hostname "www.vdovinko.ru"] [uri "/robots.txt"]

Ну вот ищи такой паттерн.

что за паттерн?

Вот полные логи:


access_log

213.180.216.253 - - [14/Nov/2005:02:13:16 +0300] "GET /robots.txt 
HTTP/1.1" 500 540


error_log

[Mon Nov 14 02:13:16 2005] [error] [client 213.180.216.253] 
mod_security: Access denied with code 500. Pattern match 
"!(mod_security|mozilla)" at HEADER. [hostname "www.vdovinko.ru"] [uri 
"/robots.txt"]



 audit_log

========================================
Request: 213.180.216.253 - - [14/Íîÿ/2005:02:13:16 +0300] "GET 
/robots.txt HTTP/1.1" 500 540
Handler: (null)
----------------------------------------
GET /robots.txt HTTP/1.1
Connection: Keep-Alive
From: webadmin@yandex.ru
Host: www.vdovinko.ru
User-Agent: Yandex/1.03.003 (compatible; Win16; D)
mod_security-message: Access denied with code 500. Pattern match 
"!(mod_security|mozilla)" at HEADER.
mod_security-action: 500

HTTP/1.1 500 Internal Server Error
Connection: close
Transfer-Encoding: chunked
Content-Type: text/html; charset=iso-8859-1

Не пойму чт оне так.

В логи пишет то что выше, но при запросе через инет http://www.vdovinko.ru/robots.txt

вижу содержимое:

# For all robots
User-agent: *
Disallow: /img/
Disallow: /css/
Disallow: /msg.php 




Почему тогда не индексирует и пишет:

Адрес www.vdovinko.ru не был внесен в базу Яндекса, так как он запрещен 
к индексации в файле robots.txt, или при обращении к robots.txt сервер 
вернул ошибку 5xx.

> Адрес www.vdovinko.ru не был внесен в базу Яндекса, так как он запрещен к индексации в файле robots.txt, или при обращении к robots.txt сервер вернул ошибку 5xx.

Потому, что User-Agent Yandex не совпадает с паттерном, там же прямо в ошибке написано:

User-Agent: Yandex/1.03.003 (compatible; Win16; D) mod_security-message: Access denied with code 500. Pattern match "!(mod_security|mozilla)" at HEADER.

Я тебе написал уже - убери этот паттерн и посмотри, что будет.

Да и в правду помогло, я просто закоментировал эту строчку:

# Only allow our own test utility to send requests (or Mozilla)
#SecFilterSelective HTTP_USER_AGENT "!(mod_security|mozilla)"