Apache Авторизация - только с n-го раза

Здравствуй многоуважаемый all,

Есть сервер на котором крутится сайт, попасть на сайт можно как по внешнему IP сервера, там и по разным доменам (сайт один и тот же, так что vhosts для не него не нужны) авторизация выставлена в дeфолтном вирт хосте, (/sites-enable/000-default)
<Directory />
Options FollowSymLinks
AllowOverride None
# Password Protect
AuthType Basic
AuthName "Access Restricted"
AuthBasicProvider file
AuthUserFile /var/www/.htpass
Require user user
</Directory>

Проблема в том, что когда заходишь по IP авторизация проход с первого раза, если заходить по длменному имени, то раза с 4 или 5 и тд. Где собака зарыта?