Сайт доступен по IP

Проверять поле «Host:» в заголовке, например.

Как браузер открывает сайт?

Он преобразует доменное имя в IP адрес и открывает сайт по IP-адресу. Просто прозрачно для пользователя (не всем хочется вводить IP-адреса напрямую).

Правда, ещё он отправляет доменное имя в HTTP-запросе. Это нужно, чтобы работали VirtualHosts.

А еще в заголовке отдает что же он там хочет открыть.

2TC: ну пропиши же правило в своем nginx только для нужного домена.

Apache и, если не ошибаюсь, nginx тоже, открывает по IP-адресу первый VirtualHost, который выше всего в конфиге. Так что можно сделать типа

<VirtualHost IPADDRESS:PORT>
ServerName IPADDRESS
DocumentRoot /path/to/somewhere
....
</VirtualHost>

так лучше

<VirtualHost IPADDRESS:PORT>
    ServerName IPADDRESS
    <Location />
        Order allow,deny
        Deny from all
    </Location>
</VirtualHost>