iptables блокировать https сайты кроме одного

Потому, что надо делать наоборот, в начале что-то открыть, а потом всё закрывать. У вас попросту второе правило никогда не работает.

Спасибо, заработало, но почему-то открывается очень долго, и не подгружаются ccs. Почему так?

затем откроем конкретный домен

-d mail.yandex.ru

O_0

Как правильно разрешить все сервисы яндекса?

Посредством браузера на клиентской машине, например Firefox и плагина httpfox и tcpdump на сервере смотрите куда идут запросы и смотрите что нужно открыть.

Никак. Ставь proxy сервер аля squid. Или используй почтовый клиент, и тогда просто будешь разрешать IMAP/SMTP до Яндекса.

squid стоит. Но он не обрабатывает https, ну т.е. нужно подменять сертификат, я с этим еще не разобрался.

iptables отрезолвил только один (случайный) IP домена. Отрезолвьте вручную и добавьте по правилу на каждый IP.

Ну и смотрите, куда еще запросы идут, и эти адреса тоже в белый список добавьте.