может ли фаервол резать smtp аутентификацz по STARTTLS не закрывая 25 порт?

>grep smtp /etc/services
smtp 25/tcp mail #Simple Mail Transfer
smtp 25/udp mail #Simple Mail Transfer
smtps 465/tcp #smtp protocol over TLS/SSL (was ssmtp)
smtps 465/udp #smtp protocol over TLS/SSL (was ssmtp)

Такое возможно, если в качестве файрволла стоит уная железка, типа cisco ASA и на ней включено инспектирование smtp трафика.

Например, модуль string в iptables или какой-нить l7filter

Ты телнетом проверял? Проще всего телнетом проверить на каком этапе приходит конец.

Сходите по этой ссылке http://qmail.jms1.net/test-auth.shtml и опробуйте параграф «Connecting to the server». О результатах напишите.

может, так циско делает и разные персональные файрволы под винду

> из внешнего мира с сервером можно связаться напрямую используя 25 порт, но TLS соединение по этому порту отклоняется.

Кем отклоняется? Скорее всего postfix не обрабатывает TLS-соединения на этом 25 порту/не настроен обрабатывать. Вот и всё.

похоже, что умная железка виновата:
220 ****************************************
EHLO ru
250-mx.pochta.ru
250-PIPELINING
250-SIZE 10240000
250-VRFY
250-ETRN
250-XXXXXXXA
250-AUTH LOGIN PLAIN
250-ENHANCEDSTATUSCODES
250-8BITMIME
250 DSN