Как решить ошибку 535: 5.7.8?

В postfix и dovecot применяются различные способы аутентификации, login, plain.

По хорошему, у тебя вообще должна быть включена только sasl_auth.

Без этого у тебя пароль передаётся вообще не шифрованным, просто в base64.

И видимо, у тебя и включена и когда ты подключаешься без SSL / TLS к серверу и пытаешься пройти аутентификацию он тебя посылает.

нашел в чем была проблема, юзера не было в базе, почему-то создавая в постфикс админе почту, не добавляет ее. Добавил в ручную и тест прошел, осталось найти почему не добавляет.

При тесте через openssl все срабатывает.

Если ты пишешь, что в базе не было юзера, то не понятно что значит твое предложение выше.

Если бы его не было - через ssl подключение так же не происходила бы аутентификация.

По коду твоей ошибки, если его поискать в интернет говорится, что не верные учётные данные, а точнее ошибка аутентификации.

И тут уже, либо неверный пароль, не верный механизм аутентификации, отсутствие шифрования.

Как решить ошибку 535: 5.7.8?

Вопрос напечатать и в рамочку... Можно даже циферки было не писать, примерно тот же смысл был бы.

Циферки указывают на класс ошибки и примерное место возниконовения в SMTP-сессии. Причин может быть 100500, причина пишется почтовым сервером буковками.