Ищу opensource проект с кастомной TLS state machine

https://ru.wikipedia.org/wiki/TLS

что я должен оттуда подчерпнуть по теме моего вопроса?

Прям отошли? А минимальная реализация не сойдёт: https://github.com/eduardsui/tlse

А минимальная реализация не сойдёт

К сожалению, нет. Я бы хотел посмотреть на проблемы, которые потребовали отхода от стандарта, и на метод решения этих проблем.

Я знаю две написанных с нуля библиотеки - https://tls.mbed.org/ и https://www.wolfssl.com/ . Про реализацию ничего сказать не могу, но что-то интересное наверняка найти можно.

написанных с нуля

https://tls.mbed.org

XySSL → PolarSSL → mbedTLS.

В коде mbedTLS есть как минимум одно странное место, которое удалось отследить до XySSL. Что интересно, в репозитории mbedTLS история начинается с 2009 года, хотя тот же код был в XySSL в 2007.

что значит «отошли от стандарта»? стандарт на то и стандарт, чтобы его соблюдать.

стандарт на то и стандарт, чтобы его соблюдать

есть задачи, для которых отход от стандарта необходим
например, чтобы добавить в машину состояний TLS схемы распределения ключа, отличные от DH: сейчас такие схемы не входят в стандарт, но активно развиваются
именно такие кейсы меня интересуют

если ты про R-LWE, то примеры интеграции его в OpenSSL гуглятся в сети: https://github.com/vscrypto/openssl-ringlwe

вообще, OpenSSL написан достаточно модульно, чтобы туда нормально интегрировать что угодно. другое дело, что он весь обмазан макросами и вникать в его код не самое приятное занятие.

R-LWE

его я видел, это не интересно

OpenSSL написан достаточно модульно, чтобы туда нормально интегрировать что угодно

знаю, сам это проделывал
вот только если нужно расширить машину состояний, то архитектура оказывается не такая уж и модульная
хотелось бы посмотреть как люди к этому подходят

я думаю, что не так много маньяков, чтобы на досуге писать криптобиблиотеки :) их вообще мало, а неглючных среди существующих ещё меньше.

в криптобиблиотеке важна в первую очередь скорость. и никто не станет разводить теоретические машины состояний ради развлекухи.

Не путайте пожалуйста реализацию криптографичиских примитивов и реализацию криптографических протоколов. Как ни странно, тот же DH на порядок быстрее i/o.

а я и не путаю. криптография должна быть не только быстрой, но и безопасной. поэтому и не делают развесистой клюквы в духе тормозного научно-теоретического софта. занятие не для студентов, однако. а вопрос о сферической реализации криптографической библиотеки в вакууме (без конкретных методов шифрования) - это такой вот чисто кафедральный вопрос, не имеющий практического смысла.