Существует такая библиотека:
https://github.com/mozilla/libdweb
ей уже много лет.
«effort to implement experimental APIs for Firefox WebExtensions»
суть в том, чтобы делать свои протоколы при помощи нативного кода.
(на LOR нет ни одного топика со словом libdweb)
Вот пример потребителя этой библиотеки:
https://github.com/ipfs/devgrants/blob/main/targeted-grants/protocol-handler-api-for-browser-extensions.md
Что конкретно надо сделать, чтобы собрать firefox с этой фичей?
Суть в том, что имена сайтов можно писать кириллицей, продолжения URI можно писать кириллицей (например википедия так делает), а название протокола писать кириллицей по дефолту нельзя. Но мне кажется, что если прикомпилировать вышеуказанную библиотеку, то станет можно.