Как сделать, чтобы кнопка тулбара в Firefox реагировала на нажатие клавиши?

Никак .

Я похожий аддон пилю(пилил) на досуге в ооочень ленивом режиме. Но у меня обобщенный, для любого кол-ва приложений, и открывать можно будет не только урлы, но и любой объект на странице: картинки, выделенный текст, саму страницу. Ожидаемо я офигел от объема работы и отложил на потом.

Теперь по твоим вопросам:
1) Можно, но не кнопку, а шоткат с обязательным лидирующим модификатором (Alt, Ctrl, Shift, Super(?)). Ограничение вебэкстеншенов-с. Прописываешь параметр в манифесте со списком шоткатов, а в фоновом скрипте назначаешь обработчик определенных ивентов.
2) А аддон позволяет такое вообще? Можно установить несколько копий аддона с разными id. Тогда будет несколько кнопок на тулбаре.
3) Действительно, напрямую из браузера запускать что угодно нельзя. Нужно положить исполняемый файл в _особое место_ (в хомяке, в каком-то подкаталоге каталога .mozilla), специальным образом прописать имя твоего исполняемого файла в аддоне, и этот исполняемый файл будет запускаться и получать в stdin то, что ты ему передашь.

https://addons.mozilla.org/en-US/firefox/addon/open-with/ С первым не поможет, но демонов не требует, только небольшой скрипт на питоне, а так же позволяет добавлять больше одной программы.