XBMC открывает ли MKV файлы?

Открывает.Проверьте как собрана у вас либа libavformat и libavcodec.

при запуске начал ругаться на аддоны и все повыключал. а как проверить эти либы. и как их правильно собрать? и почему тогда в других плеерах все норм?

Гляньте, какой выхлоп у вас даёт команда

Дело в том, что плееры на gstreamer играют видео при помощи кодеков для gstreamer, поэтому одни приложения могут проигрывать MKV, другие - нет. Обратите внимание на то, чтобы matroska поддерживалась на декодирование(в строке должна быть большая литера D). И повторите то же самое для h264.