А нужно ли компилить под каждую версию системных библиотек ?

В смысле для разных дистрибутивов? Если в системе более старая версия библиотеки glibc чем та, с которой был собран бинарник, то он не запустится, да. При обновлении же библиотеки glibc бинарники будут продолжать работать. Что касается glib, то тут уже нужно смотреть какие бинарники перестали работать при обновлении этой библиотеки. С другими библиотеками тоже самое.

нет тот же дистрибутив, даже та же основная версия. Просто версии glibc и прочего действительно могут быть разные

Это в каком дистрибутиве? В rolling-release дистрибутивах, понятное дело, всё постоянно меняется, но у них нет и конкретной версии как таковой. А в дистрибутивах с фиксированными релизами происходит заморозка версий библиотек для конкретного релиза.

glibc

Нужно брать минимально доступную версию и компилировать под неё. На всех следующих за ней бинарь будет запускаться. На всех нижеследующих версиях будет что-то вроде:

version `GLIBC_2.11` not found
version `GLIBCXX_3.4.20' not found

В идеале компилируй на каком-нибудь CentOS 6 или 7, Ubuntu 14 LTS. Все те, кто юзает более старые версии дистрибутивов, должны страдать. На них забей.

Ну а с glib в пределах мажорных версий проблем никаких быть не должно.

Жопич и саахрикту... Два дебила - это сила!

Анатомия динамических библиотек Linux
ну и пройтись по ссылочкам, приведенным в конце статьи...

Вот здесь более-менее разжевано насчет разрешения имен при линковке и выполнении:
Program Library HOWTO -> 3.1.1. Shared Library Names

Ну и просканируйте далее всю эту страничку (там есть другие подразделы) на предмет волшебного слова «soname» :)

... ну и вот еще внятная статейка (на случай, если кто еще сюда заглянет и решит просветиться на эту тему):
http://wiki.linuxquestions.org/wiki/Library-related_Commands_and_Files
Обратите внимание на раздел «link editing»