Прототипы функций в разделяемых либах для C

Что-то не сходится. Если библиотека сишная, и заголовки обнесены extern «C», то линкер не стал бы жаловаться на несоответсвие сигнатуры. Он про неё сам ничего не знает в случае C.

Не собрал ли ты сишную библиотеку плюсовым компилятором? Если так, то сигнатуры можешь посмотреть обычным nm -C

nm -C /usr/lib64/libipset.so.13 | grep ipset_session_init
0000000000013800 T ipset_session_init

в ipset.cc есть объявление и потом вызов

extern struct ipset_session *ipset_session_init(ipset_outfn_t ipset_outfn );
...
ipset_session = ipset_session_init(printf);

ipset.o: In function `ipset_init_lib()':
ipset.cc:(.text+0xcf): undefined reference to `ipset_session_init(int (*)(char const*, ...))'
collect2: error: ld returned 1 exit status

Как линкер об этом узнал ?

Компилятор предполагает плюсовую декорацию имён и генерирует зависимость на замангленный символ. Который в сишной библиотеке, естественно, не находится. Занеси объявление внешней функции под extern «C»

Вопрос в том, как определяется, что в C-шной либе нет функции с определенным прототипом.

Это фича gcc-8 ?

В сишной либе нет функции с определённым *именем*. Ты написал объявление

extern struct ipset_session *ipset_session_init(ipset_outfn_t ipset_outfn );

А при чем тут вообще C++? По сообщению линкера видно что ищется сишное имя, и в библиотеке оно сишное. Просто прототип поменялся.

ipset_session_init(int (*)(char const*, ...))

не сишное имя, в этом и проблема. У сишных имён нет информации об аргументах

nm на объектник раскрыл тайну

Если есть совпадающее описание прототипа с «extern C» и без него, то компилятор не создает mangled прототип.

Спасибо.