LD_PRELOAD и extern int open (__const char *__file, int __oflag, ...)

main.cpp:

#include <fcntl.h>
#include <stdio.h>

int main() {
	printf( "open %d\n", open( "/tmp/testfl", O_CREAT, 0600 ) );
	return 0;
}

~/src/tmp$ g++ main.cpp -o t

lib.cpp:

#include <fcntl.h>
#include <dlfcn.h>
#include <stdio.h>

int open (__const char *__file, int __oflag, ...) {
	int ( *d_open )( __const char *__file, int __oflag, ... ) = ( int (*)(__const char *, int, ...) ) dlsym( RTLD_NEXT, "open" );
	printf( "wrapped\n" );
	return ( *d_open )( __file, __oflag );
}

~/src/tmp$ g++ -o lib.so -shared -fPIC lib.cpp -ldl
~/src/tmp$ LD_PRELOAD=./lib.so ./t
wrapped
open 3

А я что делаю не так?

Точно. Ложная тревога. Просто злая проприетарная программа в определённый момент блокирует stderr и отладочная инфа от либы не поступает. Перенаправил в файл - видно, что работает.