>Что такое режим пользователя и режим ядра?
Режимы бывают только на зоне. А в ОС бывают код ядра и код процессов, которые (обычно) выполняются с разными привилегиями.
>В каких файлах реализуются системные вызовы в linux?
В каких реализуешь - в таких и реализуются.
В glibc вызовы описаны в sysdeps. В заголовочных файлах ядра описаны макросы вызовов (asm/unistd.h). Ядреный код, который разруливает вызовы, живет в src/kernel/arch/target/kernel/entry.S.
>Где об этом можно почитать?
В исходниках, где же еще? :)