максимальное количество процессов

PID в линуксе имеет тип int (4 байта для 32-битных, 8 байт для 64-битных) с соответствующим максимальным значением. Что будет, когда достигнут максимум, не знаю.

Смотря по какому курсу считать. А вы с какой целью интересуетесь?

http://lxr.free-electrons.com/source/include/uapi/asm-generic/posix_types.h#L27

http://lxr.free-electrons.com/source/kernel/pid.c#L297

http://lxr.free-electrons.com/source/kernel/fork.c#L1411

Может форк-бомбу хочет запилить?

Какое максимальное количество процессов в linux?

$ cat /proc/sys/kernel/pid_max 
32768

Но это настраивается, можно сделать больший лимит.

что будет если пытаться создать процесс, когда достигнут максимум?

Счётчик завернётся и начнёт сначала, выбрав свободный номер. Если все номера будут заняты, вангую, что не даст создать процесс. Поэтому есть смысл задать лимит на количество процессов для юзера. Например в генте

$ ulimit -u
31740

Вроде должен EAGAIN случиться, не?