Samba-ad-dc kerberos и winbind как со всем этим разобраться?

Керберос – это, если я правильно понимаю (поправьте), протокол авторизации? Что есть тикеты? Кто разбирается, где про это читать?

Хотя бы на Wikipedia.

Можно ли поднять сервер, ввести в него клиент без кербероса, только винбиндом?

Нет.

Как все это работает с PAM?

Через настройку nsswitch и модули pam.

https://smb-conf.ru/winbindd.html

Вот в документации по samba. Открою секрет, по всем остальным проектам, вопросы по которым у тебя, тоже есть документация, её можно читать, попробуй.

Документация то у них есть, но там реально всякая муть в которую не хочется лезть без нужды.

Можно без Kerberos. Можно даже без winbind.
pam_ldap и все.

Можно ли поднять сервер, ввести в него клиент без кербероса

Всё можно, для Samba тебе нужно хранить где то пользователей, пароли, группы и учетки компов. Можно хранить все в ldap, можно хранить часть в kerberos (пароли/ключи) остальное в ldap, можно хранить всё в самодельных базах samba ads, можно хранить все в /etc/passwd,groups.

Винбинд какую роль во всем этом выполняет

он забирает от samba все эти id и через nss мапишь в локальные.