как завести юзера в самбе не заводя его в системе

а что тебе мешает создать юзера в системе без shell и home_dir ???
ставиш shell=/bin/false home=/dev/null и все дела

а это где надо ставить в smb.conf или еще где???

молодой человек вы бы хоть чего нибудь почитали .все эти параметры вы указываете при создании юзера в системе а потом командой smbpasswd -a xxxx вы разрешаете пользоваться ресурсами самбы пользователю ххх

проблема в тром что самба не хочет воспринимать пароли в /etc/samba/passwd, а берет из /etc/passwd секюрите стоит на шаре

Либо я что-то не понимаю, либо все не так делается.
если у тебя нет юзера на линуксе, то он может быть только в домене. И пароль то-же надо спрашивать у контролера домена. Делаем так:
1)На домен-контролере добавляем название новой машины(SAMBA-SERV-1)
2)в smb.conf
- security = domain
- netbios name = SAMBA-SERV-1
- password server = *
- encrypt password = on
это основное, остальное по вкусу.
3) пишем в шеле smbpasswd -j DOMAIN_NAME -r PDC_NAME и убеждаемся что самба-машина успешно включена в домен
4) в файле smbusermap добавляем строки
smb_admin = pupkin zalupkin
smb_user = user1 user2 user3 ...
и раздаем права на реальных пользователей smb_user/smb_admin
5) в итоге имеем желаемое - Primary domain controller проверяет пароли пользователей user1 ... pupkin а самба раздает файлы согласно их алиасам smb_user и smb_admin

это если коротенько, подробности смотри в доках на самбу

SerZ