Поддомены.

Например забить на DNS-серверах провайдера и сказать своему DNS-серверу, что ответственным за зону example.com является он. Об этом все равно никто в internet-е знать не будет и запросы снаружи будут по-прежнему идти к прову (можно даже явно запретить запросы к этой зоне снаружи: если bind - см. allow-query или view), а вот клиенты вашей сети будут обращаться к вашему серверу и получать то, что вам нужно.

А если из инета кто-то обратится к серверу mail.example.com, у прова только example.com, а у меня есть запись что mail.example.com это example.com?

Значит он не увидит этого mail.example.com. А если нужно, чтоб было видно и из internet-а, то тогда нужно договариваться с провайдером о делегировании вам вашей зоны, чтоб ваш сервер был primary (был прописан как NS для example.com в родительском домене).