OS для домашнего сервера

Тот, что использовал раньше, нет?

Какой хорошо знаешь, тот и используй.

www.linux.org.ru/wiki/en/Выбор_дистрибутива#a_.D0.9E.D1.81.D0.BD.D0.BE.D0.B2....

Дебиан стейбл.

debian

Ubuntu Server. Это так чтобы поставил и забыл.

Если с целью образования ты хочешь причаститься к цивилизации, тогда что-то на systemd. Я юзаю Gentoo+systemd и горя не знаю, на домашнем сервере/десктопе. На нем играю в steam, программирую, качаю фильмы, раздаю всяким SmartTV/Chromecast видео и аудио через UPnP, плюс всякие Avahi, nginx, docker. nginx смотрит и в веб и раздает по другим портам некоторые папки в локальную сеть. Все работает отлично.

Всё зависит от твоей подкованности в этом вопросе.
Если хочешь быстро и без проблем — то ставь Fedora.

ну добавь в ноут второй винт вместо сидюка(если есть куда) и собери зеркало(или raid0, если данных не жалко), т.к. 2.5 дюйма винты активно вылетают при активном использовании. Подключать лучше по кабелю(особенно если там гигабитная сетевушка).

Из дистров в порядке предпочтения: CentOS 7, Ubuntu LTS, Debian 8. Лично я предпочитаю центось. Репы с популярным свежим софтом есть(почти все требуют включенного EPEL).

Скажу сразу: делать из ноута/неттопа/ещечегото толщиной 20мм сервак затея не тихая, поэтому попробуй придумать как туда запихнуть радиатор побольше, иначе будет шуршать кулером постоянно.