Настройка DNS в роутере

Начнем угадывать с модели роутера. Вангую что это какой-нибудь dir-300.

Вообще кстати говоря обратитесь к производителю вашего роутера и вашего виндовс.

с такой постановкой вопроса тебе проще попросить знакомого Васю-какера настроить тебе днс или чего тебе там надо..

//Соотв на роутере этого имени уже не видно

Правильно. И не должно быть.

//Вопрос: как эту настройку сделать в одном месте ?

Вот так: "... в DNS сервере роутера ставить еще раз это сетевое имя (с привязкой к MAC)." В дополнение к этому надо настроить DHCP, привязанный к DNS. IP-адрес в DHCP привязать к MAC. Тогда при получении адреса комп будет получать и IP-адрес, и нужное имя.