Подозреваю что в 32бит еще PAE используется в сервере. Ну и прочие примочки серверные, ведро скорее всего конфигурировано более подходящим образом (не помню, может там аппармор включен по умолчанию, лень смотреть).
Также отличаются настройки инсталлятора, в частости, дефолтные комплекты пакетов.
Больше никаких отличий (в частности, специально собранных демонов) нет. Ибо специальные пакеты требуют отдельного репозитария. Вообще, все нужные выводы можно сделать из того факта, что репозитарий один.
