django_dir/contrib/admin/templates/admin/base_site.html -> site_dir/templates/admin/base_site.html
django_dir/contrib/admin/templates/admin/404.html -> site_dir/templates/404.html
скопированные файлы из установленного django можно править, они будут использованы вместо дефолтных. А откуда и куда надо скопировать css для админки и не для админки, чтобы менять?