вообщем субж. нужно делать это "на лету". Использование udf продиктовано файлами >4Гб.
можно создать образ, отфарматировать его в udftools, потом подмонтировать его, записать на него файлы, а потом записать сам образ. это жутко долго.
Как временное решение сейчас пользуюсь nerolinux.
Но блин не понимаю в чем проблема у mkisofs делать нормальный udf.