Какую ФС выбрать для большого раздела (более 30Тб) ?

Ответ зависит, от той машины на которой, это все будет работать и юзкейсов, какой Raid, размер оперативки и т.д...
Но если размер меняться не будет, то xfs будет самым универсальным выбором.

zfs однозначно и без вариантов.

Уточнил.

А оно стабильно и надежно?

ты такие вопросы задаешь...
что лучше купить готовое и подключить, без всяких Линуксов.

в случае какого факапа тебя же и сожрут.

ZFS, поиграть с recordsize.(64k,128k)
ext4, bs=64k, largefile=64k(?)
xfs - скорость упадет в рейде, относительно ext4
Тут нужно разбираться с zfs без вариантов.

tazhate

ext4 сильно ругается на раздел размером более 16 Тб в стиле «если что, ССЗБ». bs нам вот не подходит большой. Файлы-то большие, но внутри них чанки от 8 Кб. И когда идут сортировки всякие, думается мне, лишних операций много будет. А что не так с xfs? Почему скорость упадет?

А оно стабильно и надежно?

через нативный модуль ядра - да, через fuse - нет.

Нигде не видел таких больших ФС в продакшене. Наоборот, стараются разбить на ФС меньшего размера. Даже те, которые специально предназначены для хранения больших файлов (VMFS например).

xfs на рейдах сильно проседает. Вернее раньше оно работало лучше ext4, а потом в ext4 фиксили и фиксили и в этоге xfs стал проседать на копировании. (пруфов не будет, но натыкался в многих тестах).

Ext4 проблема даже в другом, с таким размером можно в один прекрасный день остаться без inode'ов, даже если оттюнить все в максимум, просто закинув где-нибудь и мелких файлов.

Ext4 проблема даже в другом, с таким размером можно в один прекрасный день остаться без inode'ов

Это при каких условиях ?

Собственно, сабж.

Надо не забывать, что, однажды, ей может захотеть почекаться.

Хорошо развёл.

xfs на рейдах сильно проседает. Вернее раньше оно работало лучше ext4, а потом в ext4 фиксили и фиксили и в этоге xfs стал проседать на копировании. (пруфов не будет, но натыкался в многих тестах).

С каких пор простые ФС (ext4, xfs,...) знают что-то о нижележащем блочном устройстве, кроме того что оно блочное?

http://www.ep.ph.bham.ac.uk/general/support/raid/raidperf20.html
Вот с ходу даже довольно старый тест с гугла, где видно, что xfs проседает.
А так как ext4 много фиксили в ядре, то сейчас она еще лучше себя видет. К сожалению ту статью, где показано что xfs сильно вплоть 20% сливает ext4 на raid из большего количества дисков найти не удалось. И так как раз было сказано, про то, что за последний год ext4 получил много фиксов при работе в raid конфигурациях. Но если ТС хочет именно 30Тб, то ext4 вылетает.

Да запросто, скопирует еще по случайности или случайности мелких файлов в том числе. Я вот разок оставался без Inod'ов на ext4. (правда там было 4,5 миллионов мелких файлов ==)

LUNы отдаются с СХД через SAN, конечно же есть multipath. Используется RAID-6 (14+2)

сделай два raid6 6+2 и собери на хосте raid0 пул из них, будет больше профитов. а фс, конечно же, zfs )

Какую ФС выбрать для большого раздела (более 30Тб) ?

хм... reiserfs?

Без пруфов зачем расказывать бабушкины сказки: «И так как раз было сказано, про то, что ... » ???

http://www.ilsistemista.net/index.php/linux-a-unix/13-ext4-vs-xfs-large-volum...

So, in the end, which filesystem should you choose for your server, EXT4 or XFS? As stated above, it all depends on the expected workload type. Below are my recommendations:

* workstation machine: you can not go wrong with any of these two filesystems. While EXT4 is better at files creation and deletion (a common job on any machine), XFS re-balance the choice thank to higher speed with large files and near-perfect fragmentation resistance

* development machine: if you plan to often create / delete / check any large volume, absolutely go with XFS

* web server (apache + mysql): although EXT4 is competitive, XFS's higher MySQL and large files performances give it the edge here

* file server: if you plan to store and actively use some large files, go with XFS; in the other case (small files) go with EXT4

* MySQL database server: I slightly prefer XFS for this kind of workload

* PostgreSQL server: definitely go with EXT4

* virtualization (consolidation) server: while virtual machine consolidation is a very complex topic and a definitive answer will require extensive testing, I think that XFS should be the better choice as it has great large files performance and excellent fragmentation behavior (also don't forget its on-line defrag utility)

Я вот разок оставался без Inod'ов на ext4. (правда там было
4,5 миллионов мелких файлов ==)

А, в смысле кончились ? Я подумал, что померли. :-)

Red Hat Enterprise Linux 6.0 64 bit

Не хочу вступать в холивар (тем более все как раз таки зависит от задачи), но это показатель. Шапка везде двигает xfs, так что почему-то с их ядром ext4 работает хуже чем на Debian.

EXT4 is better at files creation and deletion (a common job on any machine)

Собственно сабж.
Но, ТС'у нужно смотреть в сторону zfs, благо памяти у него достаточно.

Шапка везде двигает xfs

Они поняли что у этой ФС потенциал выше. Забыл как в их РХЕЛ вообще не было поддержки XFS до РХЕЛ5? А в РХЕЛ5 появился модуль xfs, но не было mkfs.xfs?

Я и не знал. Я с шапкой работал только с RHEL5, а до этого не имел дело с ней, кроме как посмотреть.

xfs и точка. Дебила евг_гада с сифилисом головного оракля не слушай, анонимус_сама без пруфов балаболит, сдио можно доверять. Мне тоже можно, после миграции бэкенда хранилки виртуалок с ext4 на xfs тормоза пропали.

NTFS

некропостер, умри пожалуйста.