FS для файлопомойки

файлопомойка ~120G живет на reiserfs. пока не жалуюсь.

reiser4

У меня ~/ на 64 гига под рейзером. Вполне нормально.

ну. у меня всё, кроме /boot под райзером, в том числе и файлопомойка

XFS is better for garbage filesystems.

Рейзер долго монтирует большие ФС (500 — 700 гигов) и иногда при неправильном выключении долго тормозит. Если /boot на нём же то даже меню груба приходилось чуть ли не полминуты ждать, потом журнал перечитывало и работало нормально.

Других недостатков не замечено.

не знаю с чем связаны были тормоза, но при использовании под /home JFS на ноуте были тормоза при обращении к файлам, после перехода на ext3 тормоза пропали. так что jfs не советовал бы...
сам использую на внешнем харде xfs и вполне им доволен, так же использовал xfs под файлопомойку на одном из прошлых мест работы, никаких нареканий.

А у меня XFS не прижилась, заметно задумывлась при удалении больших файлов, правда давно это было.

Для файлопомойки в основном на чтение немерянно рулит XFS. Быстро проверяется, быстро монтируется, бистро выдает листинг огромной директории (намного быстрее reisers). Ее единственный недостаток - медленно удаляет большие файлы.

JFS на файлопомойке - это чудовищный уровень файловой фрагментации, почти на уровне FAT32. См. мои тесты :)

>Ее единственный недостаток - медленно удаляет большие файлы.

Медленно удаляет любые файлы.

Да, мой собственный выбор после ряда экспериментов - Reiser4.

Во всех "официальных" статьях пишут о медленном удалении 
больших файлов. А вот сколько это "медлено"?

Оба теста выполнены на одном и том же разделе

$ sudo lvcreate -L 10G -n test1 /dev/vg1
[skip]
mkfs.xfs ...
mount ... /xfs
chown ... /xfs
[/skip]

$ ionice -c 3 dd if=/dev/zero of=/xfs/file.4Gb bs=1024k count=4096
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB) copied, 65.9538 s, 65.1 MB/s

$ ls -lh /xfs/file.4Gb
-rw-r--r-- 1 sergey sergey 4.0G 2008-08-20 20:16 /xfs/file.4Gb

$ time rm /xfs/file.4Gb

real    0m0.442s
user    0m0.000s
sys     0m0.396s



[skip]
mkfs.ext3 ...
mount ... /ext3
chown ... /ext3
[/skip]



$ ionice -c 3 dd if=/dev/zero of=/ext3/file.4Gb bs=1024k count=4096
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB) copied, 71.7534 s, 59.9 MB/s

$ ls -lh /ext3/file.4Gb
-rw-r--r-- 1 sergey sergey 4.0G 2008-08-20 20:27 /ext3/file.4Gb

$ time rm /ext3/file.4Gb

real    0m4.145s
user    0m0.000s
sys     0m1.224s


Ваши коментарии?

>А вот сколько это "медлено"?

http://balancer.ru/tech/forum/2008/06/t62136--Proizvoditel~nost~-fajlovykh-si...

для чистоты эксперимента - ребут между созданием и удалением файла

Я не собираюсь проводить тестирование. Да и на файлопомойке вы же не будете перед удалением файлов ребутиться. Тут "реальные" условия файл создан, удален и все.

А вообще это долгая и бестолковая тема - меряться файловыми системами. Просто когда я посмотрел, как на reiserfs работает ls distfiles на гентушном зеркале... это пара минут дикого трещания винта.

У тебя там мелкие файлы (исходники ядра). Есть разница 10000 мелких файлов или 100 больших, ага.

файл создан, а удален через несколько дней/недель - еще более "реальные" условия
все мы знаем как xfs любит всё кэшировать и держать подолгу в памяти

> Да, мой собственный выбор после ряда экспериментов - Reiser4.

а оно уже достаточно стабильно?

mount ... /xfs
dd ... 
umount /xfs
mount ... /xfs

$ time rm /xfs/file.4Gb 

real    0m0.029s
user    0m0.004s
sys     0m0.004s

Использую reiserfs. Года 4 уже как. Поставил - и забыл.

В условиях файлопомойки размер файлов не был оговорён :)

>а оно уже достаточно стабильно?

Пережило без последствий уже пару отрубаний питания и штук 5 зависов за время экспериментов с fglrx 8.6

В остальное время - обычная десктопная работа.

...

Вообще, некоторые товарищи reiser4 даже на боевых серверах под нагрузкой используют. Жалоб на падения, вроде, пока не было слышно.

Я, впрочем, переходить на эту FS не собирался из-за лени разбирательства с патчами. И тесты без неё начинал. Потом, чисто ради интереса заглянул на http://gentoo-wiki.com/HOWTO_Reiser4_With_Gentoo-Sources , увидел, что в Gentoo вопрос решается одной строчкой в ebuild'е, поставил интереса ради и протестировал. Результаты понравились настолько ( там ещё третий тест был: http://balancer.ru/tech/forum/2008/06/t62153--Proizvoditel~nost~-fajlovykh-si... ), что почти сразу перевёл на reiser4 /var, /tmp, а ещё через несколько дней - всё, кроме /home и / (они по-старинке на reiserfs 3)

>Просто когда я посмотрел, как на reiserfs работает ls distfiles на
>гентушном зеркале... это пара минут дикого трещания винта.

Вот reiserfs (3):

time ls /usr/portage/distfiles > /dev/null

real	0m0.046s
user	0m0.009s
sys	0m0.002s

Если с выводом, то тут уже терминал тормозит:

real	0m8.980s
user	0m0.021s
sys	0m0.079s

Ты уверен, что у тебя не терминал винчестером шуршал? :D

Хм, а какова ниша JFS тогда? Вроде как считается более удачной ФС, нежели XFS.

>Хм, а какова ниша JFS тогда?

Не знаю :) Обычно про неё говорят «Просто ФС. Звёзд с неба не хватает, зато работает». Типа, «просто лось» ;)

>Вроде как считается более удачной ФС, нежели XFS.

JFS в традиционной классификации не лучше и не хуже любой другой нормальной FS. XFS быстрее, чем JFS на больших файлах и медленнее на удалении (и как по тесту выяснилось, ещё и фрагментируется очень мало).

1 HDD, LVM+ext3+vsftpd (с перекодировкой CP1251 UTF-8) Средняя скорость по гигабитному каналу от 40 до 50 мегабайт в секунду.

да, забыл уточнить объём, примерно 300gb из 500gb винта

> Медленно удаляет любые файлы.

Пока я вижу обратное.


$ time rm /xfs/file.4Gb

real 0m0.442s
user 0m0.000s
sys 0m0.396s

$ time rm /ext3/file.4Gb

real 0m4.145s
user 0m0.000s
sys 0m1.224s


Впрочем, у меня есть в VolumeGroup 143G свободного места, можно протестировать
на файлах размером > 1Gb.
Создам 100 файлов по 1.4Г в директории, размонтирую и снова примонтирую,
для сброса кеша метаданных и удалю эту директорию с замером времени. 
Повторю для xfs, ext3, reiserfs (reiser4 отсутствует)

Будет адекватно для оценки затрат на удаление больших файлов?

А как у reiser4 с фрагментацией, по сравнению с ext3 например? Кстати, ни слова про ext4 не услышал, по идеи на него будет легче всего перейти с ext3, когда его зарелизят

В /mnt/sys/xfs 100 файлов по 1.5Г

$ df -h /mnt/sys
Filesystem            Type  Size  Used Avail Use% Mounted on
/dev/mapper/vg1-test1 xfs   174G  148G   27G  85% /mnt/sys

umount .. .
mount .. .

$ time rm -rf /mnt/sys/xfs

real    0m0.099s
user    0m0.004s
sys     0m0.020s



В /mnt/sys/ext3 теже 100 файлов по 1.5Г

$ df -hT /mnt/sys
Filesystem            Type    Size  Used Avail Use% Mounted on
/dev/mapper/vg1-test1 ext3    172G  149G   15G  92% /mnt/sys

umount .. .
mount .. .


$ time rm -rf /mnt/sys/ext3

real    2m50.606s
user    0m0.004s
sys     0m19.273s




В /mnt/sys/reiserfs теже 100 файлов по 1.5Г


$ df -hT /mnt/sys/
Filesystem            Type      Size  Used Avail Use% Mounted on
/dev/mapper/vg1-test1 reiserfs  174G  148G   27G  86% /mnt/sys

umount .. .
mount .. .

$ time rm -rf /mnt/sys/reiserfs

real    2m20.125s
user    0m0.004s
sys     1m22.889s


З.Ы. Пусть все критикующие XFS идут далеко и надолго.

>А как у reiser4 с фрагментацией, по сравнению с ext3 например?

Лучше. Смотри тесты, я там в каждом случае приводил остаточную фрагментацию FS после теста, а перед проведением самого теста проводил жёсткую имитацию фрагментации (запись файла половинного объёма плюс последующая перезапись полноценным и так пару циклов по всем файлам - у JFS и FAT32 на десятки процентов была фрагментируемость).

>Кстати, ни слова про ext4 не услышал, по идеи на него будет легче всего перейти с ext3, когда его зарелизят

По скорости ext4dev смотрится неплохо, про фрагментацию ничего сказать не могу, так как утилита по её измерению с ext4 не работает почему-то.

>З.Ы. Пусть все критикующие XFS идут далеко и надолго.

Нет, далеко и надолго могут идти тестирующие FS на одном файле :) То есть, это тоже тест, конечно, но практическая его ценность намного ниже даже моих, которые ограничивались разделом всего в 2Гб и только с небольшими файлами, но зато отрабатывался полный цикл имитации работы системы.

>reiserfs

а разве reiserfs это не reiser v. 3.x?

>Нет, далеко и надолго могут идти тестирующие FS на одном файле :)

Ась?
В /mnt/sys/xfs 100 файлов по 1.5Г

Я же писал выше reiser4 у меня нет и ядро я патчить не буду.

ext2

>а разве reiserfs это не reiser v. 3.x?

Да, формально по именам fs, reiserfs - это 3-я версия, 4-я зовётся reiser4.

>В /mnt/sys/xfs 100 файлов по 1.5Г

Но ни слова нет о том, как они там создавались, это раз. Во-вторых, удаление по rm -rf каталога - это далеко не то же самое, что rm для каждого файла.

>Но ни слова нет о том, как они там создавались, это раз.

Создавались так:

seq -w 1 100 | xargs -l -I {} cp /mnt/test1/file_1.5G /mnt/sys/$FS/file.{}

Содержимое файла file_1.5G фильм в mpeg2

>Во-вторых, удаление по rm -rf каталога - это далеко не то же самое, что rm для каждого файла.

Но разница есть между xfs и (ext3 | reiserfs), причем как на удалении одиночного файла, так и на каталоге.

>Создавались так

Понятно. Никакого отношения к реальности :) Возьми скрипты из моих тестов и сымитируй работу файлопомойки. Или сам напиши - параллельно записывай несколько файлов разного размера с удалением. У меня p2p как раз на XFS. Там уровень фрагментации 30% достигал :D

Большие файлы я не тестировал, как уже писал, свободен был раздел только на 2Гб, но вот на удалении мелочи, если по ссылке ходить лень, вышло удаление фрагментированных сорцов ядра так:

ext2 ext3 ext4dev jfs reiserfs xfs
1,5 3,4 1,9 38,1 5,2 197

>Но разница есть между xfs и (ext3 | reiserfs), причем как на удалении одиночного файла, так и на каталоге.

Боюсь, что это немного не та разница :)

Я не собираюсь ни спорить, ни доказывать, ни тестировать что-либо еще, это не интересно. Придет третий и расскажет о своей реальности, потом четвертый, пятый и так далее до бесконечности.

Закончим на этом спор о ФС.

З.Ы. [установка самому себе] в темах о выборах ФС я более не участвую ибо бессмысленно.

>Ты уверен, что у тебя не терминал винчестером шуршал?

Нет, это коврик для мышки винчестером трещал o_O
# ls -l /home/pub/gentoo-mirror/distfiles/ | wc -l
30468
а у тебя?

Что я могу поделать, если я действительно видел, что 4-6 гиговые файлы на xfs удаляются мучительно медленно? По несколько секунд один файл.

PS: К предыдущему сообщению - 200 гиговый IDE-винт, сто с копейками гигов как раз заняты гентушным зеркалом.

>30468

Тогда понятно :D

>а у тебя?

2641

С другой стороны:

# time ls -lR /usr/portage/ | wc -l
184951

real	0m24.835s
user	0m1.355s
sys	0m4.585s

Правда, это уже reiser4.

На reiserfs выходит так:

$ time ls -lR /usr/portage/ | wc -l
285704

real	3m14.519s
user	0m2.623s
sys	0m6.417s

Но там сейчас машина сильно загружена торрентами, так что результат не очень чистый.

А! Вот, есть под рукой ещё удалённая незагруженная машина, тоже с reiserfs:

$ time ls -lR /usr/portage/ | wc -l
227460

real	0m35.675s
user	0m1.406s
sys	0m3.134s

Повторные проходы (уже оценка кеша) для reiser4:

# time ls -lR /usr/portage/ | wc -l
184951

real	0m2.765s
user	0m1.213s
sys	0m1.461s

и reiserfs:

$ time ls -lR /usr/portage/ | wc -l
227460

real	0m3.132s
user	0m1.172s
sys	0m1.999s

>Что я могу поделать, если я действительно видел, что 4-6 гиговые файлы на xfs удаляются мучительно медленно? По несколько секунд один файл.

И чем тогда ext3 отличается?

$ time rm /ext3/file.4Gb

real 0m4.145s
user 0m0.000s
sys 0m1.224s

а какую файлуху бы заюзать для внешнего hdd, чтобы можно было туда складывать файлы >4gb и чтобы видна была и из линукса и из винды :) Можно ntfs, но как-то не хочется - ntfs3g далеко не везде стоит в линуксах.

>Можно ntfs, но как-то не хочется - ntfs3g далеко не везде стоит в линуксах.

Увы, кроме NTFS других мыслей нет :)

Нет, конечно, ext3 можно, но драйвер ext3 под виндой - это намнго большая экзотика, чем ntfs3g под Linux :)