[вброс] сравнение скорости чтения /lib на разных фс

0

0

По мотивам.
Провёл сравнение скорости чтения большого количества мелких файлов на разных фс (конкретнее каталога /lib).

$ du -sh /lib
152M	/lib

После выполнения каждой операции с фс очищал кэш так:

sync; echo 3 >/proc/sys/vm/drop_caches

Измерял так(повторял несколько раз):

tar -c /mnt/1/lib/ |pipebench >/dev/null

Фс были созданы и монтировались с опциями по-умолчанию, если не указал иное.
Результаты(усреднённые):

ext2        36M/s
ext4        10.5M/s (ради лулзов пробовал mkfs.ext4 -O ^filetype,^resize_inode,^ext_attr,^has_journal - так же)
reiserfs3.6 16M/s
xfs         17.8M/s
fat32       31M/s (вот так mkfs.vfat -F 32 -S 4096 - получил 40M/s)

ЧЯДНТ, кто виноват, что делать?
Из-за какой опции ext4 так проиграла ext2(в остальных случаях ext4 быстрее)?

Ссылка

←	Помогите правильно настроить на 3 сети Ubuntu 10.10

Быстро перенести(скопировать) мегадиректорию

→

> большого количества мелких файлов

Reiser4 + compress_lzo или compress_gzip
btrfs+compress

devl547 ★★★★★
(19.10.10 03:43:53 MSD)

http://sourceforge.net/projects/ffsb/

Хоть бы этим уже погонял. Извини, но твой «тест» - г@#но. Чтение, скорее всего, самое быстрое получится со squashfs.

Led ★★★☆☆
(19.10.10 03:51:36 MSD)

Ответ на: комментарий от Led 19.10.10 03:51:36 MSD

>твой «тест» - г@#но.
Меня интересовало только чтение, и, в основном, {/usr,}/lib.

squashfs

С ней гемора больше, но собираюсь потестить.

~~anon_666~~ ★
(19.10.10 03:57:15 MSD) автор топика

Ссылка

Ответ на: комментарий от devl547 19.10.10 03:43:53 MSD

Вряд ли они дотянут до ext2, но попробуем.

~~anon_666~~ ★
(19.10.10 03:58:35 MSD) автор топика

Где расположен раздел? Нужно все тесты проводить на одном и том же разделе, расположенном в одном и том же месте одного и того же диска.
Как на него попали файлы? На все тестовые ФС файлы заливать надо одним способом, т.е. использовать в одном тесте «реальную» копию /lib, созданную менеджером пакетов, а в остальных - созданную при помощи cp -a, нельзя.
152MB - это маловато для теста.
pipebench - что это за хренота? Лично у меня даже при добавлении в конец пайпа dd of=/dev/null bs=3276800 время увеличивается в несколько раз.

Deleted
(19.10.10 04:26:36 MSD)

Ответ на: комментарий от Deleted 19.10.10 04:26:36 MSD

>Нужно все тесты проводить на одном и том же разделе
Разумеется, так и делал.

файлы заливать надо одним способом

Так и делал - копировал в каждом случае с системного раздела.

152MB - это маловато для теста

/usr/lib у меня 5G, столько свободного места на hdd нет.
Да и повторял несколько раз.

pipebench - что это за хренота?

«Спросите Silvy» ©

~~anon_666~~ ★
(19.10.10 04:40:41 MSD) автор топика

Ссылка

По-моему, все правильно. Как говорится, «конец немного предсказуем».

Если нужна высокая скорость — XFS, но у нее есть проблемы с целостностью данных при отключении питания, поэтому для разделов с интенсивной записью ее лучше не применять. Но тут уже можно заюзать быстрый и практически неубиваемый третий рейзер.

Лично я корень держу на рейзере, а xfs — на разделах с данными. В ext* только хомяк и /boot (если они отдельно).

nnz ★★★★
(19.10.10 09:26:16 MSD)

[code] 2G /dev/vg1/test mounted to /mnt/fs-test

/usr/lib ~~ 1.2G copied to /mnt/fs-test find /mnt/fs-test ! -type d | wc -l 18046

sync; echo 3 >/proc/sys/vm/drop_caches tar -c /mnt/fs-test/lib/ |pipebench >/dev/null

mount -o relatime,nodiratime

xfs — 1.08 GB in 0m33.64s: 33.12 MB/second ext2 — 1.08 GB in 0m26.66s: 41.79 MB/second ext3 — 1.08 GB in 1m13.05s: 15.25 MB/second ext4 — 1.08 GB in 1m14.96s: 14.86 MB/second reiserfs 3.6 — 1.08 GB in 1m17.37s: 14.40 MB/second

$ df -T | awk 'NF == 7 {f[$2]++}; NF == 6 {f[$1]++}; END {for(k in f) {print k,f[k]}}'

ext2 1 xfs 8 tmpfs 3

[/code]

anonymous
(19.10.10 09:58:26 MSD)

Ссылка

2G /dev/vg1/test mounted to /mnt/fs-test

/usr/lib ~~ 1.2G copied to /mnt/fs-test
find /mnt/fs-test ! -type d | wc -l
18046

sync; echo 3 >/proc/sys/vm/drop_caches
tar -c /mnt/fs-test/lib/ |pipebench >/dev/null

mount -o relatime,nodiratime 

xfs          -- 1.08 GB in 0m33.64s:   33.12 MB/second
ext2         -- 1.08 GB in 0m26.66s:   41.79 MB/second
ext3         -- 1.08 GB in 1m13.05s:   15.25 MB/second
ext4         -- 1.08 GB in 1m14.96s:   14.86 MB/second
reiserfs 3.6 -- 1.08 GB in 1m17.37s:   14.40 MB/second



$ df -T | awk 'NF == 7 {f[$2]++}; NF == 6 {f[$1]++}; END {for(k in f) {print k,f[k]}}'

ext2  1
xfs   8
tmpfs 3

anonymous
(19.10.10 09:59:00 MSD)

Ответ на: комментарий от nnz 19.10.10 09:26:16 MSD

Если нужна высокая скорость — XFS

На туче мелких файлов XFS и скорость несовместимы.

Ximen ★★★★
(19.10.10 10:07:31 MSD)

Ответ на: комментарий от anon_666 19.10.10 03:58:35 MSD

>Вряд ли они дотянут до ext2

А может и наоборот, reiser4 со сжатием просто реактивная fs для portage.

devl547 ★★★★★
(19.10.10 11:23:52 MSD)

Ответ на: комментарий от anonymous 19.10.10 09:59:00 MSD

А без барьеров?

x3al ★★★★★
(19.10.10 11:28:37 MSD)

жаль что jfs в тесте нет - а так результаты предсказуемы

~~guilder~~ ★
(19.10.10 11:28:57 MSD)

Ответ на: комментарий от Ximen 19.10.10 10:07:31 MSD

>На туче мелких файлов XFS и скорость несовместимы.

Да, забыл это упомянуть. Пожалуй, основная причина, по которой у меня корень обычно на рейзере.

anonymous
(19.10.10 12:31:25 MSD)

Ссылка

Ответ на: комментарий от x3al 19.10.10 11:28:37 MSD

ФС на LVM уже поддерживает барьеры?

anonymous
(19.10.10 12:36:41 MSD)

Ссылка

Ответ на: комментарий от devl547 19.10.10 11:23:52 MSD

А как там у нас с фрагментацией и возможностью изменения размера раздела? Не троллинга ради. Когда использовал эту ФС, изменить размер раздела было невозможно и в некоторых обзорах было упоминание о не слабой фрагментации при длительном использовании.

partyzan ★★★
(19.10.10 12:37:51 MSD)

Ответ на: комментарий от partyzan 19.10.10 12:37:51 MSD

у reiser4 - да, это единственная проблема. И это надо Шишкина пихать, может что и придумает.
у btrfs такой проблемы нет)

devl547 ★★★★★
(19.10.10 12:39:11 MSD)

Ссылка

Ответ на: комментарий от guilder 19.10.10 11:28:57 MSD

jfs также уныла как и ext3/4 с рейзером

jfs — 1.08 GB in 1m09.30s: 16.08 MB/second

anonymous
(19.10.10 12:51:54 MSD)

Ссылка

Ответ на: комментарий от anonymous 19.10.10 09:59:00 MSD

>xfs — 1.08 GB in 0m33.64s: 33.12 MB/second

Хм, как была создана фс?
Видимо, у меня она отработала хуже, из-за того, что монтировал без noatime, nodiratime.

~~anon_666~~ ★
(19.10.10 14:27:39 MSD) автор топика

Ответ на: комментарий от anon_666 19.10.10 14:27:39 MSD

> как была создана фс?

Все ФС создавались дефолтно mkfs.$FS /dev/vg1/test

anonymous
(19.10.10 15:52:05 MSD)

Ссылка

лично у меня чтение /lib64 на reiserfs доходит до 27 Мб/сек, потом данные просто кончаются

попробуй с бОльшим каталогом

anonymous
(19.10.10 15:59:01 MSD)

Ссылка

# du -sh /usr/lib
2,2G	/usr/lib

# sync; echo 3 >/proc/sys/vm/drop_caches
# tar c /usr/lib |pipebench >/dev/null
...
Piped    2.09 GB in 00h01m12.08s:   29.82 MB/second

# mksquashfs /usr/lib /111.sqfs -no-xattrs
...
# ls -lh /111.sqfs
-rw-r--r-- 1 root root 664M Окт 25 08:39 /111.sqfs

# mount -t squashfs -o loop /111.sqfs 1/

# sync; echo 3 >/proc/sys/vm/drop_caches
# tar c 1/ |pipebench >/dev/null
...
Piped    2.09 GB in 00h00m37.46s:   57.38 MB/second

/usr/lib и сжатый образ находились на одном разделе размером ~5.7G, так что геометрия диска практически не повлияла на результаты.

~~anon_666~~ ★
(25.10.10 09:03:44 MSD) автор топика

Ссылка

pipebench

Не знаю, что это, но не лучше ли pv использовать?

GotF ★★★★★
(25.10.10 09:20:06 MSD)

Ответ на: комментарий от GotF 25.10.10 09:20:06 MSD

С pv результаты не изменились.

~~anon_666~~ ★
(25.10.10 09:29:17 MSD) автор топика

Ссылка

Ответ на: комментарий от nnz 19.10.10 09:26:16 MSD

у нее есть проблемы с целостностью данных при отключении питания

Если бы только это, то была бы идеальная ФС. Главная проблема — скорость при обработке большого количества объектов: копирование нескольких тысяч мелких файлов (тема иконок это была) шло настолько медленно, что можно было пойти прогуляться (а в сумме это всего лишь около 50Мб). Простора для тюнинга тоже не оказалось — в Дебиане mkfs.xfs по умолчанию создаёт ФС с предельными параметрами. Разве что с количеством AG's можно поиграться, но это не должно оказать особого влияния на такие случаи %)

GotF ★★★★★
(25.10.10 09:31:14 MSD)