Тестирование производительности файловых систем, на этот раз с reiser4 и конкретной задачей

Неужели нет заинтересованных компаний, которые смогли бы подхватить reiser4?

reiser4 рулит

эх жаль Ханса закрыли :(

Может ему таки разрешат ноут с инетом? Снова будет приносить пользу человечеству

Выигрыш reiser4 на случайном доступе по сравнению с reiserfs и jfs объясняется скорее всего именно логической структурой FS (Dancing Trees vs. B+-Trees), что никого удивлять не должно :)

>Первое место взял однозначно reiser4 c результатом 55 сек.

Если есть возможность, монтируй с noatime - получше работает...

Наверно теперь Рейзер4 никогда не будет включена в стабильное ядро. А жаль.

может написать петицию чтобы Ганса в клетке заставили писать райзерфс ;-)

>может написать петицию чтобы Ганса в клетке заставили писать райзерфс ;-)

и скастить срок, если хорошо кодить и вести себя будет.

Угу, общественно-полезной деятельностью пусть занимается :)

смешно, шо п^$6eц

А у Ганса спрашивали нужно ли ему это?

Дык, когда в тюрьму сажают, то не спрашивают, нужна ли заключённому та или иная работа :)

Интересно сравнить reiserfs с ZFS...

Блин, человека в тюрьме за убийство закрыли, придурки стебуццо...

> Интересно сравнить reiserfs с ZFS...

Кстати да.

То, что ext3 - самая тормозная при параллельных запросах - это было и так известно :(

dancing trees не имеет никакого отношения к структуре FS, это техника флаша грязных нодов дерева при кототрой новые ноды дерева не алоцируют номера нодов на диске а имею фейковые номера во время балансировки с тем чтобы алоцировать их потом, на флаше и таким образом разместить ноды дерева в порядке нужном FS: минимум фрагментации всех типов, возможно союлюдая проавила фибров и все такое. А старые грязные ноды как я помню на флаше могут переалоцироваться с тем чтобы получить более "поавильные" номера нодов.

Хотелось бы увидеть сравнения производительности линукс fs с виндовыми на винде и возможно с тем что работает на солярисе (zfs?). Думаю данные сравнения будут более информативны.

Класс, нашелся хоть один понимающий человек :) Действительно, dancing trees - лишь некий слой абстракции, препятствующий фрагментации и избавляющий от ненужных балансировок

http://jack.kiev.ua/linuxjournal/LJ/0109/6569.html :

>Reiser4 reduces the number of internal nodes, nodes containing pointers, from the number required for ReiserFS v3. The number of internal nodes required for ReiserFS v3 to store the 188MB Linux kernel 2.4.1 source code tree is 1,629. Reiser4 requires only 164. As a result, the amount of RAM required to store pointers to nodes is reduced dramatically in Reiser4.

вот поэтому Reiser4 и быстрее, т.к. ему приходится обрабатывать меньше метаданных

Тесты - фигня, не приведена загрузка процессора и пожираемое время.

Ибо древняя мудрость гласит: как бы быстро не читались данные, но если проц на 100% занят оным чтением - то софту ничего не останется и быстрее софт не запустится.

Нашёл какое-то сравнение ZFS и reiserfs: http://cmynhier.blogspot.com/2006/05/zfs-benchmarking.html

> dancing trees не имеет никакого отношения к структуре FS, это техника флаша грязных нодов дерева при кототрой новые ноды дерева не алоцируют номера нодов на диске

Сдается. что ты путаешь dancing trees с delayed allocation...

> вот поэтому Reiser4 и быстрее, т.к. ему приходится обрабатывать меньше метаданных

Ну да, если б все так просто было, все жили бы в Сочи :)

>Ибо древняя мудрость гласит: как бы быстро не читались данные, но если проц на 100% занят оным чтением - то софту ничего не останется и быстрее софт не запустится.

Ибо мудрость kernel developer'а гласит: не снимать блокировки с процесса до завершения его IO-запроса. Так что иди в жопу, профан красноглазый.

Ганс - волшебник :) Его reser4 лучшая - ФС в мире.
http://linuxhelp.150m.com/resources/fs-benchmarks.htm
Даже с сжатием она рвет любую extX при этом еще и сохраняя дисковое пространство.

Не обгоняет по производительности reiserfs ZFS: http://cmynhier.blogspot.com/2006/05/zfs-benchmarking.html

Еще, если бы не разосрался со всеми, вообще было бы хорошо..

> Первое место взял однозначно reiser4 c результатом 55 сек.

Ну надо же... Оказывается это был тест гонщиков...

Значит выходит, что лучшая машина для передвижения по городу это Феррари...

Мда... Что еще сказать об уровне автора...

Я бы на вскидку дал бы лет 17 - не больше.

Вот оно проявление плачевной ситуации с российским образованием...

С сайта: "В общем, по результатам этого теста, я теперь в раздумьях по поводу переползания на reiser4"

- Ежики плакали и кололись, но упрямо лезли на кактус...

>Тесты - фигня, не приведена загрузка процессора и пожираемое время.

Вот тут согласен. Неплохо бы отметить нагрузку на процессор относительно данных тестов. Это таки важный для многих момент.

Что-то уныло как-то...

>> Первое место взял однозначно reiser4 c результатом 55 сек.

>Ну надо же... Оказывается это был тест гонщиков...

>Значит выходит, что лучшая машина для передвижения по городу это Феррари...

Тут речь идет о linux и скорости фс - при чем тут вообще машины для передвижения по городу ? Это не сайт таксистов.

Вы ж вроде участвовали в разработке reiser4, если мне не изменяет память. Интересно ваше мнение по поводу перспектив развития этой файловой системы, да и про текущее её состояние(баги, недоработки и всё такое). Если не лень, отпишитесь.

P.S. Юзаю reiserfs и вцелом не имею никаких проблем.

Результаты любопытные, но если серьезно то какова была загрузка процессора и памяти? Для некоторых задач именно эти параметры крайне важны. Если автор возьмет на себя труд и включит эти характеристики в последующие тесты файловых систем думаю результаты получатся еще более интересными.

Забавные данные. Если интересно могу послать скрипт для UDAV и картинку (PNG) с диапазонами ошибки. Пишите на mathgl.abalakin(at)gmail.com.

>Результаты любопытные, но если серьезно то какова была загрузка процессора и памяти?

Их измерить достаточно трудно в комплексе. Особенно - затраты памяти. Это ж в ядре, не прикладной задаче. Если смотреть загрузку CPU на отдельных тестах - можно обратить внимание на sys в отчёте time. В логах они есть.

А так - я теперь в новых тестах стараюсь ставить конкретные задачи, где загрузка CPU уже будет автоматически включаться в тест. Скажем, то же время отработки emerge.

На gnuplot решения нет? :)

А так - можно слать на balancer@balancer.ru

Послано.

> А так - можно слать на balancer@balancer.ru

Опс, проблемка: Delivery to the following recipient failed permanently: balancer@balancer.ru

Странно. Почтовик почту принимает, тот же спам прямо сейчас понемногу сыплется...

Да, reiser4 рулит по всем параметрам. Юзал бы её, если бы не одна ошибка. Может мне что-то дельное подскажет всемогущий All.

Проблема заключается в том, что когда на диске нет места, и какой-то процес пытается записать данные, то процес зависает, файл записывается битым куском, и при этом возникают тормоза, и в dmesg сыпятся ошибки. При этом бывает что бьются системные либы. После этого перезапускаюсь в init=/bin/bash, чекаю FS, и вижу валом ошибок. Впоследний раз юзал на 2.6.23. Не знаю, может с того времени что-то изменилось. Кроме этого, некогда не было проблем с этой FS.

> Кроме этого, некогда не было проблем с этой FS.

Неработоспособность - это и есть единственная проблема, всё остальное - мелкие недостатки.

> Проблема заключается в том, что когда на диске нет места, и какой-то процес пытается записать данные, то процес зависает, файл записывается битым куском, и при этом возникают тормоза, и в dmesg сыпятся ошибки. При этом бывает что бьются системные либы. После этого перезапускаюсь в init=/bin/bash, чекаю FS, и вижу валом ошибок. Впоследний раз юзал на 2.6.23. Не знаю, может с того времени что-то изменилось. Кроме этого, некогда не было проблем с этой FS.

Недавно поправили вот этими патчами: http://marc.info/?l=reiserfs-devel&m=120914767218495&w=2 http://marc.info/?l=reiserfs-devel&m=120914767118492&w=2

> Недавно поправили вот этими патчами

Хмм... А тонны assert'ов - это для улучшения стабильности работы?

> Хмм... А тонны assert'ов - это для улучшения стабильности работы?

Ну не знаю, про ассерты эти, вроде, немало уже клав избито было..

Это значит, что Reiser4 online! И это хорошо :)

Как саботируют reiser4: http://linuxhelp.150m.com/jews/saboteurs.htm

>Недавно поправили вот этими патчами:

Ой пасибо!

> Как саботируют reiser4: http://linuxhelp.150m.com/jews/saboteurs.htm

Ну это известный факт, что чувак, который этот ресурс держит, слегка больной на голову.

> Ганс - волшебник :) Его reser4 лучшая - ФС в мире.

Все инкарнации reiserfs НЕстабильны, под нагрузкой падают не реже раза в неделю, проверенно многими и многократно. Кроме того, при серьезной работе с данными (если не два гига брать, а хотя бы 200) начинают жутко тормозить на параллельном чтении и записи на страйпнутые рейды.

Для домашнего компа, наверное, подойдет, если максимум дисковой активности -- нарезка болванок. Скорость работы с файлопомойкой у него непревзойденная.

>Все инкарнации reiserfs НЕстабильны, под нагрузкой падают не реже раза в неделю

Почему у меня ни одного падения не было за 4 года работы на трёх HDD на сервере, выполняющим в пике более 1000 SQL-запросов в секунду из которых процентов 20 - update и отдающий юзерам около миллиона хитов в сутки? :) - http://admin.airbase.ru/globalstat/

А вот ext3 до этого пару раз на заметно меньшей нагрузке на той же машине ломался...

Другие FS под высокими нагрузками, правда, не испытывал. Но, вот, обычное многопоточное копирование портежа только что на домашней машине показало, что ext2, xfs и vfat на нём ломаются через раз :)