Во FreeBSD появился «упреждающий» дисковый планировщик

>> По ряду параметров SSD пока вдрызг сливают традиционным HDD

Вот именно, что _ПОКА_. Но с современными темпами внедрения новинок - через пару лет мы про механику в hdd будем вспоминать, как про страшный сон (и про zfs тоже). Теперь по пунктам. 1. Применение специализированных fs сильно снижает актуальность этой проблемы. Привет zfs. 2. Всё со временем дешевеет, а при уменьшении техпроцесса - особенно.

И не Ваше

3. (линейная скорость). Чем больше микросхем в параллель, тем выше скорость.

>Но с современными темпами внедрения новинок - через пару лет мы про механику в hdd будем вспоминать, как про страшный сон (и про zfs тоже). Теперь по пунктам. 1. Применение специализированных fs сильно снижает актуальность этой проблемы. Привет zfs. 2. Всё со временем дешевеет, а при уменьшении техпроцесса - особенно.

Ухахаха! Не надо психиаторов.

ZFS создавалась для НЕНАДЁЖНЫХ носителей. Механические винчестеры — один из ненадёжных носителей в долгосрочной перспективе, SSD — в краткосрочной. ;)

>> Ухахаха! Не надо психиаторов.

Помнится первое "Ухахаха" я заслужил, когда говорил о скорой смерти шины ISA. (меня убеждали, что в силу некоторых свойств, замены ей нет)

>> ZFS создавалась для НЕНАДЁЖНЫХ носителей

Здесь остаётся только пальцем у виска покрутить. Нет, конечно можно на SSD и zfs, и ufs и даже fat юзать, но это удел бестолковых гиков.

> (меня убеждали, что в силу некоторых свойств, замены ей нет)

Тебе не врали, кстати. В промышленных компьютерах isa до сих пор живее всех живых.

> ZFS создавалась для НЕНАДЁЖНЫХ носителей. Механические винчестеры — один из ненадёжных носителей в долгосрочной перспективе, SSD — в краткосрочной. ;)

Изень, ты достал. Хватит уже бестолковой пропаганды, а? Она тем от толковой отличается, что только вредит. Ну ладно, многие линуксоиды тонкостей фряхи не знают, и на твои передёргивания фактов ведутся... но здесь ведь и фряшники бывают. Хватит гнать.

> Помнится первое "Ухахаха" я заслужил, когда говорил о скорой смерти шины ISA. (меня убеждали, что в силу некоторых свойств, замены ей нет)

Не хочу тебя огорчать, но и сейчас во многих компах есть ISA, просто она не выведена наружу в виде разъёмов. Так что вот. :)

>lspci | grep -i isa
00:1f.0 ISA bridge: Intel Corporation 82801FB/FR (ICH6/ICH6R) LPC Interface Bridge (rev 05)

Да, я в курсе. ;) И я бы даже сказал - не во многих, а в подавляющем большинстве есть. (но тогда речь шла о покупке модема)

У лиссяры вас уже заслешдотили в "приколах". Счас придут... Да, и - какое УГ этот наш линукс! :)

> Вот именно, что _ПОКА_.

Когда все это переменится (возможно, года через 3-4), к этому вопросу можно будет вернуться. А _ПОКА_, увы и ах, ssd в пролете.

Наверное это происходит потому, что в промышленности важнее эффективность, а не всякие рюшки. Там и 386-й живее всех живых, особенно в тех условиях, где другие не живут. Кстати, в промышленности много других интересных стандартов, которые не попали на пользовательский десктоп, но, полагаю, это уже окончательный оффтопик.

Гораздо быстрее. У SSD есть замечательное маркетологическое свойство - конечность циклов перезаписи. Это вынудит пользователя апгредить накопитель каждые два-три года (при полной бессмысленности покупки бу). Поэтому данный стандарт будут продвигать всеми правдами и неправдами. ;)

С темпами развития фряхи - об этом надо было думать уже вчера

Вот что-что, а FAT в BSD точно быстрее, накипело после попытки закинуть 200-мб-айтный файл на флешку в Linux (2.6.26).

> Вот что-что, а FAT в BSD точно быстрее, накипело после попытки закинуть 200-мб-айтный файл на флешку в Linux (2.6.26).

Монтировал с sync? Ну ССЗБ.

>Изень, ты достал. Хватит уже бестолковой пропаганды, а? Она тем от толковой отличается, что только вредит. Ну ладно, многие линуксоиды тонкостей фряхи не знают, и на твои передёргивания фактов ведутся... но здесь ведь и фряшники бывают. Хватит гнать.

На, почитай: "О перспективах ZFS и флэш-памяти" http://blogs.sun.com/jonathan_ru/date/20080610

Есть что возразить?

>Здесь остаётся только пальцем у виска покрутить. Нет, конечно можно на SSD и zfs, и ufs и даже fat юзать, но это удел бестолковых гиков.

Предлагаешь на флэше юзать Ext3 или Btrfs? Первая очень быстро "изотрёт" до дыр ячейки своим журналом, вторая даже работать не станет под нагрузкой, на которой работают винты.

>> Предлагаешь на флэше юзать Ext3 или Btrfs?

0_о. OMFG. Ты реально так думаешь, или прикидываешься?

После этого авторитет цитируемого г-на сильно померк в моих глазах.

>После этого авторитет цитируемого г-на сильно померк в моих глазах.

Отчего же конкретно? С чем не согласен?

sync

>Ты реально так думаешь, или прикидываешься?

Я реалист-прагматик.
Ext3 не может быть использована на SSD. Btrfs всё ещё сырая для использования в продакшене. Ext4 пока экспериментальная (вот выпустят Ubuntu 9.04 с ней "искароппки" — будем разговривать).

Больше универсальных и надёжных файловых систем в ядре Linux нет: XFS и Raiser3 падают с большой вероятностью от сбоя питания. У Raiser деградирует производительность со временем от фрагментации. JFS, если только... Остаётся "донашивать" механику, которая остаётся от FreeBSD и Solaris, ведь эти системы уже готовы к работе с SSD. Три-пять лет есть в до доводки до приемлемого состояния Btrfs, может что и выйдет путного.

> На, почитай: "О перспективах ZFS и флэш-памяти" http://blogs.sun.com/jonathan_ru/date/20080610

Во-первых, iZEN, я администратор FreeBSD с трёхлетним стажем, а сколько являюсь пользователем - даже затрудняюсь сказать. Первая версия, в которую я залогинился, была 4.7. Поэтому сильные и слабые стороны этой системы я не то, чтобы знаю досконально, но слегка представляю.

Во-вторых, не надо мне приводить в пример сановскую рекламную лапшу по поводу zfs. У меня эта файловая система на личном ноутбуке и паре серваков есть, уже удалось пощупать, да. Zfs на фряхе находится в состоянии, которое я лично определил бы как "ранняя бета". На некоторых операциях она до сих пор рушит или тормозит систему - мама не горюй. Поэтому не нужно её сравнивать с какой бы то ни было линуксовой системой, используемой в продакшне, ладушки?

> Первая очень быстро "изотрёт" до дыр ячейки своим журналом...

Ты почитай, как работает zfs, поподробней. Не рекламу Sun почитай, а техническое описание. Куда и как она пишет данные, куда и как - метаданные. Как часто эту информацию обновляет. Потом говори.

> Btrfs всё ещё сырая для использования в продакшене.

А zfs - нет? Знаешь, на ЛОРе до хрена полудурков, которые рипают всё, что не их любимый дистр, но тут даже я, фряшник, признаю - ты больной фанатик. Пообъективнее надо быть, да.

> На, почитай: "О перспективах ZFS и флэш-памяти" http://blogs.sun.com/jonathan_ru/date/20080610

Художественный свист на тему "быстрее, выше, сильне, глубже, чаще". Единственное, что понятно - flash-память будет использоваться для кэширования наравне с DRAM. А насчет износа - свист вида: "Постоянно совершенствующиеся алгоритмы выравнивания износа также позволяют продлить срок службы флэш-памяти — за счет предотвращения создания горячих участков многократной записи. Но в конечном итоге при использовании ZFS износ не является проблемой (в конце концов, и жесткие диски, и флэш-память имеют ограничения по износу)." Т.е. ZFS по-быстрому убьет ваш флэш, но вы не волнуйтесь - она сохранит где-нибудь бэкап.

Чет я не понял. Оно вроде в любой нормальное системе "ис каропки" уже так и работает. =\ Следующим шагом, наверное, будет планировщик записи. :D

Угу. Это хорошо, что есть anticipatory, сfq и т.д. Но они не помогают, когда сталкиваешься с этим - http://bugzilla.kernel.org/show_bug.cgi?id=12309 - двухлетняя проблема, иногда просто невозможные тормоза c этими iowaits. :( Хоть сейчас какое-то шевеление наблюдается.

>А zfs - нет?

Нет. И ты знаешь почему.

>Знаешь, на ЛОРе до хрена полудурков, которые рипают всё, что не их любимый дистр, но тут даже я, фряшник, признаю - ты больной фанатик.

Да, я здесь фанатик — как и все в вопросах веры. ;)
Но почему "больной"? Ты дохтур что ли?

>Пообъективнее надо быть, да.

Не согласуется с LOR'ом. Кто первый крикнет, того и тапки! :)

>> Я реалист-прагматик. Ext3 не может быть использована на SSD...

А я тогда не знаю, кто, но мне даже в голову такое прийти не могло. Использовать fs, заточенную под обычный хард на SSD - это даже не извращение, это вредительство.

Обязательные фичи требуемой fs - минимизация количества циклов записи для каждой ячейки и более-менее равномерное их распределение между всеми ячейками.

Второе. когда дохнет обычный хард - он дохнет совсем. когда вырабатывается SSD - он переходит в режим ридонли. То есть инфа сохраняется.

Посему zfs, ufs, fat, ext, & etc. здесь просто неуместны

Вообще-то, Шварц сообщил, что ZFS оттюнили по быстродействию — на гибридных системах хранения OpenStorage она теперь быстрее в 5..50 раз в зависимости от операций по сравнению с ранними версиями.
http://blogs.sun.com/jonathan_ru/date/20081126

А чего там "изнашивается", если продажи установок возросли — пока не считают за расход.

>У Raiser деградирует производительность со временем от фрагментации.

Назови хоть одну FS, у которой производительность от этого не деградирует

>А я тогда не знаю, кто, но мне даже в голову такое прийти не могло. Использовать fs, заточенную под обычный хард на SSD - это даже не извращение, это вредительство.

Не нужно быть таким ограниченным. "Обычные" FS (FAT, NTFS, ZFS, Ext2/3/4, Btrfs, XFS, JFS) были и являются всего лишь высокоуровневыми решениями над железячными реализациями систем хранения.

Откуда такая тупая телячья уверенность, что FS операционной системы знает, как распределяются данные на дисках, в ячейках памяти, "почему байтики не перемешиваются" и т.д.? Естественно, что за износ и быстродействие носителя отвечает прежде всего аппаратный транслятор логической адресации, которой оперирует FS, в физическую адресацию, которой располагает устройство.

>Обязательные фичи требуемой fs - минимизация количества циклов записи для каждой ячейки и более-менее равномерное их распределение между всеми ячейками.

Угу. Nokia уже изобрела такую низкоуровневую FS для непосредственной адресации пространства носителя на уровне адресов ячеек.

> А чего там "изнашивается", если продажи установок возросли — пока не считают за расход.

Бгг. Ну тогда какие претензии к ext3?

> Нет. И ты знаешь почему.

Да ну? Даже не догадываюсь.

У меня эта ФС и тормозит (13-я чуть меньше, чем 6-я, но тоже непростительно много на мой взгляд) и периодически (сейчас, правда, крайне редко) вешает системы. Все здравые программисты/гуру/тестеры FreeBSD team отмечают, что zfs - not for production use. Может, ты знаешь что-то, чего не знаю я? Ну там, какие-то шаманские камлания, после которых zfs становится зверски стабильной? Или если прочитать рекламный проспект Сан сто раз, такой эффект достигается?

Нет, серьёзно, откуда у тебя мнение, что zfs готова? Приведи примеры из личного опыта, типичную нагрузку на разделы с zfs, конфигурацию машин, на которых она работает, содержимое sysctl.conf/loader.conf. Пока я не слушал внятных заявлений от кого бы то ни было на эту тему, не считая маркетоидной движухи Сан.

>Назови хоть одну FS, у которой производительность от этого не деградирует

Деградирует у всех. Но скорость деградации разнится на порядки!

UFS2: адресует данные на уровне фрагментов блоков и не использует журналирование на том же разделе носителя. Что это значит? Если в блоке 16 секторов (512 байт), то за счёт адресации фрагментов блока (обычно 8 фрагментов по 2048 байт) файловой системе удаётся вписать в не до конца заполненный блок ещё и часть другого файла! Фрагментация с течением времени на интенсивных дисковых операциях практически не ощущается — до 5..7% за всё время службы винчестера без переформатирования.

Чего нельзя сказать о Raiser3 и Ext2/3 — за год доступное пространство "утекает" так же, как на FAT16 во времена гиговых винчестеров, а суммарный размер "сухого остатка" из тех самых мелких файлов, которые заступили на блок/кластер хоть одним своим байтом, — порядка 50% от первоначальной ёмкости винчестера, если не печальнее.

>У меня эта ФС и тормозит (13-я чуть меньше, чем 6-я, но тоже непростительно много на мой взгляд) и периодически (сейчас, правда, крайне редко) вешает системы. Все здравые программисты/гуру/тестеры FreeBSD team отмечают, что zfs - not for production use.

>Может, ты знаешь что-то, чего не знаю я? Ну там, какие-то шаманские камлания, после которых zfs становится зверски стабильной? Или если прочитать рекламный проспект Сан сто раз, такой эффект достигается?

Пишут при подгрузки соответствующего модуля ядра, что эта файловая система "экспериментальная". Это надо воспринимать так, что ZFS не для всех аппаратных конфигураций.
Рекомендуется: 64-битная версия FreeBSD и как можно большой объём оперативной памяти. ZFS это "гибридная" файловая система, в которой основное внимание уделяется операциям в оперативной памяти, и уж затем данные пишутся транзакционно на носитель.
2, а ещё лучше 4 и более ГБ ОЗУ — это те объёмы, на которых есть где развернуться "гиридным" пулам ZFS.


>Нет, серьёзно, откуда у тебя мнение, что zfs готова?

OpenSolaris же выпустили на её основе. ZFS используется уже во всю в продакшене. Что до FreeBSD, то пишут же, что не для всех аппаратных конфигураций она предпочтительна.

>Приведи примеры из личного опыта, типичную нагрузку на разделы с zfs, конфигурацию машин, на которых она работает, содержимое sysctl.conf/loader.conf.

Сайт Лиссяры уже на ней работает. У меня пока нет подходящей аппаратной конфигурации, но, думаю, к лету соберу.

>Пока я не слушал внятных заявлений от кого бы то ни было на эту тему, не считая маркетоидной движухи Сан.

Кто мешает прочитать статьи, пусть и предвзятые, у того же Федорчука?
"FreeBSD: ZFS vs UFS, и обе — против всех": http://alv.me/?p=66
"Снова про ZFS: диск хорошо, а два лучше": http://alv.me/?p=67

Господа, вас так интересно читать.Продолжайте =)

>Деградирует у всех. Но скорость деградации разнится на порядки!

Т.е. в десятки, сотни, тысячи раз? Чувствую в тебе крутого авторитета! :)

>UFS2: адресует данные на уровне фрагментов блоков и не использует журналирование на том же разделе носителя. Что это значит? Если в блоке 16 секторов (512 байт), то за счёт адресации фрагментов блока (обычно 8 фрагментов по 2048 байт) файловой системе удаётся вписать в не до конца заполненный блок ещё и часть другого файла! Фрагментация с течением времени на интенсивных дисковых операциях практически не ощущается — до 5..7% за всё время службы винчестера без переформатирования.

Бла-бла-бла... А если по сути: запись элементов каталогов точно такая-же как и в ext3 (таблица), файлы адресуются екстентами, и (сюрприз!) фрагменты не могут расти бесконечно. Так что тупит UFS2 при фрагментации ничуть не лучше/хуже, чем ext3/4

>Чего нельзя сказать о Raiser3 и Ext2/3 — за год доступное пространство "утекает" так же, как на FAT16 во времена гиговых винчестеров, а суммарный размер "сухого остатка" из тех самых мелких файлов, которые заступили на блок/кластер хоть одним своим байтом, — порядка 50% от первоначальной ёмкости винчестера, если не печальнее.

Феерический бред. Чтобы потери дискового пространства были 50% нужно чтобы файлов размером в половину блока было подавляющее большинство (чего не наблюдается), а про Reiser (REiser, быдло!) говорить такое это вообще ФГМ последней стадии.

> REiser, быдло!

ч0рт, я тоже хотел это сказать %)

>> Не нужно быть таким ограниченным. "Обычные" FS (FAT,...

Логика работы разная. Не могу понять, почему мне приходится объяснять прописные истины, которые неизвестны разве что пионерам?

> Чего нельзя сказать о Raiser3 и Ext2/3 — за год доступное пространство "утекает" так же, как на FAT16 во времена гиговых винчестеров, а суммарный размер "сухого остатка" из тех самых мелких файлов, которые заступили на блок/кластер хоть одним своим байтом, — порядка 50% от первоначальной ёмкости винчестера, если не печальнее.

Если можно ссылку на [i]внятный и технически грамотный[/i] первоисточник. Особенно интересует 50% фрагментации применительно к ext3. Крайне жажду увидеть такие циферки.

----- > Пишут при подгрузки соответствующего модуля ядра, что эта файловая система "экспериментальная". Это надо воспринимать так, что ZFS не для всех аппаратных конфигураций. Рекомендуется: 64-битная версия FreeBSD и как можно большой объём оперативной памяти. ZFS это "гибридная" файловая система, в которой основное внимание уделяется операциям в оперативной памяти, и уж затем данные пишутся транзакционно на носитель. 2, а ещё лучше 4 и более ГБ ОЗУ — это те объёмы, на которых есть где развернуться "гиридным" пулам ZFS.

И чо? Мой ноут на двухядерном Turion TL-64, 4га мозгов на борту. Тормозит. Виснет. Если это - недостаточная конфигурация, что же тогда достаточная?

> OpenSolaris же выпустили на её основе.

Это называется "оттачивание технологий на комьюнити". Косвенно свидетельствует как раз о неготовности.

> ZFS используется уже во всю в продакшене.

Ссылки на развёрнутый отчёт по поводу использования zfs. Какие компании, сколько серверов, какова специфика нагрузки, мнение технарей.

> Сайт Лиссяры уже на ней работает. У меня пока нет подходящей аппаратной конфигурации, но, думаю, к лету соберу.

При всём моём к Лисяре (весьма немалом) уважении, он маньяк. Пусть и в хорошем смысле этого слова, но - следовать его примеру в использовании zfs в продакшне я пока погодю. В кризис, знаешь ли, увольняют быстро...

> Кто мешает прочитать статьи, пусть и предвзятые, у того же Федорчука?

Читал. Они столь же бесполезны и полны маркетоидной шелухи, как и реклама Сан. А zfs в моих системах от этого лучше не работает.

Посмотрите на досуге как устроен SSD носитель, и чем он отличается от обычного hdd. а то я вижу вы с предметом незнакомы.

>И чо? Мой ноут на двухядерном Turion TL-64, 4га мозгов на борту. Тормозит. Виснет. Если это - недостаточная конфигурация, что же тогда достаточная?

ZFS более или менее прилично работает только в Solaris сейчас. В FreeBSD это очень все печально пока. Не видел правда как оно на MacOS X сейчас.

> REiser, быдло!

Ну вот и вбросили говно на вентилятор :D

C: hatning

Из рассылки freebsd-performance 

Subject: Re: ZFS, NFS and Network tuning (Paul Patterson)


I was getting almost 700 Mb/sec consistently over two drives striped (SAS) with ZFS on the drives and running it from a Linux client over NFS.

У чувака не тормозит.

> ZFS более или менее прилично работает только в Solaris сейчас. В FreeBSD это очень все печально пока. Не видел правда как оно на MacOS X сейчас.

Ну, как оно там работает, не в курсе, не пробовал. Но iZEN-то говорит о FreeBSD. И, судя по его рассказам, во фряхе всё шоколадно с zfs.

> У чувака не тормозит.

Чуваку пока просто везет. Если ваши заказчики согласны, чтобы их работа зависела от вашей удачи - юзайте фряху+ZFS на здоровье :)))

> У чувака не тормозит.

Тормозит не всмысле установившейся скорости передачи на больших последовательных чтениях, а в смысле периодически фризит систему на сроки порядка секунды другой (до 5 секунд бывает) во время работы нескольких задач с активным случайным доступом к большому количеству мелких файлов. Наблюдалось лично мной на 7.1R, 7S и 8С каждый раз, когда интенсивность работы с диском переваливает за какой-то порог.

ZIL stands for ZFS Intent Log. It is used during synchronous writes operations. The ZIL is an essential part of ZFS and should never be disabled. Significant performance gains can be achieved by not having the ZIL, but that would be at the expense of data integrity. One can be infinitely fast, if correctness is not required.

vfs.zfs.zil_disable=1
vfs.zfs.prefetch_disable=1

> ZIL stands for ZFS Intent Log. It is used during synchronous writes operations. The ZIL is an essential part of ZFS and should never be disabled. Significant performance gains can be achieved by not having the ZIL, but that would be at the expense of data integrity. One can be infinitely fast, if correctness is not required.

То есть, либо скорость, либо целостность? Не смешно.

А никто и не говорит про заказчиков. И немного лукавят, когда говорят, что рекомендуется 64 битная платформа, наоборот категорически не рекомендуется 32 битная и скорее всего никто не будет ее улучшать.

Можно вынести этот ZIL на отдельные тома с очень быстрыми дисками, но в фрибсд этого вроде еще нет.