SSD кэш для BTRFS

Годика четыре назад, еогда ещё только появился atlon FX8350 или 150 я держал zfs в режиме 5 рейда на котором лежало 2 терабайта торрентов.
Так вот, помимо этого я ещё сохранял на него вебстраницы, с которых торрент файлы закачивал и как и всякие вебстраницы они мели кучу мелких файлов.
Ну понятно, что страницы могли лежать пол года или год, и ни я, ни кто либо ещё их не смотрел.
И вот в один прекрасный момеет возникали ошибки ФС и эти мелкие файлы к которым давно не обращались портились и после устранения ошибок пропадали.

Не знаю, осталась эта проблема на zfs сейчас или нет.

Так, стоп, ты Btrfs на HDD планируешь ставить?

Да, об этом можно догадаться по заголовку темы и оп-посту. Хотя кого я обманываю, это уже не тема про SSD кэш для BTRFS, теперь это очередная тема про «BTRFS сасёт или нет»

Это нормально. Ну, вернее, не совсем, но это общая проблема. А учитывая, что ZFS нежурналируемая…

Расширенные атомарные переименования (exchange, noreplace), white-out'ы, атомарные временные файлы, ... — вот это всё.

А какие выводы нужно сделать из-за неподдержки всего этого ненужного барахла?

Да, об этом можно догадаться по заголовку темы и оп-посту.

Я что-то потерял нить.

Хотя кого я обманываю, это уже не тема про SSD кэш для BTRFS, теперь это очередная тема про «BTRFS сасёт или нет»

Да, что-то тред превратился в толксовый.

А какие выводы нужно сделать из-за неподдержки всего этого ненужного барахла?

Что иногда лучше жевать, чем называть ненужным барахлом то, в чём ничего не понимаешь.

Ну хорошо. Поставим вопрос по-другому. Какие выводы нужно сделать из того, что файловая система не поддерживает расширенные атомарные переименования (exchange, noreplace), white-out'ы и атомарные временные файлы?

1. Где я в этом треде упоминал ZFS?
2. Я периодически тестирую btrfs на стенде с различными типами нагрузки и........ она как падала, так и падает до сих пор.

Какие выводы нужно сделать из того, что файловая система не поддерживает расширенные атомарные переименования (exchange, noreplace), white-out'ы и атомарные временные файлы?

Это было сказано в подтверждение моего предыдущего тезиса:

И причёсывать для совместимости с современным VFS там тоже нужно очень много.

В чём именно выражается падение? При каких условиях оно воспроизводится?

В чём именно выражается падение?

Как правило kernel panic.

При каких условиях оно воспроизводится?

Сделай raid, включи сжатие, включи autodefrag, сделай большое i/o на дисковой подсистеме (желательно смоделировать нагруженный файл-сервер, с множеством конкурентных потоков записи), получи профит.

Ты можешь привести сценарий для fio или любого другого I/O тестера? У меня вотпрямщас есть инстанс btrfs RAID5 на крайне бюджетном железе, на котором одновременно крутятся торренты и постгрес.

Где я в этом треде упоминал ZFS?

Нигде, но мы все знаем, что у тебя bias в её сторону.

Я периодически тестирую btrfs на стенде с различными типами нагрузки и........ она как падала, так и падает до сих пор.

А у меня не падает. ЧЯДНТ? Это не сарказм, это вопрос, который следует понимать буквально.

И причёсывать для совместимости с современным VFS там тоже нужно очень много.

А как вообще поддержка чего-то связана с совместимостью? Получается, что если ФС не поддерживает xattrs она не совместима с VFS? Тебе надо подучить матчасть.

Удваиваю реквест готового сценария. У меня тут как-раз намечается железо на котором можно с тесты погонять перед вводом «в продакшен»

Я даже специально проверил — нет, fstrim до сих пор не реализовали. А без него ZoL для SSD не годится.

Удваиваю реквест готового сценария.

У меня нет готового сценария. Стоит сервер в стойке, никому не нужный, раз в пару месяцев мои «таджики» строят raid средствами btrfs и гоняют всякое, обычно то, что сейчас в работе. О результатах докладывают. Пока сплошной fail.

тесты погонять перед вводом «в продакшен»

Хорошо, что ты продакшн взял в кавычки, это правильно.

Нигде, но мы все знаем, что у тебя bias в её сторону.

Паранойя?

Есть у bcache какие-то способы посмотреть чем именно занят кэш и почему?

Да.

Кто-то тут грозился рассказать как копаться в кэше bcache.

Он спросил, можно ли. Я сказал, что да.

Смутно помню, что там через sysfs можно было смотреть огромную простыню статистики в динамике, рулить стратегиями, сбрасывать кеш и даже отключать запись на второй слой.

Стоит сервер в стойке, никому не нужный, раз в пару месяцев мои «таджики» строят raid средствами btrfs и гоняют всякое, обычно то, что сейчас в работе. О результатах докладывают. Пока сплошной fail.

Спасибо, поржал. Опять Карлуша обосралась со своим фимозом.

Фракталушка, родной,между строк искать смысл не надо, оно тебе вредно. btrfs можно положить на любом сценарии, рандомно, даже методика не нужна.

А как вообще поддержка чего-то связана с совместимостью?

Косвенно. Это признак того, что ФС не обновлялась для поддержки новых интерфейсов со времён 2.6.39. Там всё сейчас держится на устаревших интерфейсах.

Это признак того, что ФС не обновлялась для поддержки новых интерфейсов со времён 2.6.39. Там всё сейчас держится на устаревших интерфейсах.

А кто вообще сказал, что любая ФС должна поддерживать все эти интерфейсы?

причёсывать для совместимости с современным VFS там тоже нужно очень много.

Далее, в reiser4 не поддерживаются никакие фичи VFS, появившиеся после 2.6.39. Расширенные атомарные переименования (exchange, noreplace), white-out'ы, атомарные временные файлы, ... — вот это всё.

Это много кем не поддерживается. Например, ReiserFS, JFS. С какого перепуга reiser4 должна всё это поддерживать?

И вот в один прекрасный момеет возникали ошибки ФС и эти мелкие файлы к которым давно не обращались портились и после устранения ошибок пропадали.

Решается установкой памяти с поддержкой ECC. Это если хотите современную фс без подобных проблем.

Не думаю что дело в памяти, потому что тогда этот баг затрагивал бы любые файлы, не завистмо от их размера давности последнего чтения.