Деградация zfs, btrfs при заполнении диска

В заначку, чтобы потом остатки B дочитать отдельно ? А смысл ?

Очередь запросов у диска? Не, не слышали. Readahead? Не, не слышали. Оптимизация и быстродействие? Не, не слышали.

Это не более чем теоретические изыскания последовательности
сферического чтения одного блока в вакууме :)

С одной стороны да, но, с другой, каков смысл делать иначе ?

читает со всех шпинделей одновременно.

Смысл так читать есть только при условии реализации независимости отдельных чанков, как анонимус предложил.

Очередь запросов у диска? Не, не слышали. Readahead? Не, не
слышали. Оптимизация и быстродействие? Не, не слышали.

Не, не слышали. В приложении к обсуждаемой проблеме - точно «не». Смысл какой ?

Смысл так читать есть только при условии реализации независимости отдельных чанков

Так работают, как я уже говорил выше, все вменяемые контроллеры. Я тебе ссылку выше кидал на тест контроллеров в raid-6, падение скорости там связано не с «кривым bios» и «слабым процессором», а с отсутствием шпинделя в degraded mode и, в меньшей мере, с необходимостью производить дополнительные расчёты.

Так работают, как я уже говорил выше, все вменяемые контроллеры.

Давай так

d1 d2 d3 d4 d5
---------------
A1 A2 A3 A4 Ap    - time1
B1 B2 B3 Bp B4    - time2
C1 C2 Cp C3 C4    - time3
D1 Dp D2 D3 D4    - time4
Ep E1 E2 E3 E4    - time5

Вапщета есть некоторые оптимизации

например если рейд живой, то блок с контрольной суммой не считывается, ибо нафиг не нужен, а вот если один диск в ауте - приходится считывать всё и вычислять данные, отсюда и просадка иопс, в той ссылке обратил внимание что тестили иопс а не мб/с? Попробуй сделать тест на линейное чтение, разница может и будет, но не такая как с иопс.

Далее, распределение данных ты не правильно показал, блоки ротируются все, а не только с контрольной суммой. Это тоже делается для оптимизации рандом ио.

У mdadm, говорят, чанк по-умолчанию 512К.

Глянул, действительно в современном mdadm чанк, по-умолчанию, 512К, раньше был 8К. Как время летит.

Не находишь, что это заметный такой оверхед для большого количества ситуаций ?

Даже при описанном тобою раскладе это будет работать, сейчас время повальной контейнеризации (в контексте ФС) всего и вся, большие блоки скорее правило, чем исключение.

Когда это он 8к был, я помню 64к. Да и на корзине дефолтный 64к.

Когда это он 8к был, я помню 64к.

А может я вру и было 64К.

d1 d2 d3 d4 d5
---------------
A1 A2 A3 A4 Ap    - time1
B1 B2 B3 Bp B4    - time2
C1 C2 Cp C3 C4    - time3
D1 Dp D2 D3 D4    - time4
Ep E1 E2 E3 E4    - time5

Если бы я программировал raid5, я бы данные так не размещал, так как можно оптимизировать использование дисков и при параллельном чтении задействовать все пять шпинделей, сделал бы что-то подобное этому:

d1 d2 d3 d4 d5
---------------
A1 A2 A3 A4 Ap    - time1 (A1, A2, A3, A4, B1)
B2 B3 B4 Bp B1    - time2 (B2, B3, B4, C1, C2)
C3 C4 Cp C1 C2    - time3 (C3, C4, D1, D2, D3)
D4 Dp D1 D2 D3    - time4 (D4, E1, E2, E3, E4)
Ep E1 E2 E3 E4    - time5 (не нужен, ускорение на 20%, если нет деградации)

так как можно оптимизировать использование дисков

Я, вообще-то, написал про этот вариант, но и про проблему: объём запрашиваемых данных должен превышать N*N*ChankSize, иначе это молочение головками одного шпинделя в пустую.

я бы данные так не размещал

Это не сильно важно:

d1 d2 d3 d4 d5
---------------
A1 A2 A3 A4 Ap    - time1 (A1, A2, A3, A4, E4)
B1 B2 B3 Bp B4    - time2 (B1, B2, B3, B4, E3)
C1 C2 Cp C3 C4    - time3 (C1, C2, C3, C4, E2)
D1 Dp D2 D3 D4    - time4 (D1, D2, D3, D4, E1)
Ep E1 E2 E3 E4    - time5 E уже получен

например если рейд живой, то блок с контрольной суммой не считывается, ибо нафиг
не нужен, а вот если один диск в ауте - приходится считывать всё и вычислять данные

Это всё - ровно то же самое количество шпинделей. Вот вычислять - это да.

в той ссылке обратил внимание что тестили иопс а не мб/с?

Вообще-то не очень. Если вести речь про чтение/запись объёмом меньше страйпа, некоторая просадка на чтении должна быть, но зависящая от производительности процессора. И, если она достаточна, пересчёт должен занимать существенно меньше времени. По ссылке же ад какой-то.

Если мне нужны данные из одного чанка и этот чанк на выпавшем диске, то прочитать мне надо N-1 чанков, и так в M потоков. Что будет с производительностью? Всё еще шлангом прикидываешься?

Если мне нужны данные из одного чанка и этот чанк на
выпавшем диске, то прочитать мне надо N-1 чанков

Если тебе нужны данные из одного чанка, читать бы будешь, всё равно, весь страйп. Всегда. Просто либо все чанки, либо N-1+чётность. Количество операций чтения _никак_ не поменяется.

Схерали? Или ты про кривой софт/bios?

Схерали? Или ты про кривой софт/bios?

Я про RAID. :-)

Если тебе нужны данные из одного чанка, читать бы будешь, всё равно, весь страйп. Всегда. Просто либо все чанки, либо N-1+чётность. Количество операций чтения _никак_ не поменяется.

ты ваще не понимаешь чтоль как рейд работает???
накуя ему читать все An блоки в случае нормальной работы?
это при записи/изменении например блока A2 он перечитает/перезапишет все An + четность
учи матчасть

Ну разъясни мне.

Серьёзно штоле? Я подозревал, но что бы такие базовые вещи объяснять...

Обещаю, я поугараю потом без перехода на личности

Ну как, ничего не надорвал? А то я смотрю ты всё ещё пыжишься, несмотря на то, что тебе тут помимо меня ещё три человека намекнули.

Ну как, ничего не надорвал ?

Нет.

что тебе тут помимо меня ещё три человека намекнули.

И на что они намекнули ? Перечитай. Некоторые, вон, вообще, с отдельными чанками работают, оказывается.

поделил на 4, всё равно байка выходит.

поэтому для многих raid6 это сказка ещё

что поэтому? ладно зеркало в пример или 10ку, но 6 тут причём..

не дели на 4, я вот 3 дня объяснял директорам сидящим на макбуках, что для офиса в 200 человек микротика за 20 шт не хватит, и уж тем более при удалёнщиках и vpn. Бессмысленно.У кучи контор, причём самое смешное торговых более чем 20 магазинов, сервера это amd fx+2 диска. Я ещё в 2014 отказался там работать, сейчас болтал с их админом недавно уволившимся, там до сих пор в качестве серверов 3 компа с FX и 2 дисками в зеркале))) Их вакансия висит круглый год, и руководство всё ищет магистра магии, который заставит mssql+1С работать нормально на wd purple 4 TB... который в 1 рейде сделанном на десктопной материнке асус))) и у них на этом 20 магазинов.

зато у этих директоров: дома в 3+ этажа, галенвагены, отдых в Ницце и пр. плюшки красивой жизни, а ты все работу ищешь... и время тратишь на лоре рассказывая всем какой ты «крутой специалист».

дома в 3+ этажа, галенвагены, отдых в Ницце и пр. плюшки красивой жизни

Ты забыл рассказать, что в этом всём нужного.

как будут обстоять дела в подобных ситуациях у btrfs?

Вот так будут обстоять:

https://www.mail-archive.com/linux-btrfs@vger.kernel.org/msg51100.html

«помощь» от разработчиков проходит по стандартному сценарию. Сначала пускаут пыль в глаза, ну а если быть понастойчивее, то дело оканчивается вот этим:

https://www.mail-archive.com/linux-btrfs@vger.kernel.org/msg51104.html

Ещё один упырь, который считает, что ему все должны оказывать бесплатную техподдержку.

А баг буду иметь в виду.

Ещё один упырь, который считает, что ему все должны оказывать бесплатную техподдержку.

LOL. А куда деньги-то переводить? На какой счет? Чтобы тебе после этого сказали то же самое.

А баг буду иметь в виду.

Это они так называют «баг». Баг - это то, что внезапно обнаружили, и знают, как исправить :)

это ты у этих директоров спроси, раз имеют значит им нужно.

просто высеры этого «специалиста» в адрес людей, зарабатывающих в час больше чем он за месяц, глупы.

раз имеют значит им нужно

Отличная логика.

просто высеры этого «специалиста» в адрес людей, зарабатывающих в час больше чем он за месяц, глупы.

Не оправдываю эрзента, но мерять специалистов по заработку глупо. Гугл вот дохреналиарды зарабатывает, а все их продукты кроме поисковика жуткое говнище (особенно код).

только браузер пока их лучший, особенно пока он в dev-unstable версии, потом хуже работает.

Отличная логика

вполне нормальная, если чел может позволить себе содержать дом, водителя, домработницу, отдыхать там где хочется, а не там на что денег хватает да еще в кредит и т.д. почему бы нет?

мерять специалистов по заработку глупо

почему? исключая тех кто сидит на должностях по блату - вполне нормальная мера. платят столько сколько ты стоишь. что касается этого кадра, то по его постам вполне понятно что не может объяснить он работодателю в понятиях работодателя почему он и его предложение выгоднее. п...ть на лоре о том что все лохи не понимающие а он лучше всех, вот это может.

Гугл вот дохреналиарды зарабатывает, а все их продукты кроме поисковика жуткое говнище (особенно код).

сделай свое не говнище и продавай, что мешает?

А теперь убери один диск из чтения, полочишь скорость на один шпиндель меньше. Вот и падает производительность.

А теперь убери один диск из чтения, полочишь скорость на один шпиндель меньше.

Ты, наверне, пропустил формулу «DataSize > N*N*ChankSize», которая описывает минимальный размер блока данных, когда это работает ?

платят столько сколько ты стоишь.

Да. Но как это коррелирует со специальностью? Стоимость зависит от востребованности, а не от того насколько ты крут.

если чел может позволить себе содержать дом, водителя, домработницу, отдыхать там где хочется, а не там на что денег хватает да еще в кредит и т.д. почему бы нет?

Почему бы нет что? Чел богат, это всё замечательно, но это никак его не характеризует.

сделай свое не говнище и продавай, что мешает?

То, что мне это не нужно? Представь, не каждый ставит целью иметь побольше денег.

Хорошая попытка, хромоног, но мне моя память ещё нужна. А с учётом того, какие эпичные баги там находятся, ну нафиг. Я недалее чем вчера словил, что созданной из скрипта картинке ставится инлайн стиль position:relative просто так, без объявления войны. Вот как с таким жить?

В твоем варианте получишь ускорение только если необходимо считать 16 сегментов, в моем варианте ускорение уже будет если необходимо считать только пять сегментов. А вот в деградированном состоянии, не получится считать только столько, сколько необходимо, например пять сегментов, если пятый сегмент приходится на потерянный, придется считывать и три осташихся, что так же уменьшает производительность.

И на что они намекнули ?

На пробелы в твоём образовании

Перечитай

Перечитай как работают райды, ага

N*N*ChankSize

ггг

у меня 16 гб оперативы даже на ноутбуке, хром максимум съедал 8, не вижу проблемы.

Если не сравнивать с другими браузерами, проблемы нет. Но никто другой больше гига (и это только на сотнях вкладок) не съедает.

ну если ты говоришь ему перечитать, кидай сразу и литературу которую перечитать, а то может он читал ту, в которой написано по другому.

64 битная лиса не ест больше гига? шутки за 300?

Аптайм день, лиса съела 553 метра. Лично видел 800 метров, но воспроизвести специально вряд ли смогу. больше не видел.

Ты забыл рассказать, что в этом всём нужного.

Нравится жить в коробке и питаться дошираками не выезжая со двора?

Из крайности в крайность.

Мне нравится питаться вкусной едой и жить не в коммуналке. Но этого вполне достаточно для комфортной жизни. Конечно есть и более жадные, но что тут такого?

ну если ты на ней запускал 1 вкладку, то может быть, а если например смотреть ютуб, попутно загружая ещё 5-6 видео в вк, вкладку с jira и вкладкой банка, то хром куда меньше жрёт чем лиса.

если ZOL и памяти 4гб (и из них довольно много отдано приложениям) - ССЗБ

Добавь к этому путешествия и какое-нибудь активное увлечение и уже надо заметно больше этих проклятых бумажек. А если бесит наличие соседей и хочется дом? Кто-то может обозвать это излишествами, но для кого-то это просто комфортная жизнь.

Приложениям было отдано немного, ~1 ГиБ вместе с системой. Но это уже история, я свалил на btrfs из-за фрагментации и последние полтреда архитекторы энтерпрайзных систем хранения данных наперебой доказывают мне, как именно и насколько я не прав =)

В твоем варианте получишь ускорение только если необходимо считать 16 сегментов,
в моем варианте ускорение уже будет если необходимо считать только пять сегментов.

Не будет у тебя никакого ускорения. Ты просто зазря считаешь 5-ый чанк, принадлежащий другому страйпу.

Я запускал десяток вкладок, среди них ютуб. 6 видео одновременно правда не пробовал смотреть.

Я так и сказал — есть те, для кого роскошь это просто комфорт. Но зачем на них равняться? Это просто особенность характера, а не достижение.