LINUX.ORG.RU

Не форматируется SMR диск Toshiba L200 с помощью mkfs.ext3, хотя с ZFS работает терпимо.

 , ,


0

2

Время 8:10

/dev/mapper/L2 - это обычный cryptsetup luksOpen

# time mkfs.ext3 -v /dev/mapper/L2 
mke2fs 1.46.2 (28-Feb-2021)
/dev/mapper/L2 contains a zfs_member file system labelled 'L200'
Proceed anyway? (y,N) y
fs_types for mke2fs.conf resolution: 'ext3'
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
122101760 inodes, 488378134 blocks
24418906 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=4294967296
14905 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Filesystem UUID: cca93a40-6c0f-430d-a785-7f394cfff898
Superblock backups stored on blocks: 
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968, 
        102400000, 214990848

Allocating group tables: done                            
Writing inode tables: done                            
Creating journal (262144 blocks): done
Writing superblocks and filesystem accounting information:     0/14905

Сначала достаточно быстро проходит треть операции: «Writing inode tables» примерно до 5000 групп из всего 14xxx групп. dstat при этом показывает скорость записи на диск около 50Мб/секунду, но потом скорость записи резко падает до 1Мб/секунду и остальная часть создания inodes продолжается еще примерно 6 часов, потом начинаются остальные операции по созданию ext3 и наконец оно уходит в ступор на операции: «Writing superblocks and filesystem accounting information: 0/14905»

При этом, судя по dstat и iostat, на диск пишется примерно по 8кбайт в секунду.

16:08

Device            r/s     w/s     rkB/s     wkB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util
sdd              0.00    1.00      0.00      8.00     0.00     1.00   0.00  50.00    0.00 1033.00   1.03     0.00     8.00 1036.00 103.60
dm-1             0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00 3923.94     0.00     0.00   0.00 103.60

Толи диск бракованный, толи это норм для SMR?

Ответ на: комментарий от greenman

Да причем тут шифрование? На других CMR дисках оно работает прекрасно даже при намного большем объеме.

Уверен, что без шифрования будет тоже самое с тормозами mkfs.ext3 на этом диске.

По iostat видно же, что утилизация 100%. Значит он в поте лица раскидывает CMR кэш на SMR ленты?

Теперь, запустил ZFS resilvering на этом же диске, т.е. заменил им его же самого (после затирания на нем следов его присутствия в пуле «L200» в качестве устройства «L2»).

Сделал zpool replace L200 L2 L2B

/dev/mapper/L2B - это тот же диск после ребута, потому что прошлый запуск mkfs.ext3 не прибивался даже по kill -s 9

Смотрим dstat и iostat, постоянная 100%-ая утилизация L2B. Скорость записи первые пару минут была относительно норм около 20-40Мб/сек, а теперь упала до 1Мб/сек и периодически падает вообще до 4Кб/сек-60Кб/сек, только изредка возвращаясь к уровню 1Мб/сек всего на 5-10 секунд, и потом опять перерыв до минуты на очистку CMR кэша.

Ну и ну, полный пипец с resilvering.

А ранее неспешно писал в ZFS пул еще более менее нормально, около 30Г/час в течение около 8 часов, несколько раз так повторяемо.

Т.е. такая бяка (Toshiba L200 SMR) подходит только для RAID0 ?

sanyo1234
() автор топика
Последнее исправление: sanyo1234 (всего исправлений: 2)
Ответ на: комментарий от sanyo1234

SMR диски похоже подходят только для неспешных непостоянных закачек из интернета :(

И то, только на FS, где inodes создаются не сразу, а по мере надобности.

sanyo1234
() автор топика
Последнее исправление: sanyo1234 (всего исправлений: 2)
Ответ на: комментарий от sanyo1234

SMR — это «архивные» диски. Закинул туда непрерывно (на чистый диск) что-то большое один раз, и всё.

Пишут, что «modern SMR drives tend to support the «SATA Secure erase» / blkdiscard command that does the same as a wipe on an SSD and starts fresh but that won’t work over USB, only if the drive is connected via SATA.» via

Так что лучше blkdiscard SMR диску делать, если начинаешь жизнь «с чистого листа».

greenman ★★★★★
()
Последнее исправление: greenman (всего исправлений: 1)
Ответ на: комментарий от greenman

Закинул туда непрерывно (на чистый диск) что-то большое один раз, и всё.

Ты решил потроллить ? :)

Очень сомневаюсь, что на них за один раз можно закинуть что-то большое тем более быстро, в них не закидывается даже один проход mkfs.ext3, это полнейший фейл.

На такие диски можно закидывать всего по нескольку десятков-сотен гиг в день, причем очень неспешно, постоянно давая им время на «отдых» с лентами.

sanyo1234
() автор топика
Ответ на: комментарий от sanyo1234

в них не закидывается даже один проход mkfs.ext3

Твой ошибка, скорее всего, в том, что ты это делал не на «чистый диск». Я дополнил предыдущее сообщение, обрати внимание.

greenman ★★★★★
()
Ответ на: комментарий от sanyo1234

Смотрим dstat и iostat, постоянная 100%-ая утилизация L2B. Скорость записи первые пару минут была относительно норм около 20-40Мб/сек, а теперь упала до 1Мб/сек и периодически падает вообще до 4Кб/сек-60Кб/сек, только изредка возвращаясь к уровню 1Мб/сек всего на 5-10 секунд, и потом опять перерыв до минуты на очистку CMR кэша.

Надо же, какой прогресс, раз в полчаса скорость ресилверинга возвращается к относительно нормальной 20-40Мб/сек, но всего на пару минут и потом опять раскатывание по лентам ...

Эффективная скорость resilvering по показаниям zpool status всего 3Mb/секунду! Это как минимум в 10 раз медленнее обычного, если пул CMR дисков можно отресилверить за сутки, то тут вероятно и недели будет недостаточно :(

sanyo1234
() автор топика
Ответ на: комментарий от greenman

Плюс

«In particular shingled magnetic recording (SMR) drives that are firmware-managed are severely and negatively impacted if using a logical sector size of 512 bytes if their physical sector size is of 4096 bytes. Those drives have different performance writing zones and remapping reallocation occurs while being idle, but during heavy active writes (e.g., RAID resilvering, backups, writing many small files, rsync, etc.), a different file system sector size could drop write speed to single digit megabytes/second, as the higher performance write areas get depleted, and the sector translation layer gets overworked on the shingled areas.»

https://wiki.archlinux.org/title/Advanced_Format

greenman ★★★★★
()
Ответ на: комментарий от quier

а какое преимущество у ext4 над ext3? мож ext4 попробовать?

Можно конечно попробовать разное, но ext3; fsck - это обычно мой наипервейший тест диска на пригодность.

Если диск не проходит даже ext3;fsck, то такой диск IMHO очень сомнительный в плане его пригодности для использования.

sanyo1234
() автор топика
Последнее исправление: sanyo1234 (всего исправлений: 1)
Ответ на: комментарий от greenman

Диск после blkdiscard
Когда контроллеру не надо тасовать эти черепицы, а можно тупо писать сплошняком.

Для опции --zeroout это тоже верно? Без нее у меня вообще не работает.

sanyo1234
() автор топика
Последнее исправление: sanyo1234 (всего исправлений: 1)
Ответ на: комментарий от greenman

А нулями забивать — это небыстро.

Как раз именно на этом экземпляре казалось бы тупящего диска, временами пишущем на скорости 4Кб/сек на протяжении целых нескольких минут, внезапно забивка нулями утилитой blkdiscard по показаниям dstat идет непрерывно на скорости 50-60Мб вообще без каких-либо провалов на протяжении уже нескольких часов, т.е. в 10 тысяч раз быстрее и без остановок.

sanyo1234
() автор топика
Ответ на: комментарий от greenman

Раз уж тут собрались любители поэкспериментировать с дисками, может быть, кто-нибудь знает, как создать новый пул raidz3 без двух избыточных дисков?

Т.е. например, планирую в результате собрать пул raidz3 из 5+3=8 ми дисков, но пока есть только 6 дисков, как сделать raidz3 уже сейчас, пусть пока временно в состоянии избыточности raidz1 ?

sanyo1234
() автор топика
Последнее исправление: sanyo1234 (всего исправлений: 1)
Ответ на: комментарий от hateWin

SMR – кал.

Если SMR продается по цене CMR, то очень похоже на то, элитный вип кал.

Но если бы их продавали раз в 5 дешевле, то к ним было бы уже совсем другое отношение, как к магнитным лентам, по сути отчасти ими они и являются в плане способов записи сразу нескольких дорожек, но почему-то продаются как обычные HDDs :)

Мало того, производители HDD еще и замалчивали долгое время принадлежность своих моделей к той или иной категории CMR/SMR.

Интересно, кроме Toshiba кто-нибудь из производителей озаботился явным указанием типа диска (CMR/SMR) на своих сайтах?

Если нет, то вероятно Toshiba - один из немногих производителей HDD, заслуживающих доверие, причем вероятно самые лучшие по соотношению цена/качество?

sanyo1234
() автор топика
Ответ на: комментарий от sanyo1234

Интересно, кроме Toshiba кто-нибудь из производителей озаботился явным указанием типа диска (CMR/SMR) на своих сайтах?

Недавно покупал терабайтный WD Blue 5400. На сайте WD было явное указание, что это CMR

hateWin ★☆
()
Ответ на: комментарий от greenman

Что-нибудь дало зануление?

Само зануление всего диска 2Tb занимает примерно полдня.

После этого пул raidz1 размером около 1.7 Tb ресилверится примерно двое-трое суток, а не две недели ...

И даже удается отформатировать раздел 1Tb в ext3, успех! LOL

sanyo1234
() автор топика

Есть точно такое же устройство, последние годы используется для нечастых бекапов.

Несколько раз в месяц на него заливаются сотни ГБ на скорости ~100MBps без проблем и просадок.

Это, конечно, неисправность.

i586 ★★★★★
()
Ответ на: комментарий от quier

а какое преимущество у ext4 над ext3? мож ext4 попробовать?

Емнип, нынче для ехт3 используется драйвер ехт4. Так что спорить о преимуществах - дело религии.

utanho ★★★★★
()
Ответ на: комментарий от i586

Несколько раз в месяц на него заливаются сотни ГБ на скорости ~100MBps без проблем и просадок.

А что за бэкапы? Каким софтом создаются такие бэкапы?

Вероятно, если бы я заливал на SMR большие файлы типа .avi по 1 гигу каждый, то он наверно тоже бы работал быстрее, чем в рандомном режиме при ресилверинге.

Между последовательной записью крупных файлов и случайной записью мелких есть разница для производительности SMR на обычных FS?

sanyo1234
() автор топика
Ответ на: комментарий от sanyo1234

А что за бэкапы? Каким софтом создаются такие бэкапы?

tar

Между последовательной записью крупных файлов и случайной записью мелких есть разница для производительности SMR на обычных FS?

Есть.

i586 ★★★★★
()
Ответ на: комментарий от sanyo1234

После этого пул raidz1 размером около 1.7 Tb ресилверится примерно двое-трое суток, а не две недели ...

Это raidz, который вероятно ресилверится медленнее mirror.

А mirror при resilvering достаточно быстро заполняет CMR кэш и встает колом ни туда и ни сюда ...

Нашел хак, но он подходит только для непостоянно подключенных пулов, т.е. просто в цикле suspend / resume дисков каждые несколько минут, чтобы диск сбросил очередную порцию из кэша.

Интересно, в SMR диске предусмотрено случайное заполнение кэша или он фигачит по одному и тому же месту (высокий износ)? Вероятно это зависит от фрагментации кэша (она вообще бывает)?

sanyo1234
() автор топика