LINUX.ORG.RU
решено Форум — Admin  

Убилась ZFS - подскажите, что можно предпринять?

 , ,


0

2

Преамбула:

Не судите меня строго, я «дурачок». В 2009 в результате лётного происшествия - тяжелый ушиб ствола мозга и неделя мозговой комы.
Благо окружающие «прорешали» хорошего русского реаниматолога, я выжил и обошлось без оперативного вмешательства. Первый месяц я был практически овощь, но постепенно даже компьютерами продолжил заниматься, но увы, теперь не хватает памяти и концентрации внимания на анализ ситуации.

Теперь о ситуации:

Там где сейчас импортирую том - Мини ПК (BMAX B1 Pro) и стоит Debian Bookworm. Но это началось на основном компе с классическим P4. На Мини ПК винт подключен через USB3, Полный SMART тест прошел, хотя на основном компе - издавал странные звуки и возможно они привели к ситуации упавшего тома.

Использую zfs, как бы её не ругали... Винты дохнут и решил сделать рейд на zfs, но не успел. Во время массированного перемещения данных между 14T собравшегося дискового пространства, что то , где то, повисло (Или сбой электричества был? Увы, в этом и моя проблема. То что не зафиксировано я часто забываю.)

в общем имею 4T накопитель, на котором собирал рабочую реплику инфы, чтобы впоследствии сделать зеркало на второй 4T.
(Этим и нравится zfs, можно не сразу делать рейд как в mdadm, а потом. Впрочем могу и заблуждаться, может и mdadm так может).
Собрать не успел. Сейчас там есть zfs том: Safe - который рождает панику во время #zpool import. Он просто повисает, а в journalctl

июл 08 20:50:53 0F-BMAX kernel: VERIFY3(0 == dmu_buf_hold_array(os, object, offset, size, FALSE, FTAG, &numbufs, &dbp)) failed (0 == 5)
июл 08 20:50:53 0F-BMAX kernel: PANIC at dmu.c:1123:dmu_write()
июл 08 20:50:53 0F-BMAX kernel: Showing stack for process 11716
июл 08 20:50:53 0F-BMAX kernel: CPU: 0 PID: 11716 Comm: txg_sync Tainted: P           OE      6.1.0-22-amd64 #1  Debian 6.1.94-1
июл 08 20:50:53 0F-BMAX kernel: Hardware name: AMI Intel/Intel, BIOS V1.3_231 08/22/2023
июл 08 20:50:53 0F-BMAX kernel: Call Trace:
июл 08 20:50:53 0F-BMAX kernel:  <TASK>
июл 08 20:50:53 0F-BMAX kernel:  dump_stack_lvl+0x44/0x5c
июл 08 20:50:53 0F-BMAX kernel:  spl_panic+0xf0/0x108 [spl]
июл 08 20:50:53 0F-BMAX kernel:  ? dnode_rele_and_unlock+0x59/0xf0 [zfs]
июл 08 20:50:53 0F-BMAX kernel:  dmu_write+0xb5/0x190 [zfs]
июл 08 20:50:53 0F-BMAX kernel:  space_map_write+0x154/0x900 [zfs]
июл 08 20:50:53 0F-BMAX kernel:  ? zap_lookup+0xdb/0x100 [zfs]
июл 08 20:50:53 0F-BMAX kernel:  metaslab_flush+0xcd/0x350 [zfs]
июл 08 20:50:53 0F-BMAX kernel:  ? spa_cleanup_old_sm_logs+0xbc/0x170 [zfs]
июл 08 20:50:53 0F-BMAX kernel:  spa_flush_metaslabs+0x195/0x420 [zfs]
июл 08 20:50:53 0F-BMAX kernel:  spa_sync+0x5f9/0xf90 [zfs]
июл 08 20:50:53 0F-BMAX kernel:  ? spa_txg_history_init_io+0x113/0x120 [zfs]
июл 08 20:50:53 0F-BMAX kernel:  txg_sync_thread+0x227/0x3e0 [zfs]
июл 08 20:50:53 0F-BMAX kernel:  ? txg_fini+0x260/0x260 [zfs]
июл 08 20:50:53 0F-BMAX kernel:  ? __thread_exit+0x20/0x20 [spl]
июл 08 20:50:53 0F-BMAX kernel:  thread_generic_wrapper+0x57/0x70 [spl]
июл 08 20:50:53 0F-BMAX kernel:  kthread+0xd7/0x100
июл 08 20:50:53 0F-BMAX kernel:  ? kthread_complete_and_exit+0x20/0x20
июл 08 20:50:53 0F-BMAX kernel:  ret_from_fork+0x1f/0x30
июл 08 20:50:53 0F-BMAX kernel:  </TASK>
июл 08 20:50:53 0F-BMAX zed[11725]: eid=1 class=data pool='Safe' priority=0 err=52 flags=0x808881 bookmark=0:77:1:0
июл 08 20:50:53 0F-BMAX zed[11729]: eid=2 class=checksum pool='Safe' vdev=T4T1DATA algorithm=fletcher4 size=4096 offset=322630197248 priority=0 err=52 flags=0x180880 bookmark=0:77:1:0
июл 08 20:50:53 0F-BMAX zed[11730]: eid=3 class=checksum pool='Safe' vdev=T4T1DATA algorithm=fletcher4 size=4096 offset=300510576640 priority=0 err=52 flags=0x180880 bookmark=0:77:1:0
июл 08 20:50:53 0F-BMAX zed[11731]: eid=4 class=checksum pool='Safe' vdev=T4T1DATA algorithm=fletcher4 size=4096 offset=287929151488 priority=0 err=52 flags=0x180880 delay=13ms bookmark=0:77:1:0
июл 08 20:54:24 0F-BMAX kernel: INFO: task zpool:11636 blocked for more than 120 seconds.
июл 08 20:54:24 0F-BMAX kernel:       Tainted: P           OE      6.1.0-22-amd64 #1 Debian 6.1.94-1
июл 08 20:54:24 0F-BMAX kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
июл 08 20:54:24 0F-BMAX kernel: task:zpool           state:D stack:0     pid:11636 ppid:3271   flags:0x00004002
июл 08 20:54:24 0F-BMAX kernel: Call Trace:
июл 08 20:54:24 0F-BMAX kernel:  <TASK>
июл 08 20:54:24 0F-BMAX kernel:  __schedule+0x34d/0x9e0
июл 08 20:54:24 0F-BMAX kernel:  schedule+0x5a/0xd0
июл 08 20:54:24 0F-BMAX kernel:  io_schedule+0x42/0x70
июл 08 20:54:24 0F-BMAX kernel:  cv_wait_common+0xaa/0x130 [spl]
июл 08 20:54:24 0F-BMAX kernel:  ? cpuusage_read+0x10/0x10
июл 08 20:54:24 0F-BMAX kernel:  txg_wait_synced_impl+0xcb/0x110 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  txg_wait_synced+0xc/0x40 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  spa_load+0x153a/0x17c0 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  spa_load_best+0x54/0x2c0 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  spa_import+0x232/0x6b0 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  zfs_ioc_pool_import+0x157/0x180 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  zfsdev_ioctl_common+0x8d2/0xa00 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  zfsdev_ioctl+0x4f/0xd0 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  __x64_sys_ioctl+0x8d/0xd0
июл 08 20:54:24 0F-BMAX kernel:  do_syscall_64+0x55/0xb0
июл 08 20:54:24 0F-BMAX kernel:  ? do_filp_open+0xaf/0x160
июл 08 20:54:24 0F-BMAX kernel:  ? do_filp_open+0xaf/0x160
июл 08 20:54:24 0F-BMAX kernel:  ? __rseq_handle_notify_resume+0xa9/0x4a0
июл 08 20:54:24 0F-BMAX kernel:  ? exit_to_user_mode_prepare+0x44/0x1f0
июл 08 20:54:24 0F-BMAX kernel:  ? syscall_exit_to_user_mode+0x1e/0x40
июл 08 20:54:24 0F-BMAX kernel:  ? do_syscall_64+0x61/0xb0
июл 08 20:54:24 0F-BMAX kernel:  ? call_rcu+0xde/0x6b0
июл 08 20:54:24 0F-BMAX kernel:  ? exit_to_user_mode_prepare+0x44/0x1f0
июл 08 20:54:24 0F-BMAX kernel:  ? syscall_exit_to_user_mode+0x1e/0x40
июл 08 20:54:24 0F-BMAX kernel:  ? do_syscall_64+0x61/0xb0
июл 08 20:54:24 0F-BMAX kernel:  ? clear_bhb_loop+0x15/0x70
июл 08 20:54:24 0F-BMAX kernel:  ? clear_bhb_loop+0x15/0x70
июл 08 20:54:24 0F-BMAX kernel:  ? clear_bhb_loop+0x15/0x70
июл 08 20:54:24 0F-BMAX kernel:  ? clear_bhb_loop+0x15/0x70
июл 08 20:54:24 0F-BMAX kernel:  ? clear_bhb_loop+0x15/0x70
июл 08 20:54:24 0F-BMAX kernel:  entry_SYSCALL_64_after_hwframe+0x6e/0xd8
июл 08 20:54:24 0F-BMAX kernel: RIP: 0033:0x7f5c1036ac5b
июл 08 20:54:24 0F-BMAX kernel: RSP: 002b:00007fff18f7f020 EFLAGS: 00000246 ORIG_RAX: 0000000000000010
июл 08 20:54:24 0F-BMAX kernel: RAX: ffffffffffffffda RBX: 00005626f5cf3540 RCX: 00007f5c1036ac5b
июл 08 20:54:24 0F-BMAX kernel: RDX: 00007fff18f7f0f0 RSI: 0000000000005a02 RDI: 0000000000000003
июл 08 20:54:24 0F-BMAX kernel: RBP: 00007fff18f82fe0 R08: 00007f5c104403f0 R09: 00007f5c104403f0
июл 08 20:54:24 0F-BMAX kernel: R10: 0000000000000000 R11: 0000000000000246 R12: 00007fff18f7f0f0
июл 08 20:54:24 0F-BMAX kernel: R13: 00005626f5d14ea0 R14: 0000000000000000 R15: 00005626f5d14e10
июл 08 20:54:24 0F-BMAX kernel:  </TASK>
июл 08 20:54:24 0F-BMAX kernel: INFO: task txg_sync:11716 blocked for more than 120 seconds.
июл 08 20:54:24 0F-BMAX kernel:       Tainted: P           OE      6.1.0-22-amd64 #1 Debian 6.1.94-1
июл 08 20:54:24 0F-BMAX kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
июл 08 20:54:24 0F-BMAX kernel: task:txg_sync        state:D stack:0     pid:11716 ppid:2      flags:0x00004000
июл 08 20:54:24 0F-BMAX kernel: Call Trace:
июл 08 20:54:24 0F-BMAX kernel:  <TASK>
июл 08 20:54:24 0F-BMAX kernel:  __schedule+0x34d/0x9e0
июл 08 20:54:24 0F-BMAX kernel:  schedule+0x5a/0xd0
июл 08 20:54:24 0F-BMAX kernel:  spl_panic+0x106/0x108 [spl]
июл 08 20:54:24 0F-BMAX kernel:  ? dnode_rele_and_unlock+0x59/0xf0 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  dmu_write+0xb5/0x190 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  space_map_write+0x154/0x900 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  ? zap_lookup+0xdb/0x100 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  metaslab_flush+0xcd/0x350 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  ? spa_cleanup_old_sm_logs+0xbc/0x170 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  spa_flush_metaslabs+0x195/0x420 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  spa_sync+0x5f9/0xf90 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  ? spa_txg_history_init_io+0x113/0x120 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  txg_sync_thread+0x227/0x3e0 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  ? txg_fini+0x260/0x260 [zfs]
июл 08 20:54:24 0F-BMAX kernel:  ? __thread_exit+0x20/0x20 [spl]
июл 08 20:54:24 0F-BMAX kernel:  thread_generic_wrapper+0x57/0x70 [spl]
июл 08 20:54:24 0F-BMAX kernel:  kthread+0xd7/0x100
июл 08 20:54:24 0F-BMAX kernel:  ? kthread_complete_and_exit+0x20/0x20
июл 08 20:54:24 0F-BMAX kernel:  ret_from_fork+0x1f/0x30
июл 08 20:54:24 0F-BMAX kernel:  </TASK>

Пишу сюда сообщение, а тот #zpool import висит в соседней консоли со вчерашнего вечера и сыпет в логи эти паники.

Что можно предпринять?
Можно как то запустить scrub на не импортированный том?

(240721-0800) P.S. Простите тормоза... Ещё 9 числа, нагуглил своё же решение, решил и не обновил и не отметил тему как решенную.

В общем 2016 году, здесь же, мною был создан топик:
Смачно навернулась zfs. Что бы можно попробовать сделать?
и было найдено решение: zpool import -o readonly=on
Исполнил, том подключился в ридонли.

В этот раз получилось абсолютно так же.

★★★

Последнее исправление: n0mad (всего исправлений: 4)
← FREEIPA - ошибка при adduser
Жизненный цикл статусов в SQL →
 ← 1 2

Протестируй bcachefs. ZFS у тебя все равно постоянно ломается.

https://bugs.launchpad.net/ubuntu/+source/zfs-linux/+bug/1998870/comments/5

Это твоя проблема. Я думаю отца русской демократии спасет отказ от использования этого чуда-юда.

  • 192GB RAM DDR4

Меня там порадовала, что на гигантских пулах ZFS падает даже со 192 гигами оперативы. А у тебя небось гигов 16…

rtxtxtrx ★★
()
Последнее исправление: rtxtxtrx (всего исправлений: 2)
Ответ на: комментарий от rtxtxtrx

Протестируй bcachefs. ZFS у тебя все равно постоянно ломается.

Спасибо за предложение, но мне не нравится название фс в каше...

https://bugs.launchpad.net/ubuntu/ source/zfs-linux/ bug/1998870/comments/5

Спасбо за линк, но как я понял - у него это происходит спорадически, а у меня в принципе том не импортируется.

Это твоя проблема. Я думаю отца русской демократии спасет отказ от использования этого чуда-юда.

Возможно, но мне нравится архитектура этого чуда-юда.
Там том не «монтируется», он живёт в системе. Причём у меня, как у старого извращенца - многоуровневое дерево подтомов (В процессе экспериментов вырастил), мне нравится что каждый подтом можно смонтировать в любое место, один раз и он там останется жить...

192GB RAM DDR4
Меня там порадовала, что на гигантских пулах ZFS падает даже со 192 гигами оперативы. А у тебя небось гигов 16…

У меня хуже, 8 гигов...

ext4 меня бесит своим: «orphaned node» и постоянными чекдисками, не знаю уж сколько будет занимать врмени регулярный чекдиск 4Т.

xfs и btrfs как то не зашли, jfs тоже. Прям хоть на ntfs мигрируй...

n0mad ★★★
() автор топика
Ответ на: комментарий от PPP328

издавал странные звуки

У тебя не ZFS упала а диск. Выкинь в помойку

Заметь «издавал» это прошлое...
1. Купи мне новый, тогда выкину, а то советовать каждый горазд...
2. Я диск и Викторией сканил, и mhdd32, и dd и даже #smartctl -t long думал 10 часов и не нашел проблем. Диск от Тошибы. Вообще есть подозрение на блок питания, он может какое то напряжение выдавать нестабильное и именно этот диск именно на этом разъёме может дурить. Потом переподключу и возможно всё будет по другому.

Вообще задача в другом, есть упавшая zfs. Неужели нет механизма её подъёма? Я конечно понимаю про правило 3-2-1 но самая свежая копия лишь на оригинале и он должен быть поднимабельным...

n0mad ★★★
() автор топика
Ответ на: комментарий от julixs

Попробуй импорт с ключем -x. Есть вероятность что совсем поврежденные данные не импортнуться, но все же…

А такой ключ есть?
$man zpool-import не находит...
Ладно, пойду перезагружаться и пробовать разное

n0mad ★★★
() автор топика
Ответ на: комментарий от anonymous

Твоя проблема не в том, что ты «дурачок», а в том, что ты бравируешь своей дурачковостью и даже не пытаешься мыслить рационально.

Где логика? Я не бравирую, а «отмазываюсь» этим фактом.
Я мыслить постоянно пытаюсь, но сбоит память со всеми вытекающими.

n0mad ★★★
() автор топика
Ответ на: комментарий от n0mad
  1. Купи мне новый, тогда выкину, а то советовать каждый горазд…

У тебя скоро и старого-то не будет.

Вообще задача в другом, есть упавшая zfs. Неужели нет механизма её подъёма?

Со сдохшего диска – нет.

hateyoufeel ★★★★★
()
Ответ на: комментарий от n0mad

Заметь «издавал» это прошлое…

Жесткий диск в принципе не должен издавать звуки кроме разгона блина. Любое другое - это либо неправильный паркинг либо кривое позиционирование башки. И то и другое - признаки скорой смерти.

Он может «стукать» если недостаточно питания. Как раз таки экстренный паркинг. Но тогда и диск сам отрубается.

PPP328 ★★★★★
()
Ответ на: комментарий от PPP328

Заметь «издавал» это прошлое…

Жесткий диск в принципе не должен издавать звуки кроме разгона блина. Любое другое - это либо неправильный паркинг либо кривое позиционирование башки. И то и другое - признаки скорой смерти.

Он издавал звук типа БИИП достаточно низкочастотного.

Он может «стукать» если недостаточно питания. Как раз таки экстренный паркинг. Но тогда и диск сам отрубается.

Не знаю, второй такой же работает.

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 1)
Ответ на: комментарий от Clockwork

Мини ПК
P4

На одноплатниках нет мощности для 4 Тb. Они не расчитаны ни на ZFS ни на жесткие диски.

Я с вас пищщу, знатоки... РАЩЩИТАНА НА ZFS и Диски - Linux!
USB3 - Даёт трансфер порядка 90Mb/s - Думаю этого достаточно, а ща...
Я ш ышшо тот извращенец...
Есть три USB3 SD Адаптера, в них 3 флешки, каждая даёт 95Mb/s,
запустил 3 dd в фоне, все вместе сосут с флешек со скоростью 280Mb/s

Я ржу с вашего «НЕ РАШШИТАНЫ». Этот микрокомп «рвёт» Celeron E3400 стоящий на десктопе. «рвёт» это производительность xcopy на подтом zfs с упаковкой. Ну конечно не «прямо рвёт» но обоняет.

n0mad ★★★
() автор топика
Ответ на: комментарий от julixs

Плохо ищешь))

И?
Или речь про -X?
Ты предложил -x, а мы в Линуксе, здесь регистр имеет значение.

Впрочем ларчик проще открывался.
Тут про «бравируешь» наезжали, но памяти это не даст.
В общем то в 2016 году, здесь же, мною был создан топик:
Смачно навернулась zfs. Что бы можно попробовать сделать?
и было найдено решение: zpool import -o readonly=on
Исполнил, том подключился в ридонли.
Видимо от этого и буду плясать, но нужен ещё один винт - чтобы сделать xcopy. У -X какие то страшные слова про «is no longer guaranteed to be consistent»

n0mad ★★★
() автор топика
Ответ на: комментарий от n0mad

Я с вас пищщу, знатоки… РАЩЩИТАНА НА ZFS и Диски - Linux!

Был опыт с СoW-фс на медленных бытовых дисках(в том числе через usb3). Нежизнеспособно, при большом кол-ве файлов начинает страшно тупить и сыпаться

MaZy ★★★★★
()
Ответ на: комментарий от u5er

Вообще, у меня такое было когда проц перегревался (:

Там падали рандомные части ядра, чаще всего как раз ZFS, потому что комп был файлопомойкой. Мб у ТС та же ситуация.

hateyoufeel ★★★★★
()

В 2009 в результате лётного происшествия - тяжелый ушиб ствола мозга и неделя мозговой комы.

Или сбой электричества был? Увы, в этом и моя проблема. То что не зафиксировано я часто забываю.

В твоём случае ИМХО чем проще инструмент и проще массивы - тем лучше. При забывании информации ты быстрее разберёшься в «новой» инфраструктуре. ZFS и куча томов с датасетами явно не подходит под определения «простая инфраструктура». Не переложишь ты голову на ZFS никак.

Dimez ★★★★★
()
Ответ на: комментарий от n0mad

Да имел ввиду именно -X, регистр сразу не вспомнил. Описание страшное конечно, импортируются последние рабочие транзакции, все что было позже, будет потерено.

julixs ★★★
()
Ответ на: комментарий от u5er

проц перегревался

А точно именно проц? Может оперативка? Из-за ошибок в памяти начинаются приколы.

В моём случае, точно. Оказалось что один из винтов, держащих радиатор проца, был не до конца прикручен.

Что там у ТС происходит, я вообще не до конца понимаю. Он раз-два в месяц стабильно создаёт тред о том, что дескать он развернул ZFS на каких-то флешках и хардах, воткнутых в USB, а потом наживую выдернул, что-то куда-то переткнул, и всё развалилось.

hateyoufeel ★★★★★
()
Ответ на: комментарий от anonymous

99.9% падений ZFS это отвал или глюки железа.

И? Позиционируется как крутейшая фс, всё чексумящая...
Так прочексумь и дай отчёт испорченных файлов!
Почему нет такого инструментария? Абсолютно надёжного железа не бывает, и на старуху бывает проруха...
Прохо что нет инструментария проверки/починки с отчётом.

А ругают ЗФС здесь только криворучки, только перешедшие с венды.

Это не более чем оскорбление, и что имеешь в виду под словами: «ругают ЗФС»?
Криворучке не хватило пальцев переключить регистр?

n0mad ★★★
() автор топика
Ответ на: комментарий от sparkie

Увы, но по-моему в данной ситуации уже ничего.

Это было известно ещё в 2015 году. Применил то заклинение и система смонтировалась.
(Выше в сообщениях есть пруфлинк)

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 1)
Ответ на: комментарий от hateyoufeel

Что там у ТС происходит, я вообще не до конца понимаю. Он раз-два в месяц стабильно создаёт тред о том, что дескать он развернул ZFS на каких-то флешках и хардах, воткнутых в USB, а потом наживую выдернул, что-то куда-то переткнул, и всё развалилось.

Ну не один-два в месяц, а чуть пореже. Вопрос с флешками был экспериментом. Надо же рейд такой иметь - чтобы перестановка на другой комп его не развалила, а по факту разваливает.
Пока остановился на gpt с цифробуквенными метками разделов, но тестов пока не провёл.

У меня в общем то происходит попытка сделать zfs рейд, собрав на него определенный датасет с 10Тб винтов.

Почему zfs? Потому что можно собрать датасет на одиночном разделе, а потом зазеркалить его.

В случае с mdadm, даже если так сделаешь - будет огромный оверхид при работе с одним винтом. Подробностей не помню, выше описал почему.

Но похоже всё идёт к 3 винтам. На 2х зеркало, а третий бэкап.

n0mad ★★★
() автор топика
Ответ на: комментарий от anonymous

сорян за оффтопик. А что за происшествие? Парашют или на моторном самолете?

Спортивный параплан, турбулентность на низкой высоте. Для выхода 15м мало, а убиться - достаточно.

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 1)
Ответ на: комментарий от MaZy

Был опыт с СoW-фс на медленных бытовых дисках(в том числе через usb3). Нежизнеспособно, при большом кол-ве файлов начинает страшно тупить и сыпаться

Ну давай не будем. Весь вопрос в качестве. Драйвера, контроллера, кабеля, адаптера, (всей прослойки между компьютером и диском).
Я долго мучал zfs на моём стареньком 3.5" терабайтничке.
Взял сет данных, размером 64Gb и создал 15 подтомов с разными алгоритмами упаковки. Затем селал 15 рсинков с того сета, замечая время работы и температуру проца после каждого рсинка.
Работало долго, в определенных комбинациях контроллера/хаба/адаптеров USB3<->SATA данные портились, а в определенных отрабатывала сутки и всё было без потерь.
Соответственно выбрал лучший алгоритм упаковки: zstd
Он и пакует хорошо, и по времени быстро.
lzh быстрее, но хуже пакует.
gzip лучше пакует, но медленнее.
Как нибудь ещё заход сделаю, на ssd, и сделаю сравнение с внутренним sata.

n0mad ★★★
() автор топика
Ответ на: комментарий от hateyoufeel

Там падали рандомные части ядра, чаще всего как раз ZFS, потому что комп был файлопомойкой. Мб у ТС та же ситуация.

ТС же писал, есть проблемы с памятью, биологической, не помню я ситуации из которой всё вылезло. Мог просто свет рубануться.

n0mad ★★★
() автор топика
Ответ на: комментарий от Dimez

В твоём случае ИМХО чем проще инструмент и проще массивы - тем лучше. При забывании информации ты быстрее разберёшься в «новой» инфраструктуре. ZFS и куча томов с датасетами явно не подходит под определения «простая инфраструктура». Не переложишь ты голову на ZFS никак.

Вот именно поэтому я и выбрал zfs. Использовать что то одно, но всеобъемлющее. Тут и онлайн упаковка данных есть, и рейд, причём рейд который одной командой делается из одиночного раздела. Пока я в стадии подбора комбинации настроек zfs позволящей легко мигрировать рейд (Компы ведь тоже порой дохнут). Там ведь пул данных можно создать и на /sda и на /sda1 и на /dev/VG/LV и на /dev/disk/by-... и адресуясь через метки разделов gpt и по blkid, надо выбрать то что выживает лучше всех при переносе на другой комп. Но как уже писал, проблемы с биологичской памятью. Сейчас помню что это «надо сделать», а завтра проснусь и забуду, пока к ночи опять не вспомню... И такой «День сурка» каждый день.
Вот при бутерброде HDD<->mdadm<->fs я быстрее «потеряюсь» и не знаю как оно вынесет переезд на другой комп если сдохнет основной.

n0mad ★★★
() автор топика
Ответ на: комментарий от anonymous

Перейти на ext4.

Нет упаковки, а места всегда не хватает. Вообще у меня толпа компов, и есть и ext4 и jfs и xfs и btrfs.
Здесь же основная файлопомойка и прежде всего нужна упаковка и хочется нативного рейда, а не поверх /dev/md.

n0mad ★★★
() автор топика
Ответ на: комментарий от anonymous

ZFS ещё не научили чинить поломаное/глючащее железо или определять качество юсб кабелей.

Как раз хоть чинить и не научили, а вот глючащее железо она определяет легко.
Я уже не помню диагностического сообщения, но при массированном рсинке между винтами подключенными по usb3 - порчу данных она определяла,
я убивал датасет, менял USB3<->SATA контроллер/usb3 хаб, блок питания и пробовал снова - пока не добьюсь стабильной работы.
Стабильнее всех работал микрокомп - BMAX B1 Pro, а вот на основном есть старый USB3 контроллер, но там только 2 порта.
Купил новый, 7портовый, всё посыпалось....
Вернул, взял другой, тоже нестабильно, вернул старый контроллер и добавил USB3 хаб с питанием, работает,но выяснилось что там только 4 из 7 портов USB3.
Но пока 4 USB3 винта работают без сбоев, а сбойнул как раз один из 4 SATA дисков.
И фиг её знает... Эту грёбанную технику, вполне возможно что потому что он был включен слейвом в паре с ssd.

n0mad ★★★
() автор топика
Ответ на: комментарий от anonymous

Дружище, ты это, выздоравливай.

Как там в классике? «Нервные клетки не восстанавливаются».
Меня только в больницу везли 3 часа (скорую ждали), я вообще не понимаю как я выжил.
Так в больнице не оказалось нужного оборудования, но друзья «прорешали», и реанимобиль МЧС перевёз меня в другую больницу... Вот такая жуть.
Везде пишут что человек пользуется только 5% мозга, у меня наверное процент повыше, потому что нейронов меньше :)
Выписали то из больницы практически овощем, а сейчас вон с zfs всякими разбираюсь...

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 1)
Ответ на: комментарий от LongLiveUbuntu

У тебя диск вылетит скоро, раз все ФС сыпятся. Подумай о приобретении замены.

Всё гораздо сложнее. Этому диску:
# smartctl -a /dev/sda|grep Power_On
9 Power_On_Hours 0x0032 096 096 000 Old_age Always - 1607
т.е. 67 дней.
Диск тоже думаю не плохой:
Model Family: Toshiba 3.5" MG03ACAxxx(Y) Enterprise HDD
Device Model: TOSHIBA MG03ACA400
Проблема могла быть БАНАЛЬНАЯ, или плохое питание у БП, или банально контакт на питающем разъёме винта.
Сейчас он стоит в USB3 рэке и проходит тест #smartctl -t long и не издаёт ни каких подозрительних звуков. zfs тоже смонтировалась при -o readonly=on, данные видны. Может со следующей пенсии куплю ещё одну тошибу и скопирую данные.
Пока хватит остальных 10т для работы...

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 1)
Ответ на: комментарий от n0mad

Пока я в стадии подбора комбинации настроек zfs позволящей легко мигрировать рейд (Компы ведь тоже порой дохнут). Там ведь пул данных можно создать и на /sda и на /sda1 и на /dev/VG/LV и на /dev/disk/by-... и адресуясь через метки разделов gpt и по blkid, надо выбрать то что выживает лучше всех при переносе на другой комп.

Первый пошел...
Дождался я из Китая, 3х 64Gb MicroSD и 3 USB3 адаптеров для них.
Вроде все от одного производителя (Microdrive) но разного цвета и на одной из трёх - раздел получился другого размера...
На том микрокомпе сделал на них gpt, поставил метки разделам (MSD01,MSD02,MSD03) и потом создал raidz:
#zpool create MSD3 raidz MSD01 MSD02 MSD03 -f
-f - Чтобы разные разделы скушались
Понасоздавал там 15 подтомов с разной упаковкой. Экспортировал,
перетащил эти флешки в десктопный комп с 7 USB3 портами, включил в другом порядке, сказал: #zfs import MSD3 и вуаля... Всё взлетело и работает.

# zpool status MSD3
  pool: MSD3
 state: ONLINE
config:

	NAME        STATE     READ WRITE CKSUM
	MSD3        ONLINE       0     0     0
	  raidz1-0  ONLINE       0     0     0
	    MSD01   ONLINE       0     0     0
	    MSD02   ONLINE       0     0     0
	    MSD03   ONLINE       0     0     0


На досуге повыдираю их живьём.... Помучаю zfs, а сейчас спать... 4 утра уже...

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 3)
Ответ на: комментарий от n0mad

На досуге повыдираю их живьём.... Помучаю zfs, а сейчас спать... 4 утра уже...

А что ждать досуга?
Из того компа выдрнул флешки наживую.
Включил в Микрокомп, опять в другом порядке:

# zpool import
   pool: MSD3
     id: 10811165662858482968
  state: ONLINE
status: The pool was last accessed by another system.
 action: The pool can be imported using its name or numeric identifier and
	the '-f' flag.
   see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-EY
 config:

	MSD3        ONLINE
	  raidz1-0  ONLINE
	    MSD01   ONLINE
	    MSD02   ONLINE
	    MSD03   ONLINE

Затем:
# zpool import MSD3
cannot import 'MSD3': pool was previously in use from another system.
Last accessed by Bookworm-x64 (hostid=5ac46d81) at Thu Jul 11 04:06:18 2024
The pool can be imported, use 'zpool import -f' to import the pool.

Ну и:
# zpool import MSD3 -f

Всё без проблем импортировалось.
# zpool status MSD3
  pool: MSD3
 state: ONLINE
  scan: resilvered 13.5K in 00:00:01 with 0 errors on Thu Jul 11 04:12:01 2024
config:

	NAME        STATE     READ WRITE CKSUM
	MSD3        ONLINE       0     0     0
	  raidz1-0  ONLINE       0     0     0
	    MSD01   ONLINE       0     0     0
	    MSD02   ONLINE       0     0     0
	    MSD03   ONLINE       0     0     0

errors: No known data errors

Судя по строке: scan: resilvered - оно само ресинк рейда сделало.

А теперь спать!

n0mad ★★★
() автор топика
Последнее исправление: n0mad (всего исправлений: 2)
Ответ на: комментарий от n0mad

Затем селал 15 рсинков с того сета, замечая время работы и температуру проца после каждого рсинка.

Это не «долго мучал», и это не много данных.

Попробуй активно юзать несколько терабайт данных на таком диске — когда кол-во extent-ов на файл становится слишком много, то диск просто физически не может это все прочитать за разумное время, скорость падает фактически до нуля.

Чрезмерная фрагментация — известная проблема CoW-систем. На xfs/ext4 таких проблем нет, поэтому на бытовых hdd я не использую CoW

MaZy ★★★★★
()

Убилась ZFS - подскажите, что можно предпринять?

То же, что и с любой другой ФС — восстановить из резервной копии. Иногда оно разваливается без видимых причин даже на исправном железе.

anonymous
()
Ответ на: комментарий от MaZy

Затем селал 15 рсинков с того сета, замечая время работы и температуру проца после каждого рсинка.

Это не «долго мучал», и это не много данных.

Это моя оценка.

Попробуй активно юзать несколько терабайт данных на таком диске — когда кол-во extent-ов на файл становится слишком много, то диск просто физически не может это все прочитать за разумное время, скорость падает фактически до нуля.

Подозреваю что под «активно юзать» понимается высоконагруженная база данных? У меня активно пишется наверное лишь кэш браузера...

Чрезмерная фрагментация — известная проблема CoW-систем. На xfs/ext4 таких проблем нет, поэтому на бытовых hdd я не использую CoW

Что значит: «на бытовых hdd»? Тех которые не на высоконагруженных серверах?
Лично у меня другие критерии.
1. Онлайн упаковка, места вечно не хватает.
2. Автомаунт подтомов в Mountpath
3. Нативный рэйд, который можно одной командой создать из одного тома. Впрочем пробовал лишь зеркало.

n0mad ★★★
() автор топика
Ответ на: комментарий от vbr

Если по теме, то ты наткнулся на баг в ZFS. Если он у тебя стабильно воспроизводится, думаю, разработчики будут тебе благодарны за помощь в воспроизведении этого бага.

Ну да, зависон это баг, а где почитать какое нибудь хауту по пинанию разработчиков?

n0mad ★★★
() автор топика
 ← 1 2
← FREEIPA - ошибка при adduser
Admin
Жизненный цикл статусов в SQL →