Массив ZFS(raidz1)

https://0x0.st/-2pj.png

Сервер разбирал отлкючал все диски, после собрал обратно, подключил все диски. Сейчас не видится массив ZFS(raidz1). Сами диски видны в системе.

Подключил диски обратно не в той последовательности (например sda стал sdc, и/или sdc стал sdb)?

Что говорит zpool import <pool-name>?

Так делают только мудаки, всегда, запомни ВСЕГДА собирай массивы по /dev/disk/by-id.

root@pve:~# zpool import rpoolz cannot mount ‘/rpoolz’: directory is not empty

Согласен. Сейчас что-нибудь можно сделать?

Подключить в правильном порядке?

И да, пожалуйста оформляй свои вопросы нормально, трудно читать и нет желания помогать лишний раз

Подключил диски обратно не в той последовательности (например sda стал sdc, и/или sdc стал sdb)?

Давным-давно уже исправили, можно собирать по именам.

directory is not empty

Ну написано же.

directory is not empty

Кто-то насрал в маунтпоинт пула.

можно собирать по именам

Собирать-то можно, а вот пересобирать — нет.

И пересобирать тоже. Я же говорю - баг давно исправлен.

И пересобирать тоже. Я же говорю - баг давно исправлен.

Чтобы пул пересобрать, нужно его нужно вначале импортировать. А чтобы его импортировать — нужны диски в изначальных местах, хотя бы критическая их часть для импорта хотя бы в DEGRADED.

А чтобы его импортировать — нужны диски в изначальных местах

Уже нет afaik. Не могу найти в changelog, но почему-то отчетливо помню, что оно было в новостях и обсуждалось. Поищу.

А чтобы его импортировать — нужны диски в изначальных местах

Уже нет afaik. Не могу найти в changelog, но почему-то отчетливо помню, что оно было в новостях и обсуждалось. Поищу.

А, всё, понял! Вспомнил! OpenZFS теперь ищет мемберов пула по меткам, проходя по дискам рекурсивно, если не нашло мембера на ожидаемом месте. Есть такое, да.

Вот! Чуть позже попытаюсь найти пруфлинк, с телефона неудобно.

Чуть позже попытаюсь найти пруфлинк

Может кому и пригодится. Но я видел это в рассылке, просто не сразу вспомнил (во FreeBSD завезли OpenZFS только в марте этого года, у меня от старой ZFS ещё не вся каша из головы выветрилась).

Не by-id, а by-path. Потому, что диски будут меняться на определённом компе с определённой конфигурацией и проще составить табличку какой порт/слот в корзине имеет идентификатор и потом маркером пронумеровать диски. Тогда не будет проблем и 22 диск будет вставлен в 22:0 слот согласно табличке.

А что изменилось, разве в OpenZFS не поддерживается импорт пула по любым быстрее найденным путям к устройствам?

разве в OpenZFS не поддерживается импорт пула по любым быстрее найденным путям к устройствам?

Теперь поддерживается. Просто я об этом как-то забыл. (%

Раньше оно искало мембера по указанному в самом пуле (или в кэш-файле) адресу, если не находило — сдавалось. Импорт, соответственно, фейлился.

Раньше это когда? По-моему всегда нормально было, начиная с объявления о готовности ZFS к продакшену на FreeBSD. Может у OpenZFS были свои закидоны?

Может у OpenZFS были свои закидоны?

Были.

Я ж не всегда сидел на FreeBSD с ZFS, до неё была Gentoo с ZFS.

По-моему всегда нормально было, начиная с объявления о готовности ZFS к продакшену на FreeBSD.

У FreeBSD и нативной ZFS под неё тоже были закидоны, поэтому делали пул на gpt-метках

Спасибо всем кто участвует в обсуждении вопроса. Сегодня хотел попробовать перебрать все варианты подключения четырех жестких дисков массива. Но перед этим решил выполнить команду zpool list , оказалось что мой массив ZFS(raidz1) появился, произошло это примерно через двое суток после включения сервера. Я ни чего не делал, массив появился сам. Единственное что сейчас почему то один диск массива отображается как SSD, а остальные как ata-TOSHIBA_..., хотя все диски одной модели. Не подскажете почему один диск отображается как SSD?

root@pve:~# zpool list
NAME     SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
rpool    222G  10.2G   212G        -         -     5%     4%  1.00x    ONLINE  -
rpoolz  14.5T  2.23T  12.3T        -         -     0%    15%  1.00x    ONLINE  -
root@pve:~# zpool list -v
NAME                                                  SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
rpool                                                 222G  10.2G   212G        -         -     5%     4%  1.00x    ONLINE  -
  mirror                                              222G  10.2G   212G        -         -     5%  4.58%      -  ONLINE  
    ata-KINGSTON_SH103S3240G_50026B7246099E01-part3      -      -      -        -         -      -      -      -  ONLINE  
    ata-KINGSTON_SH103S3240G_50026B72480A3995-part3      -      -      -        -         -      -      -      -  ONLINE  
rpoolz                                               14.5T  2.23T  12.3T        -         -     0%    15%  1.00x    ONLINE  -
  raidz1                                             14.5T  2.23T  12.3T        -         -     0%  15.3%      -  ONLINE  
    ata-TOSHIBA_MG04ACA400E_X983KBTPFJKA                 -      -      -        -         -      -      -      -  ONLINE  
    sdd                                                  -      -      -        -         -      -      -      -  ONLINE  
    ata-TOSHIBA_MG04ACA400E_X985K8SBFJKA                 -      -      -        -         -      -      -      -  ONLINE  
    ata-TOSHIBA_MG04ACA400E_X9JBK3TCFJKA                 -      -      -        -         -      -      -      -  ONLINE  

Не SSD, а блочное устройство sdd.

Ага, точно sdd. А почему sdd?

Видимо, единственный диск, который попал на своё изначальное место.

До сих пор наблюдаю импорт пулов по DISKID вместо GPT LABEL.

Совет на будущее (из личного опыта) - клей на диски стикеры с названием порта на материнке, в который они подключены.

Очень выручает при манипуляциях с железом.

Совет на будущее (из личного опыта) - клей на диски стикеры с названием порта на материнке, в который они подключены.

Очень выручает при манипуляциях с железом.

Плюсую данного регистранта!

Причём вполне актуально даже для однодисковых сетапов — портов в матплате всегда больше, и фиг его знает как поведёт себя юзерспейс.

Стикеры на дисках и так есть - их серийные номера. Достаточно использовать уникальную часть серийного номера в качестве идентификатора устройства в пуле. Серийники отображаются dmesg после опроса устройств в процессе загрузки и никуда не пропадают с исправных носителей. И клеить ничего не придётся.

Вы, наверное, программист?

Только они могу дать такой точный и правильный, но абсолютно бесполезный IRL совет.

P.S. No offense.

Но перед этим решил выполнить команду zpool list , оказалось что мой массив ZFS(raidz1) появился, произошло это примерно через двое суток после включения сервера. Я ни чего не делал, массив появился сам.

А zpool import raidz1 кто делал, Дед Мороз?

Вот с того момента он у тебя и импортирован, только некоторые (все?) файловые системы не могли быть смонтированы по умолчанию, из-за того, что кто-то нагадил в точки монтирования.

zfs get -r mounted raidz1 в зубы и выяснять, что не смонтировано, дальше смотреть zfs get mountpoint на предмет того, где должно было быть, смотреть, что помешало, устранять, и zfs mount / zfs mount -a чтобы таки смонтировать.

Перед началом процесса настоятельно рекомендуется RTFM.