ZFS на десктопе

Ответ на: комментарий от DALDON 08.06.24 16:05:37 MSK

Вот смотри какое у меня дерьмо творится на файло-помойке

Полетели разъёмы питания sata, плохой контакт. Разъёмы раздувает со временем вот так https://habrastorage.org/web/2fb/395/a3a/2fb395a3ad454859ba1f1a19a5392241.JPG

Лечится лёгким поджатием тисками и прогревом монтажным феном, но без фанатизма.

anonymous
(27.06.24 16:36:05 MSK)

Ответ на: комментарий от anonymous 27.06.24 16:36:05 MSK

Были поменены: ОЗУ, БП, ЦПУ, Диски, провода, контроллер, мат. плата, бекплейн. Проблема на месте… Уже нет идей что менять ещё.

mord0d , поменяли всё. - Проблема на месте… :(

DALDON ★★★★★
(27.06.24 18:27:15 MSK)

Ответ на: комментарий от DALDON 27.06.24 18:27:15 MSK

Уже нет идей что менять ещё.

Отвинтить плату управления от HDD и почистить контактную группу, может окислилась. Раньше на сигейтах очень помогало.

anonymous
(27.06.24 19:19:13 MSK)

Ребята, а почему вы мне не сказали, что для того чтобы использовать в ZFS нативное шифрование, процессор должен иметь поддержку avx инструкций? Это же подстава форменная!

anonymous
(27.06.24 19:48:34 MSK)

Ответ на: комментарий от anonymous 27.06.24 19:48:34 MSK

процессор должен иметь поддержку avx инструкций

Уже лет этак 13 не найти процов без avx инструкций.

anonymous
(27.06.24 19:53:49 MSK)

Ответ на: комментарий от anonymous 27.06.24 19:53:49 MSK

Во многих бюджетных моделях avx нету. По крайней мере не было до недавнего времени.

anonymous
(27.06.24 20:47:51 MSK)

А ещё рефлинки не работают нифига…

anonymous
(27.06.24 20:50:36 MSK)

Ответ на: комментарий от anonymous 27.06.24 19:19:13 MSK

Проблема в том, что таких харда одновременно в массиве стало три, и все три харда разных фирм уже были, и все менял… :(

DALDON ★★★★★
(28.06.24 08:22:36 MSK)

Ответ на: комментарий от anonymous 27.06.24 20:50:36 MSK

В новой zfs, говорят что завезли. - Но это не точно. :)

DALDON ★★★★★
(28.06.24 08:22:56 MSK)

Ответ на: комментарий от DALDON 28.06.24 08:22:56 MSK

В версии 2.2.0 завезли, а уже в следующем выпуске (2.2.1) их по умолчанию отключили «для предотвращения возможного повреждения данных». Включить их обратно у меня не получилось.

anonymous
(28.06.24 08:59:17 MSK)

Ответ на: комментарий от anonymous 28.06.24 08:59:17 MSK

О, как. Спасибо!

DALDON ★★★★★
(28.06.24 08:59:57 MSK)

Ответ на: комментарий от DALDON 28.06.24 08:59:57 MSK

Да на здоровье

anonymous
(28.06.24 20:24:05 MSK)

Ответ на: комментарий от DALDON 27.06.24 18:27:15 MSK

Осталось только админа поменять. (=

mord0d ★★★★★
(30.06.24 06:11:16 MSK)

Ответ на: комментарий от mord0d 30.06.24 06:11:16 MSK

У меня на пуле работает дедупликация, вот думаю, может быть в этом дело? Какой-то глюк из-за этого…

DALDON ★★★★★
(30.06.24 20:24:22 MSK)

Ответ на: комментарий от DALDON 30.06.24 20:24:22 MSK

Тогда замена потенциально проблемных оперативки и/или дисков должна была исправить проблему. Но ещё есть вероятность бага в самой ZFS.

mord0d ★★★★★
(02.07.24 22:16:19 MSK)

Ответ на: комментарий от DALDON 30.06.24 20:24:22 MSK

У меня на пуле работает дедупликация

Практически не рабочая фича даже на солярке.

anonymous
(03.07.24 01:26:41 MSK)

Ответ на: комментарий от mord0d 06.06.24 11:47:09 MSK

Да не пиши бред. Фрагментация вообще не проблема на ssd. И ничего при дефрагментации не происходит… Ну кроме увеличения места, занимаемого фс, если уже есть снапшоты

anonymous
(03.07.24 04:36:27 MSK)

Ответ на: комментарий от anonymous 03.07.24 04:36:27 MSK

Да не пиши бред. Фрагментация вообще не проблема на ssd. И ничего при дефрагментации не происходит…

Это ты пишешь бред. Речь идёт о дедупликации, а не дефрагментации. Дефрагментации в ZFS нет, её не может быть на CoW (напоминаю как попытки дефрагментации Btrfs превращают пул в тыкву).

mord0d ★★★★★
(03.07.24 08:00:33 MSK)

Ответ на: комментарий от anonymous 03.07.24 01:26:41 MSK

Практически не рабочая фича даже на солярке.

Что значит не рабочая фича? У меня вот такой показатель: Dedup rate 2,25 X.

DALDON ★★★★★
(03.07.24 09:57:03 MSK)

Ответ на: комментарий от DALDON 03.07.24 09:57:03 MSK

Что значит не рабочая фича?

Кагбе с тех пор ничего не изменилось https://habr.com/en/companies/hostkey/articles/179151/?mobile=no

anonymous
(03.07.24 17:32:24 MSK)

Ответ на: комментарий от DALDON 27.06.24 18:27:15 MSK

Вспомнилось тут...
Мужик один жаловался, что сосед его облучает. Шизиков немало, но менты решили таки к соседу заглянуть, а там - куча микроволновок у стены с открытыми дверцами! )
Я к чему... Может, место проклятое^W^W и правда излучение? Или рядом в сети что-то злое работает типа сварки или станка?

GAMer ★★★★★
(03.07.24 18:56:11 MSK)

Ответ на: комментарий от anonymous 03.07.24 17:32:24 MSK

Почему не изменилось? С тех пор появилась возможность выгружать таблицы дедупликации на ssd. Данной возможностью я пользуюсь.

DALDON ★★★★★
(04.07.24 06:07:02 MSK)

Ответ на: комментарий от DALDON 04.07.24 06:07:02 MSK

С тех пор появилась возможность выгружать таблицы дедупликации на ssd

Это полный фейл, ssd слишком медленны для этого, бесполезный костыль.

anonymous
(04.07.24 21:44:25 MSK)

Ответ на: комментарий от anonymous 04.07.24 21:44:25 MSK

На моих задачах работает хорошо. - Я делаю резервные копии сотен рабочих станций.

DALDON ★★★★★
(05.07.24 10:01:53 MSK)

Ответ на: комментарий от DALDON 05.07.24 10:01:53 MSK

Я делаю резервные копии сотен рабочих станций.

Сотен? Вот на это? :) ZFS на десктопе (комментарий)

anonymous
(05.07.24 21:12:40 MSK)

Ответ на: комментарий от anonymous 05.07.24 21:12:40 MSK

Да. Вполне работает. За один раз делается одна, две машины. И так по кругу. Проблем нет. Нагрузка минимальная. Я сделал один раз, а потом только инкременты. И дедупликация, собственно.

DALDON ★★★★★
(06.07.24 10:47:39 MSK)

Ответ на: комментарий от DALDON 08.06.24 16:05:37 MSK

Хороший пул. Надёжный, как швейцарские часы

Clockwork ★★★★★
(06.07.24 12:07:18 MSK)

Ответ на: комментарий от Clockwork 06.07.24 12:07:18 MSK

Я на такие претензии обычно отвечаю, что да, от падания километрового метеорита, конечно, не защитит...

GAMer ★★★★★
(06.07.24 12:16:31 MSK)

Ответ на: комментарий от GAMer 06.07.24 12:16:31 MSK

от такого ничего не защитит, кроме FAT32

anonymous
(06.07.24 13:45:13 MSK)

Ответ на: комментарий от anonymous 06.07.24 13:45:13 MSK

Только память на ферритовых кольцах

anonymous
(06.07.24 16:59:51 MSK)

Ответ на: комментарий от mord0d 02.07.24 22:16:19 MSK

Привет. Да, похоже на баги, вероятно.

Итог: после каждого полного scrub количество ошибок контрольных сумм уменьшалось. Стали сбрасывать ошибки не на всех дисках сразу, а постепенно, и прогонять scrub…

Результат отличный… Не знаю, на долго или нет, но вот так:

NAME                                                  STATE     READ WRITE CKSUM
tank                                                  ONLINE       0     0     0
  mirror-0                                            ONLINE       0     0     0
    ata-WDC_WD4000FYYZ-01UL1B3_WD-WMC130F3ADL6        ONLINE       0     0     0
    ata-WDC_WD4003FRYZ-01F0DB0_VBHAHM3F               ONLINE       0     0     0
    ata-HGST_HUS726T4TALE6L4_VBHSH5XF                 ONLINE       0     0     0
  mirror-1                                            ONLINE       0     0     0
    ata-WDC_WD4000FYYZ-01UL1B2_WD-WCC136ZRL1K1        ONLINE       0     0     0
    ata-HGST_HUS726T4TALE6L4_VBHS678F                 ONLINE       0     0     0
  mirror-4                                            ONLINE       0     0     0
    ata-WDC_WD4003FRYZ-01F0DB0_V1JWM8LG               ONLINE       0     0     0
    ata-WDC_WD4003FRYZ-01F0DB0_V1JW4AGG               ONLINE       0     0     0
  mirror-5                                            ONLINE       0     0     0
    ata-WDC_WD30EFRX-68AX9N0_WD-WMC1T1003960          ONLINE       0     0     0
    ata-WDC_WD30EFRX-68AX9N0_WD-WMC1T1070377          ONLINE       0     0     0
dedup
  mirror-3                                            ONLINE       0     0     0
    ata-KINGSTON_SEDC500M480G_50026B72828B7BEA-part6  ONLINE       0     0     0
    ata-KINGSTON_SEDC500M480G_50026B72828B7831-part6  ONLINE       0     0     0
logs
  ata-KINGSTON_SEDC500M480G_50026B72828B7BEA-part4    ONLINE       0     0     0
  ata-KINGSTON_SEDC500M480G_50026B72828B7831-part4    ONLINE       0     0     0
cache
  ata-KINGSTON_SEDC500M480G_50026B72828B7BEA-part5    ONLINE       0     0     0
  ata-KINGSTON_SEDC500M480G_50026B72828B7831-part5    ONLINE       0     0     0

Что там у вас по дискам которые резко вышли из массива три штуки? Чем история закончилась?

DALDON ★★★★★
(09.07.24 16:45:05 MSK)

Ответ на: комментарий от DALDON 09.07.24 16:45:05 MSK

Итог: после каждого полного scrub количество ошибок контрольных сумм уменьшалось. Стали сбрасывать ошибки не на всех дисках сразу, а постепенно, и прогонять scrub…

Железо тухлое, админ некомпетентен.

anonymous
(10.07.24 04:47:41 MSK)

Ответ на: комментарий от DALDON 09.07.24 16:45:05 MSK

Результат отличный…

Это не может не радовать! Но как удалось сделать несимметричное зеркало?

Что там у вас по дискам которые резко вышли из массива три штуки? Чем история закончилась?

Данные удалось вытащить, диски воскресить, но некоторым жить недолго осталось. А может и долго. Я перестроил RAID-10 в RAID-1, так что если начнут дохнуть, буду заменять постепенно.

mord0d ★★★★★
(10.07.24 12:29:58 MSK)

Ответ на: комментарий от mord0d 10.07.24 12:29:58 MSK

Это не может не радовать! Но как удалось сделать несимметричное зеркало?

А в чем сложность? Мы ведь просто докинули mirror в zpool по мере надобности и всё. Поскольку, нагрузка на пул не большая, и диски по сути, заполняются по мере дополнения данных. Было mirror1 с двумя дисками по 10 тб., никто не мешает дополнить zvol дисками по 2 тб., в так же в зеркале, добавив mirror2. Если это просто хранилище в которое кладутся данные со скоростью 10 мегабайт в секунду, а то и меньше, как в моём случае, проблем нет, zfs будет просто дописывать данные на диски по 2 тб. Или я не корректно понял вопрос?

DALDON ★★★★★
(11.07.24 05:31:22 MSK)

Ответ на: комментарий от mord0d 10.07.24 12:29:58 MSK

Я перестроил RAID-10 в RAID-1

На продуктивных инсталляциях, стараюсь использовать просто raid1. Просто из SSD или из HDD с кешем.

Или делаю вот так:

# zpool status
  pool: tank
 state: ONLINE
  scan: scrub repaired 0B in 10:10:21 with 0 errors on Sun Jun  9 10:34:22 2024
config:


NAME                                                     STATE     READ WRITE CKSUM
tank                                                     ONLINE       0     0     0
  mirror-0                                               ONLINE       0     0     0
    sdb                                                  ONLINE       0     0     0
    sdc                                                  ONLINE       0     0     0
    sdd                                                  ONLINE       0     0     0
  mirror-1                                               ONLINE       0     0     0
    sde                                                  ONLINE       0     0     0
    sdf                                                  ONLINE       0     0     0
    sdg                                                  ONLINE       0     0     0
logs
  mirror-2                                               ONLINE       0     0     0
    sda4                                                 ONLINE       0     0     0
    ata-SAMSUNG_MZ7L3480HCHQ-00A07_S664NN0W701571-part4  ONLINE       0     0     0
cache
  sda5                                                   ONLINE       0     0     0
  ata-SAMSUNG_MZ7L3480HCHQ-00A07_S664NN0W701571-part5    ONLINE       0     0     0

В каждом плече у меня по три диска. Что бы выход из строя одного диска не заставлял нервничать. Далее: размер l2arc (persistent) у меня не особо большой (эффективность не более 20%). Что бы не отъедалось место от драгоценного arc. Ну и под sync операции у меня slog. - Для моих рабочих нагрузок (десятки не нагруженных VM) производительности хватает.

DALDON ★★★★★
(11.07.24 05:53:43 MSK)
Последнее исправление: DALDON 11.07.24 05:55:44 MSK (всего исправлений: 1)

Ответ на: комментарий от DALDON 11.07.24 05:31:22 MSK

А в чем сложность?

Это я протупил. Думал про страйп, написал про зеркало. Но тут именно несимметричное зеркало, и оно вполне возможно, зеркалить можно любым количеством дисков/разделов любой кусочек страйпа, оно перпендикулярно.

Или делаю вот так:

Сбалансированная схема, в общем оптимальная для чего угодно. Но у меня недостаток SATA-портов, чтобы накидать больше дисков, а до нормального бэкплейна всё лапки не доходят разобраться.

размер l2arc (persistent) у меня не особо большой (эффективность не более 20%). Что бы не отъедалось место от драгоценного arc.

20%

А больше и не надо, в общем-то. Если бы крутились многотерабайтные базы данных, то тогда кэши стоило бы подкрутить побольше.

mord0d ★★★★★
(11.07.24 16:37:14 MSK)

Похожие темы