zol , не всё так хорошо...

Ага... И файлы нельзя скопировать даже... Вот в чём ещё дело...

у меня нет выбора,

Выбор всегда есть. Если бы с ZOL не было проблем, то он давно бы использовался. А сегодня ZOL еще далеко до «Technology Preview». Где на redhat можно ознакомиться с результатами твоего тестирования btrfs?

Ого... Ничего себе.

В общем у тебя стоят самые обычные SSD, для десктопов которые. В каком у тебя они стоят RAID? С отказами сталкиваешься? Как меняешь? Выключаешь хост, и на холодную делаешь замену? Какого они у тебя объёма? Ничего особого для TRIM не делал?

Если бы с ZOL не было проблем, то он давно бы использовался.

Он давно используется и с ним нет проблем.

А сегодня ZOL еще далеко до «Technology Preview».

На zfsonlinux.org утверждают обратное и мой опыт это подтверждает.

Где на redhat можно ознакомиться с результатами твоего тестирования btrfs?

Я не работаю на redhat и результаты своих тестов им не отправляю.

Массивы raid-z2. Менял 2 раза offline (выключал хост на плановом обслуживанни, без авралов). Объём по 128Гб x 7 штук в масиве. Для trim ничего не делал.

И таких хостов у тебя около трёх десятков говоришь?

Но самый интересный вопрос: а собственно как ты детектишь что у тебя что-то вышло из строя..? У меня вот смотри, массив то якобы в ONLINE, а по факту, виртуалки крешатся... Как детектировать отказ?

И таких хостов у тебя около трёх десятков говоришь?

На сегодня на zfsonlinux перевели 23 хоста.

а собственно как ты детектишь что у тебя что-то вышло из строя..?

Во-первых, все массивы на хороших raid-контроллерах adaptec с батарейкой в режиме jbod и есть шататный мониторинг состояния дисков, во-вторых, память ECC, в-третьих, серверные диски с tler (кроме ssd). Проблем пока не было. Ну и zpool scrub pool в cron раз в месяц.

Он давно используется и с ним нет проблем.

Если нечего сказать по делу, то попридержи язык. Ни в одном enterprise linux нет поддержки ZOL. Да что уж поддержки, даже Preview нет.

На zfsonlinux.org утверждают обратное и мой опыт это подтверждает.

Надо же, а разрабы RHEL/SLES не в курсе. Вот ведь незадача.

Я не работаю на redhat и результаты своих тестов им не отправляю.

То есть балабол: Я...в федоре тестировал... А показать-то нечего.

P.S. Пользуйся и дальше в продакшне bolgenOS school edition, ведь ты об этом должен знать все.

Ага, это толково, а что ты считаешь, касаемо того, что говорят о том, что очень плохая идея использовать диски подключенными не напрямую к чипсету, а через RAID. В zfs говорят, что самое адекватное, это ECC + подключать диски на прямую, тогда мол, zfs будет всё знать о дисках, и сама там успешно справится.

Ты странный какой-то, я с ним делюсь опытом бесплатно и искренне, он мне в морду тычет своим rhel и sles. И что? По мне, ubuntu server не менее entrprise чем твой обожаемый rhel. Я никого не уговариваю, я зарабатываю деньги на linux и мои клиенты довольны. Про btrfs скажу тебе так - попробуй и убедись сам, толкать мне маркетинговый буллшит от rhel не надо, я, в отличие от тебя, за слова готов ответить.

что очень плохая идея использовать диски подключенными не напрямую к чипсету, а через RAID. В zfs говорят, что самое адекватное, это ECC + подключать диски на прямую, тогда мол, zfs будет всё знать о дисках, и сама там успешно справится.

Я их в JBOD распустил, это отдельные диски, логика контроллеров не задействована. Как то так:

NAME                                     STATE     READ WRITE CKSUM
	zpool1                                   ONLINE       0     0     0
	  raidz1-0                               ONLINE       0     0     0
	    scsi-SAdaptec_LogicalDrv_1_25CA8B2B  ONLINE       0     0     0
	    scsi-SAdaptec_LogicalDrv_2_E0469B2B  ONLINE       0     0     0
	    scsi-SAdaptec_LogicalDrv_3_706A9B2B  ONLINE       0     0     0
	    scsi-SAdaptec_LogicalDrv_4_9C8E9B2B  ONLINE       0     0     0
	spares
	  scsi-SAdaptec_LogicalDrv_5_12BE9B2B    AVAIL   

в отличие от тебя, за слова готов ответить.

Я уже убедился, что показать тебе нечего, а твои слова не соответствуют действительности.

я с ним делюсь опытом бесплатно и искренне

Дам бесплатный совет: фс на дорогом adaptec с включенным кэшем на запись на SSD работает медленнее, чем на дешевом HBA без кэша. Опцию «отключение кэша» на дорогих контроллерах за деньги продают.

P.S. За совет можешь не благодарить. Не веришь - убедись сам.

Ах, спасибо! То есть у тебя, контроллер, это просто как: некий мультиплексор, ты его мониторишь, в случае чего подключаешь spares диск просто, до того момента, как тебе дадут maintaince. Ну и плюс его кеш задействуешь, хотя конечно для SSD, может оно и не очень нужно...

Я уже убедился, что показать тебе нечего, а твои слова не соответствуют действительности.

Да я говорю и ничего не скрываю, про btrfs тут есть несколько моих тем, там всё сказано. В чём мои слова не соответствуют действительности?

о есть у тебя, контроллер, это просто как: некий мультиплексор, ты его мониторишь, в случае чего подключаешь spares диск просто, до того момента, как тебе дадут maintaince. Ну и плюс его кеш задействуешь, хотя конечно для SSD, может оно и не очень нужно...

Так точно.

Кстати, скоро будет релиз:

0.6.4
No due date   Last updated 11 minutes ago
ZFS on Linux v0.6.4 - Functionality / Integration
 
99% complete  3 open  402 closed

В чём мои слова не соответствуют действительности?

прочти еще раз

Значит резюме такое:

Сейчас мои «грины» проходят scrub. Пусть проходят до утра. Завтра выложу результаты.

Я перенёс одну машинку на хост с: 32gb ECC + WDC_WD4000F9YZ (в zfs raid1), и запустил там экспорт БД в oracle. - Завтра будет результат, крайне надеюсь, что там оно не закрешится...

Ни в одном enterprise linux нет поддержки ZOL.

Погоди, погоди... Нету поддержки, по лицензионным соображением же. Разве не так?

А brtfs, кстати уже умеет по сети посылать свои снепшоты?

Ты выпимши чтоли? Неадекватный слегка.

Потому что в отличие от рейда, который понятия о других файлах не знает и потому просто отключает все нафиг, zfs позволяет тебе работать с данными, которые не пострадали.

Кто тебе виноват, что в одних и тех же блоках на обоих дисках случились ошибки? Вот он тебе сказал, что эти файлы тебе нужно достать из бекапа (и скруб тут не поможет никак). Остальные данные либо не пострадали, либо не проверялись (поскольку это происходит при чтении или записи), затем тебе и надо запустить скруб, чтобы понять насколько все плохо

А brtfs, кстати уже умеет по сети посылать свои снепшоты?

Умеет. Но оно не умеет массивы, имеет нестабильный трансфер, и катастрофическую деградацию трансфера при большом количестве снапшотов. При монтировании с -o compress-force может уронить в kernel panic.

а unavail будет писать, когда случиться глобальный пипец с потерей всех данных, например потеря 2х дисков целиком в raidz1

Потому что в отличие от рейда, который понятия о других файлах не знает и потому просто отключает все нафиг, zfs позволяет тебе работать с данными, которые не пострадали.

Ах вот оно что... Кажется я начал понимать смысл жизни... А то никак не мог сообразить, почему же они настоятельно рекомендуют использовать диски напрямую. Ок. Понял.

Кто тебе виноват, что в одних и тех же блоках на обоих дисках случились ошибки?

Спасибо! Разъяснил! А если бы ошибка была только на одном из дисков. Он бы справился сам?

а unavail будет писать, когда случиться глобальный пипец с потерей всех данных, например потеря 2х дисков целиком в raidz1

Спасибище тебе огромное! Очень круто, когда помогают по делу! Буду тестировать память завтра.

Подскажи пожалуйста, каким образом ты бы мониторил свои zfs тома на предмет такой бяки, если бы у тебя было в распоряжении несколько серверов с zfs (с автоснепшотиннгом, каждые xx минут), ansible + zabbix?

# zpool status 
  pool: zroot
 state: ONLINE
...
bla-bla-bla
...
errors: 3 data errors, use '-v' for a list

А если бы ошибка была только на одном из дисков. Он бы справился сам?

Даже если бы на двух в зеркале, но в разных местах.

Память без ECC уязвимое место. Хотя как система вообще работает на «битой» памяти, если это она - мне не совсем понятно.

По мне, ubuntu server не менее entrprise чем твой обожаемый rhel

Выключи уже тэг юмориста Евгения. Как там, в ubuntu server уже осилили установку на rpool? Саппорт ubuntu реагирует на тикеты по zfs? Хороша «поддержка». А в соляре уже сто лет в обед работает.

root@kvm2:~# zpool status
  pool: zroot
 state: ONLINE
status: One or more devices has experienced an error resulting in data
	corruption.  Applications may be affected.
action: Restore the file in question if possible.  Otherwise restore the
	entire pool from backup.
   see: http://zfsonlinux.org/msg/ZFS-8000-8A
  scan: scrub repaired 0 in 5h25m with 0 errors on Tue Mar 10 04:05:24 2015
config:

	NAME                                         STATE     READ WRITE CKSUM
	zroot                                        ONLINE       0     0     9
	  mirror-0                                   ONLINE       0     0    19
	    ata-WDC_WD20EARS-00S8B1_WD-WCAVY4199811  ONLINE       0     0    19
	    ata-WDC_WD20EARS-00S8B1_WD-WCAVY4452032  ONLINE       0     0    20

errors: 3 data errors, use '-v' for a list

scrub прошёл, больше ничего не обнаружил. Пойду, поставлю memtest. Самое удивительное, что до этого момента, я уже более полугода отработал на этой машинке. Правда с другими дисками. Но с этой же памятью.

Даже если бы на двух в зеркале, но в разных местах.

А я узнал бы об этом? Оно бы отразилось где-то, что такая бяка была?

Может ещё ответишь на вопрос который я тебе задал вчера? zol , не всё так хорошо... (комментарий) Если тебе не трудно, конечно.

zgen, King_Carlo, ребята, память битая. Одна ячейчка, буквально в начале. Как я жил с этим ранее..? Не ведаю. Не помню, тестил, или нет до этого эту планку... Я правильно понимаю, что если бы у меня была бы ECC память, то меня в целом бы это тоже совершенно бы не спасло? Такое повреждение, это уже весьма серьёзно, и ECC тут бессильно вроде?

а запусти с ключом -v.

Да запускал. Там всё очень печально. Три погибших образа вирт. машин.

А я узнал бы об этом? Оно бы отразилось где-то, что такая бяка была?

Ну если scrub делать периодически или просто при чтении-записи натолкнулся, то узнал бы.

. Я правильно понимаю, что если бы у меня была бы ECC память, то меня в целом бы это тоже совершенно бы не спасло?

Вообще то должно было. Задача ECC не обязательно исправить, но хотя бы сообщить системе о том, что данным доверять нельзя.

Может ещё ответишь на вопрос который я тебе задал вчера?

Ну ты конкретного решения ждешь?

Ну ты конкретного решения ждешь?

Не хочу показаться парасёнком, но если есть что-то уже готовое, то да. То есть мой интерес, на на состояние массива в целом. А именно, на повреждения файлов в массиве. Ну, это если конечно есть что-то подобное. Или знаешь где взять. Как вообще принято мониторить zfs?

Я правильно понимаю, что если бы у меня была бы ECC память, то Меня в целом бы это тоже совершенно бы не спасло?

От железа и ошибки зависит. Если ошибка неисправимая, то тебе об этом было бы сообщено. Проблемная планка могла бы быть отключена аппаратно. Кроме того из памяти можно строить RAID.

От железа и ошибки зависит. Если ошибка неисправимая, то тебе об этом было бы сообщено

А данные бы повредились, или нет при этом..?

Как вообще принято мониторить zfs?

Документацию на oracle читать, конечно, не нужно. Хотя у вас же ZOL, а не нормальный ZFS. Иди в саппорт, который отсутствует или к «знающим». Они тебя научат жизни. ССЗБ.

https://www.google.ru/search?q=zfs monitoring script&oq=zfs monitori&...

:)

А данные бы повредились, или нет при этом..?

В случае неисправимой ошибки при использовании RAID на RAM все было бы хорошо. В другом случае данные были бы повреждены.

А данные бы повредились, или нет при этом..?

Не знаю, как на линуксе, но в оригинале - нет, в этом ведь и смысл.

В другом случае данные были бы повреждены.

Не совсем. Это зависит от реакции системы (я не знаю, как zfs в линукс устроена) - она вполне может остановить операцию с выдачей ошибки или остановиться целиком, но физически записанные данные бы не пострадали бы от попытки их изменить ошибочными.

ZFSonlinux просто работает, с версии 0.6.1 нет ни одной серьёзной проблемы

Кстати я именно по причине эпической предсказуемости и документированности пока сижу на фряхе, если говорить про продакшен, то нативным системам пока нет альтернатив.

Там всё очень печально. Три погибших образа вирт. машин.

Эй, фанаты zfs, а как же хваленая надежность и сквозные контрольные суммы, должные уберечь данные от любых аппаратных сбоев? Я в шоке, от вашей лжи, пусть даже от вашей безграмотности!

Эй, фанаты zfs, а как же хваленая надежность и сквозные контрольные суммы, должные уберечь данные от любых аппаратных сбоев?

Вот это и меня как раз таки тоже ВЕСЬМА удивило...

Так подожди, у тебя именно ZOL или файлики с жесткими дисками виртуалок самой ZFS? Ну и zfs get имя_volume было бы неплохо увидеть

Как там, в ubuntu server уже осилили установку на rpool?

Зачем?

Саппорт ubuntu реагирует на тикеты по zfs?

Команда zfsonlinux реагирует.

А в соляре уже сто лет в обед работает.

И что? В соляре kvm не работает, не считая всяких извращений типа smartos на illumos.
Стоят два стораджа на фре, по iscsi zvol-ы раздают, оказалось не очень, локальные стораджи, под конкретные задачи, дешевле и быстрее.

В принципе мне твой подход понятен, результат, как таковой, тебя не интересует, главное «энтрепрайзность» и «так rhel сказал». Отсюда неприятие нормальных технологий и советы употреблять дерьмо болшой ложкой (btrfs).

Вот это и меня как раз таки тоже ВЕСЬМА удивило...

Тебя удивило что неисправное железо привело к такому результату? С любой другой ФС было бы то же самое или хуже.

У меня, zfs том, с именем вирт. машинки. А в томе, просто лежит файлик qcow2, опять-же с именем машинки. - Я генерирую всё это из скриптов. И для меня qcow2 удобнее всего пока оказался, в качестве хранилища. И вот на qcow2 файлы, оно ругается. Собственно, я не годую! Где сквозная проверка целостности...

zfs get имя_volume

Чуть позже покажу. Пока мест память гоняю. Битую планку уже выкинул.

Так вроде же zfs, гарантирует целостность данных в любом случае. Почему оно позволило записать битые данные?