LINUX.ORG.RU
Форум — Admin  

И снова zfs on Linux с ошибками i/o в dmesg

 , , ,


0

1

Проблема заключается в том, что в вирт. машине, фризится даже vi, на устойчиво периодической основе.

В тред приглашаю: King_Carlo, и других, умных и не равнодушных людей.

Пользуюсь jbod на adaptec 2405. Диски WD3000HLFS-0.

На одном из узлов, сабж:

root@kvm4:~# apt-cache show zfsutils
....
Version: 0.6.4.1-1~trusty

Ввод/вывод, статистика:

root@kvm4:~# iostat -mx
Linux 3.13.0-49-generic (kvm4) 	15.05.2015 	_x86_64_	(8 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0,39    0,00    0,18    3,31    0,00   96,12

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
....
sdb               0,20     0,00    0,96   30,91     0,10     1,61   109,86     0,22    6,95   11,07    6,82   3,29  10,47
sdc               0,20     0,00    0,90   30,86     0,09     1,61   109,76     0,21    6,62   10,76    6,50   3,09   9,80

dmesg:

[12973.186314] INFO: task txg_sync:3877 blocked for more than 120 seconds.
[12973.186334]       Tainted: P           OX 3.13.0-49-generic #83-Ubuntu
[12973.186348] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
[12973.186373] txg_sync        D ffff88041fbd34c0     0  3877      2 0x00000000
[12973.186376]  ffff880400ca1bd0 0000000000000046 ffff8804003c4800 ffff880400ca1fd8
[12973.186378]  00000000000134c0 00000000000134c0 ffff8804003c4800 ffff88041fbd3d58
[12973.186379]  ffff8802e57a4790 ffff8802e57a47d0 ffff8802e57a47b8 0000000000000001
[12973.186381] Call Trace:
[12973.186387]  [<ffffffff8172626d>] io_schedule+0x9d/0x140
[12973.186395]  [<ffffffffa033aaaf>] cv_wait_common+0x9f/0x120 [spl]
[12973.186399]  [<ffffffff810ab120>] ? prepare_to_wait_event+0x100/0x100
[12973.186402]  [<ffffffffa033ab88>] __cv_wait_io+0x18/0x20 [spl]
[12973.186426]  [<ffffffffa05ae193>] zio_wait+0x123/0x210 [zfs]
[12973.186439]  [<ffffffffa053ac41>] dsl_pool_sync+0xb1/0x460 [zfs]

SMART второго диска ( # arcconf getsmartstats 1 tabular ) :


      PhysicalDriveSmartStats          
          channel ........................................ 0
          id ............................................. 3
          nonSpinning .................................... false
          isDescriptionAvailable ......................... true

         Attribute                     
             id ............................................. 0x01
             name ........................................... Read Error Rate
             normalizedCurrent .............................. 197
             normalizedWorst ................................ 192
             rawValue ....................................... 357899

         Attribute                     
             id ............................................. 0x03
             name ........................................... Spin-Up Time in millisecs
             normalizedCurrent .............................. 196
             normalizedWorst ................................ 196
             rawValue ....................................... 3191

         Attribute                     
             id ............................................. 0x04
             name ........................................... Start/Stop Count
             normalizedCurrent .............................. 100
             normalizedWorst ................................ 100
             rawValue ....................................... 34

         Attribute                     
             id ............................................. 0x05
             name ........................................... Reallocated Sectors Count
             normalizedCurrent .............................. 200
             normalizedWorst ................................ 200
             rawValue ....................................... 0

         Attribute                     
             id ............................................. 0x07
             name ........................................... Seek Error Rate
             normalizedCurrent .............................. 200
             normalizedWorst ................................ 200
             rawValue ....................................... 0

         Attribute                     
             id ............................................. 0x09
             name ........................................... Power-On Hours
             normalizedCurrent .............................. 42
             normalizedWorst ................................ 42
             rawValue ....................................... 42517

         Attribute                     
             id ............................................. 0x0A
             name ........................................... Spin Retry Count
             normalizedCurrent .............................. 100
             normalizedWorst ................................ 253
             rawValue ....................................... 0

         Attribute                     
             id ............................................. 0x0B
             name ........................................... Recalibration Retries
             normalizedCurrent .............................. 100
             normalizedWorst ................................ 253
             rawValue ....................................... 0

         Attribute                     
             id ............................................. 0x0C
             name ........................................... Power Cycle Count
             normalizedCurrent .............................. 100
             normalizedWorst ................................ 100
             rawValue ....................................... 34

         Attribute                     
             id ............................................. 0xC0
             name ........................................... Power-off Retract Count
             normalizedCurrent .............................. 200
             normalizedWorst ................................ 200
             rawValue ....................................... 11

         Attribute                     
             id ............................................. 0xC1
             name ........................................... Load/Unload Cycle Count
             normalizedCurrent .............................. 200
             normalizedWorst ................................ 200
             rawValue ....................................... 34

         Attribute                     
             id ............................................. 0xC2
             name ........................................... Current Internal Temperature
             normalizedCurrent .............................. 107
             normalizedWorst ................................ 101
             rawValue ....................................... 40

         Attribute                     
             id ............................................. 0xC4
             name ........................................... Reallocation Event Count
             normalizedCurrent .............................. 200
             normalizedWorst ................................ 200
             rawValue ....................................... 0

         Attribute                     
             id ............................................. 0xC5
             name ........................................... Current Pending Sector Count
             normalizedCurrent .............................. 200
             normalizedWorst ................................ 200
             rawValue ....................................... 0

         Attribute                     
             id ............................................. 0xC6
             name ........................................... Uncorrectable Sector Count
             normalizedCurrent .............................. 200
             normalizedWorst ................................ 200
             rawValue ....................................... 0

         Attribute                     
             id ............................................. 0xC8
             name ........................................... Write Error Rate
             normalizedCurrent .............................. 200
             normalizedWorst ................................ 200
             rawValue ....................................... 0

SMART первого диска:


      PhysicalDriveSmartStats          
          channel ........................................ 0
          id ............................................. 2
          nonSpinning .................................... false
          isDescriptionAvailable ......................... true

         Attribute                     
             id ............................................. 0x01
             name ........................................... Read Error Rate
             normalizedCurrent .............................. 187
             normalizedWorst ................................ 164
             rawValue ....................................... 1536688

         Attribute                     
             id ............................................. 0x03
             name ........................................... Spin-Up Time in millisecs
             normalizedCurrent .............................. 196
             normalizedWorst ................................ 194
             rawValue ....................................... 3200

         Attribute                     
             id ............................................. 0x04
             name ........................................... Start/Stop Count
             normalizedCurrent .............................. 100
             normalizedWorst ................................ 100
             rawValue ....................................... 29

         Attribute                     
             id ............................................. 0x05
             name ........................................... Reallocated Sectors Count
             normalizedCurrent .............................. 200
             normalizedWorst ................................ 200
             rawValue ....................................... 0

         Attribute                     
             id ............................................. 0x07
             name ........................................... Seek Error Rate
             normalizedCurrent .............................. 200
             normalizedWorst ................................ 200
             rawValue ....................................... 0

         Attribute                     
             id ............................................. 0x09
             name ........................................... Power-On Hours
             normalizedCurrent .............................. 42
             normalizedWorst ................................ 42
             rawValue ....................................... 42508

         Attribute                     
             id ............................................. 0x0A
             name ........................................... Spin Retry Count
             normalizedCurrent .............................. 100
             normalizedWorst ................................ 253
             rawValue ....................................... 0

         Attribute                     
             id ............................................. 0x0B
             name ........................................... Recalibration Retries
             normalizedCurrent .............................. 100
             normalizedWorst ................................ 253
             rawValue ....................................... 0

         Attribute                     
             id ............................................. 0x0C
             name ........................................... Power Cycle Count
             normalizedCurrent .............................. 100
             normalizedWorst ................................ 100
             rawValue ....................................... 29

         Attribute                     
             id ............................................. 0xC0
             name ........................................... Power-off Retract Count
             normalizedCurrent .............................. 200
             normalizedWorst ................................ 200
             rawValue ....................................... 165

         Attribute                     
             id ............................................. 0xC1
             name ........................................... Load/Unload Cycle Count
             normalizedCurrent .............................. 200
             normalizedWorst ................................ 200
             rawValue ....................................... 187

         Attribute                     
             id ............................................. 0xC2
             name ........................................... Current Internal Temperature
             normalizedCurrent .............................. 108
             normalizedWorst ................................ 101
             rawValue ....................................... 39

         Attribute                     
             id ............................................. 0xC4
             name ........................................... Reallocation Event Count
             normalizedCurrent .............................. 200
             normalizedWorst ................................ 200
             rawValue ....................................... 0

         Attribute                     
             id ............................................. 0xC5
             name ........................................... Current Pending Sector Count
             normalizedCurrent .............................. 200
             normalizedWorst ................................ 200
             rawValue ....................................... 0

         Attribute                     
             id ............................................. 0xC6
             name ........................................... Uncorrectable Sector Count
             normalizedCurrent .............................. 200
             normalizedWorst ................................ 200
             rawValue ....................................... 0

         Attribute                     
             id ............................................. 0xC8
             name ........................................... Write Error Rate
             normalizedCurrent .............................. 200
             normalizedWorst ................................ 200
             rawValue ....................................... 0
★★★★★

Последнее исправление: DALDON (всего исправлений: 1)
← Policy based routing (source MAC)
Генератор речи торопится →

Проблема заключается в том, что в вирт. машине, фризится даже vi, на устойчиво периодической основе.

Что при этом происходит на хосте? Фризов на хосте нет?

root@kvm4:~# apt-cache show zfsutils

Сделай dmesg | grep ZFS, это будет правильнее.

Есть ли у тебя в /etc/modprobe.d что то типа zfs.conf, если да, то что там?

Харды есть в списке совместимости контроллера?

King_Carlo ★★★★★
()
Последнее исправление: King_Carlo (всего исправлений: 1)

Пока меня смущают, параметры: Read Error Rate.

У других дисков, WXL309084033 - он равен нулю.

# zpool status
  pool: zroot
 state: ONLINE
  scan: none requested
config:

	NAME                                                 STATE     READ WRITE CKSUM
	zroot                                                ONLINE       0     0     0
	  mirror-0                                           ONLINE       0     0     0
	    scsi-1ATA_WDC_WD3000HLFS-01G6U1_WD-WXC0CA9X2951  ONLINE       0     0     0
	    scsi-1ATA_WDC_WD3000HLFS-01G6U1_WD-WXL309084033  ONLINE       0     0     0
DALDON ★★★★★
() автор топика
Последнее исправление: DALDON (всего исправлений: 1)
Ответ на: комментарий от King_Carlo 
Что при этом происходит на хосте? Фризов на хосте нет?

На хосте фризов нету.

Сделай dmesg | grep ZFS, это будет правильнее. 

root@kvm4:~# dmesg | grep ZFS
[   16.669586] ZFS: Loaded module v0.6.4.1-1~trusty, ZFS pool version 5000, ZFS filesystem version 5

Есть ли у тебя в /etc/modprobe.d что то типа zfs.conf, если да, то что там?

Ничего нету.

Харды есть в списке совместимости контроллера?

Впервые слышу о таком... Пойду посмотреть.

DALDON ★★★★★
() автор топика

Разве не видно что баг в драйвере и пока его не пофиксят - будет говно. Потому что когда не баг, а не правильная конфигурация, то так и написано в сообщениях об ошибках - неправильная конфигурация. Если ты вбабахал продакшн на zfs купившись на красивые слова - сам виноват.

Не ясно какие ожидания от ЛОРа, напишем патч чтобы исправить баг?

vertexua ★★★★★
()
Ответ на: комментарий от DALDON

Впервые слышу о таком... Пойду посмотреть.

Было как то, воткнули в какой то адаптек серверные сигейты, которых не было в списке совметимых контроллера и начались весёлые приключения. ASM не показывал никаких ошибок, а железка тормозила и затем наглухо вешалась, оказалось харды потихоньку дохли, но не отдавали адекватную инфо о состоянии, в итоге кернел паник.

King_Carlo ★★★★★
()
Ответ на: комментарий от DALDON

Воткни харды (SATA?) в контроллер на маме сделай импорт пула, глянь смарт, если всё ок, то попробуй погонять по всякому свои ВМ.

King_Carlo ★★★★★
()
Ответ на: комментарий от King_Carlo

Для моей модели отсутствует такой список. Посмотрел спецификацию, и вижу, что по темературе у меня завышение, вместо положенных 55, у меня 63. Прошивка старенькая ещё, к тому же. :( Но другие диски вроде ок живут. Не жалуются. В общем я заказал уже конечно новые диски, отпишусь о результатах.

DALDON ★★★★★
() автор топика
Ответ на: комментарий от King_Carlo

Воткни харды (SATA?) в контроллер на маме сделай импорт пула, глянь смарт, если всё ок, то попробуй погонять по всякому свои ВМ.

Тоже так думаю, но мне лень... Хотя, можно и жёпу оторвать, да попробовать...

DALDON ★★★★★
() автор топика
Ответ на: комментарий от DALDON

Пока меня смущают, параметры: Read Error Rate.

У меня на хардах WD этот параметр везде равен 0, а на сигейтах какие то дикие значения :)

жёпу оторвать, да попробовать...

Видимо придётся.

King_Carlo ★★★★★
()
Последнее исправление: King_Carlo (всего исправлений: 1)
Ответ на: комментарий от DALDON 

Атрибут: 01 Raw Read Error Rate
Тип	текущий, может быть накапливающим для WD и старых Hitachi
Описание	содержит частоту возникновения ошибок при чтении с пластин

Для всех дисков Seagate, Samsung (начиная с семейства SpinPoint F1 (включительно)) и Fujitsu 2,5″ характерны огромные числа в этих полях.

Для остальных дисков Samsung и всех дисков WD в этом поле характерен 0.

Для дисков Hitachi в этом поле характерен 0 либо периодическое изменение поля в пределах от 0 до нескольких единиц.

Такие отличия обусловлены тем, что все жёсткие диски Seagate, некоторые Samsung и Fujitsu считают значения этих параметров не так, как WD, Hitachi и другие Samsung. При работе любого винчестера всегда возникают ошибки такого рода, и он преодолевает их самостоятельно, это нормально, просто на дисках, которые в этом поле содержат 0 или небольшое число, производитель не счёл нужным указывать истинное количество этих ошибок.

Таким образом, ненулевой параметр на дисках WD и Samsung до SpinPoint F1 (не включительно) и большое значение параметра на дисках Hitachi могут указывать на аппаратные проблемы с диском. Необходимо учитывать, что утилиты могут отображать несколько значений, содержащихся в поле RAW этого атрибута, как одно, и оно будет выглядеть весьма большим, хоть это и будет неверно (подробности см. ниже).

На дисках Seagate, Samsung (SpinPoint F1 и новее) и Fujitsu на этот атрибут можно не обращать внимания.
King_Carlo ★★★★★
()

У меня на стареньком Seagate была похожая история. Диск имел проблемы с позиционированием головки, в данных smart всё было хорошо, за исключением несколько блоков pending for reallocation.

Фризы диска (по минуте в среднем) сопровождались повторяющимся звуком парковки и вешали систему, а после миграции на zfs стала вылазить аналогичная ошибка. Через две недели после миграции на zfs диск умер своей смертью :>

melkor217 ★★★★★
()
Ответ на: комментарий от King_Carlo

Видимо придётся.

Уже сделал export/import, прицепил диски на SATA контроллер. Запускаю пока VM. Меня интерес, конечно, «гложит».

У меня на хардах WD этот параметр везде равен 0

На других WD, он у меня тоже равен нулю.

Есть к примеру вот такие диски: WD1000DHTZ - это тоже 10к SATA диски, вот вывод там тоже по нулям этот.

Ну что-ж, ждём тогда, dmesg.

DALDON ★★★★★
() автор топика
Ответ на: комментарий от melkor217

Окей! Меня смутило, что сии значения очень большие и очень разные сразу на двух дисках, ну они с одной партии, так что, да, всякое может быть. В общем, то наработка у них не очень большая, 42 тысячи часов, и всего 36 циклов включения/выключения. - Я их эксплуатировал, любя, и щадя, все эти 5 лет... - Должны же вроде быть как новые...

Похоже, надо менять. :) Ну что-ж... Посмотрим, как оно будет. :)

DALDON ★★★★★
() автор топика
Последнее исправление: DALDON (всего исправлений: 1)
Ответ на: комментарий от King_Carlo

Ок. В общем как придут диски новые, я выполню замену - то есть поочерёдную, с увеличением zpool, ибо мне 300гб мало. Я заказал 4ТБ серверные 7200к SATA WD диски. Ты вроде говорил, что у тебя zpool спокойно в mirror расширяется в ZoL? У меня в VBox - ничего не вышло. Может скинешь как ты делаешь замену?

Там вроде, всё просто должно быть?

Вроде того: 

# zpool set autoexpand=on zroot
# zpool replace zroot /dev/disk/by-id/xxx /dev/by-id/new-xxx
# zpool status -v zroot 
# zpool replace zroot /dev/disk/by-id/yyy /dev/by-id/new-yyy
# zpool status -v zroot
# zpool export zroot
# zpool import zroot

Хотя вот тут ещё пишут, надо ещё online сделать: http://blog.ociru.net/2013/09/25/let-your-zfs-extend быть, может я этого и не делал как раз в VBox, уже не помню. Хотя, вроде как делал.

DALDON ★★★★★
() автор топика
Последнее исправление: DALDON (всего исправлений: 1)
Ответ на: комментарий от DALDON

Один диск расширяется до зеркала. Зеркало можно расширить до трехдискового raidz1, обладая тайным знанием. А дальше беда.

melkor217 ★★★★★
()
Ответ на: комментарий от DALDON

Ты вроде говорил, что у тебя zpool спокойно в mirror расширяется в ZoL?

Не, я такого не делал, если не изменяет память, sdio пул расширял.

King_Carlo ★★★★★
()
Ответ на: комментарий от melkor217

Понимаю, вот мне и самому занятно, TLER это, или нет... Если TLER, стало быть выкину эти диски, и забуду об них. Ну за одно, посмотрим как себя zfs ведёт при TLER. Странно, что она не выкинула диск из массива. ИМХО - вполне могла бы догадаться, хотя... Не факт, конечно.

DALDON ★★★★★
() автор топика
Последнее исправление: DALDON (всего исправлений: 1)
Ответ на: комментарий от King_Carlo

А в чём тут гипотетическая проблема?

zpool attach [-f] [-o property=value] pool device new_device

Attaches new_device to an existing zpool device. The existing device cannot be part of a raidz configuration. If device is not currently part of a mirrored configuration, device automatically transforms into a two-way mirror of device and new_device. If device is part of a two-way mirror, attaching new_device creates a three-way mirror, and so on. In either case, new_device begins to resilver immediately.

melkor217 ★★★★★
()
Ответ на: комментарий от DALDON

63 градуса? Да ты вскипятил винты! 60 градусов - температура при которой начинается температурное расширение блинов. Вот видимо и хана им.

vq156 ★★
()
Ответ на: комментарий от vq156

60 градусов - температура при которой начинается температурное расширение блинов.

При 59С её нет, а вот с 60С прямо скачком блины расширяются и вылезают из корпуса.

anonymous
()
Ответ на: комментарий от anonymous

Ну тем не менее критические температуры винтов 55-60 градусов. Т.е. При работе в таких режимах возможны снижение производительности или повреждения.

vq156 ★★
()
Ответ на: комментарий от King_Carlo

Удивило то, что два HDD... Вот вот взяли... Ох. Ну в общем жду диски. :) Отпишусь. Кстати, я уже zfs пользую в продуктивном окружении. Пока весьма доволен. :) На SSD накопителях, на Intel серверных. Полёт нормальный. У меня правда нагрузка смешная в целом. :) Но всё же.

DALDON ★★★★★
() автор топика
Ответ на: комментарий от DALDON

Друзья, речь идёт об расширении mirror через поочередную замену накопителей

Версия 

dpkg -l zfsutils
Desired=Unknown/Install/Remove/Purge/Hold
| Status=Not/Inst/Conf-files/Unpacked/halF-conf/Half-inst/trig-aWait/Trig-pend
|/ Err?=(none)/Reinst-required (Status,Err: uppercase=bad)
||/ Name                      Version           Architecture      Description
+++-=========================-=================-=================-========================================================
ii  zfsutils                  0.6.4-1.1-1       amd64             command-line tools to manage ZFS filesystems

Дистрибутив 

uname -a
Linux zfs 3.16.0-4-amd64 #1 SMP Debian 3.16.7-ckt9-3~deb8u1 (2015-04-24) x86_64 GNU/Linux

Размер пула 

root@zfs:~# zpool list
NAME      SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
kvmpool  1008M   348K  1008M         -     0%     0%  1.00x  ONLINE  -

Структура пула 

root@zfs:~# zpool status -v
  pool: kvmpool
 state: ONLINE
  scan: none requested
config:

	NAME        STATE     READ WRITE CKSUM
	kvmpool     ONLINE       0     0     0
	  mirror-0  ONLINE       0     0     0
	    sda     ONLINE       0     0     0
	    sdb     ONLINE       0     0     0

errors: No known data errors

Набор блочных устройств на хосте 

root@zfs:~# parted -l
Model: ATA QEMU HARDDISK (scsi)
Disk /dev/sda: 1074MB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags: 

Number  Start   End     Size    File system  Name  Flags
 1      1049kB  1064MB  1063MB               zfs
 9      1064MB  1073MB  8389kB


Model: ATA QEMU HARDDISK (scsi)
Disk /dev/sdb: 1074MB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags: 

Number  Start   End     Size    File system  Name  Flags
 1      1049kB  1064MB  1063MB               zfs
 9      1064MB  1073MB  8389kB


Error: /dev/sdc: unrecognised disk label
Model: ATA QEMU HARDDISK (scsi)                                           
Disk /dev/sdc: 2147MB
Sector size (logical/physical): 512B/512B
Partition Table: unknown
Disk Flags: 

Error: /dev/sdd: unrecognised disk label
Model: ATA QEMU HARDDISK (scsi)                                           
Disk /dev/sdd: 2147MB
Sector size (logical/physical): 512B/512B
Partition Table: unknown
Disk Flags: 

Model: Virtio Block Device (virtblk)
Disk /dev/vda: 8590MB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags: 

Number  Start   End     Size    Type      File system     Flags
 1      1049kB  8186MB  8185MB  primary   ext4            boot
 2      8187MB  8589MB  402MB   extended
 5      8187MB  8589MB  402MB   logical   linux-swap(v1)

Поочередно заменяем каждый диск в пуле на диск большего размера. И затем расширяем размер пула (опция -e для каждого диска). 

zpool offline kvmpool /dev/sda
zpool replace kvmpool -f /dev/sda /dev/sdc

zpool offline kvmpool /dev/sdb
zpool replace kvmpool -f /dev/sdb /dev/sdd 

zpool online -e kvmpool /dev/sdc
zpool online -e kvmpool /dev/sdd

Новая структура и размер пула 

root@zfs:~# zpool status -v
  pool: kvmpool
 state: ONLINE
  scan: resilvered 252K in 0h0m with 0 errors on Tue May 19 04:16:03 2015
config:

	NAME        STATE     READ WRITE CKSUM
	kvmpool     ONLINE       0     0     0
	  mirror-0  ONLINE       0     0     0
	    sdc     ONLINE       0     0     0
	    sdd     ONLINE       0     0     0

errors: No known data errors
root@zfs:~# zpool list
NAME      SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
kvmpool  1.98G   360K  1.98G         -     0%     0%  1.00x  ONLINE  -

остановка пула не требуется, импорт/экспорт не нужен.

axelroot ★
()
Ответ на: комментарий от DALDON

zfs пользую в продуктивном окружении. Пока весьма доволен. :) На SSD накопителях, на Intel серверных.

а под какие задачи? и какие конкретно ssd? логи и кэш тоже на ssd? все стремаюсь опробывать твердотельльные, как у них ресурс и надежность в сравнении с sas-ми?

axelroot ★
()
Ответ на: комментарий от axelroot

Во-первых, хочу поблагодарить за подробный мануал по замене накопителей! Обязательно попробую в скором времени. Отпишу, как выполню всю процедуру.

Теперь отвечу на вопросы:

Накопители такие: SSDSC2BB600G401

Задача: СУБД + app сервер.

Собраны в зеркало. На накопителях расположены файлы qcow2 - соот-но логи, кеш - всё на SSD. Никаких особых настроек не выполнял. Могу лишь сказать, что при работе в СУБД, на самом высоком уровне: CRUD SQL уровень, прирост производительности на 4-6 раз, в сравнении с традиционными HDD. В майские праздники, выполняли очень много работ по СУБД, если выражаться в объёмах, то, это были сотни гигабайт. Всего: 200-300 гб. изменили данных. Всё прошло отлично (на обычных HDD, мы просто не успели бы за выходные всё проделать).

Как я выбирал ресурс: да очень просто. Посмотрел TBW у накопителей, посмотрел, чтобы была защита от потери данных в кеше, при сбое в питании. Подсчитал TBW - и убедился, что мне 5-7 лет, можно по вопросу износа ячеек не беспокоиться в принципе.

Резервирование: Сейчас доделываю репликацию на другой zfs узел по сети (снепшоты). Ну и настроил bareos, для backup данных с SSD.

Вчера в ночь, создал два снепшота от zfs: в первом вычитывал весь поток со скоростью 30мегабайт/сек на другой узел, во втором снепшоте: сжимал qcow2 в gzip6 для bareos. - Всё прошло гладко, никто, ничего не заметил.

Но я подчеркну: что у меня совсем не плотная, и небольшая работа с СУБД, бывает очень активная работа - но это достаточно не часто. Мне там даже обычнх НЖМД бы хватило, если бы не надо было периодически очень сильно лопатить базу по выходным.

DALDON ★★★★★
() автор топика
Ответ на: комментарий от axelroot

как у них ресурс и надежность в сравнении с sas-ми?

По своему опыту, могу сказать, что десктопные накопители SSD - вполне себе могут отказать, в любой момент. - Мы сейчас на рабочие станции закупаем SSD накопители - из трёх десятков закупленных накопителей, штуки 3-4 - точно уже умерли.

DALDON ★★★★★
() автор топика
Ответ на: комментарий от DALDON

Собраны в зеркало.

в пуле всего 1 зеркало?

соот-но логи, кеш - всё на SSD

т.е. под zil и кеш пула отданы отдельные ssd диски?

я к тому, что увеличивая число зеркал в пуле и отдав под логи и кеш отдельные диски, можно еще ускорить zfs.

axelroot ★
()
Ответ на: комментарий от axelroot

в пуле всего 1 зеркало?

Два.

т.е. под zil и кеш пула отданы отдельные ssd диски?

Никаких LARC2, и прочих кешей - не создавал. В моём случае, всё просто: я положил изначально всё на SSD накопители и всё. Я пробовал LARC2 - в моей задаче, он очень бесполезен. Да и выгода от zil, тоже в общем сомнительна. Да и тем более, если всё влезает на SSD, кеши мне ни к чему. :)

DALDON ★★★★★
() автор топика
Ответ на: комментарий от DALDON

зашел на сайт проксмокса - http://www.proxmox.com/en/training/video-tutorials/item/what-s-new-in-proxmox...

Они что и впрямь официально запилили на ZFS HA кластер под виртуализацию? Интересно как они синхронизируют состояние виртуалок между нодами?

и вики свою они обновили - http://pve.proxmox.com/wiki/Storage:_ZFS

axelroot ★
()
Ответ на: комментарий от axelroot

Proxmox VE 3.4

In the first release, there are two ways to use ZFS on Proxmox VE: as an local directory, supports all storage content types (instead of ext3 or ext4) as zvol block-storage, currently supporting kvm images in raw format (new ZFS storage plugin) The advantage of zvol is the snapshot capability on fs-level (fast)

круто че.

axelroot ★
()
Ответ на: комментарий от axelroot

Спасибо тебе огромное! Всё получилось как ты и описал!

DALDON ★★★★★
() автор топика
Ответ на: комментарий от anonymous

мать ученья

какую-какую мать?

см. выше. если бы autoexpand=on стрелял без осечек вопрос бы не всплыл.

axelroot ★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Policy based routing (source MAC)
Admin
Генератор речи торопится →