LINUX.ORG.RU
Форум — General  

Постоянные ошибки lvm raid1

 ,


0

3

На зеркальных томах lvm (raid1) постоянно рассинхронизируются данные. Я сначала думал, что это связано с некорректными выключениями, но нет. Никаких некорректных выключение не было, а при проверке (lvchange --syncaction check vg/lv) счётчик Mismatches на некоторых томах становится ненулевым. Что это может быть?

← git: вопрос
Assuming drive cache: write through (как отключить неисправный картридер) →
 ← 1 2
Ответ на: комментарий от Black_Shadow

хороший метод диагностики))) Но думаю проверить диски лишним не будет

Ien_Shepard ★★★
()
Ответ на: комментарий от anonymous

Какие данные нужны?

# lvm version
  LVM version:     2.02.145(2) (2016-03-04)
  Library version: 1.02.119 (2016-03-04)
  Driver version:  4.34.0
# uname -a
Linux server 4.5.3-gentoo #1 SMP Sat May 7 13:45:59 MSK 2016 x86_64 Intel(R) Core(TM)2 Duo CPU E6750 @ 2.66GHz GenuineIntel GNU/Linux
dmesg

Black_Shadow ★★★★★
() автор топика
Последнее исправление: Black_Shadow (всего исправлений: 1)
Ответ на: комментарий от Black_Shadow

Какие данные нужны?

Твоё резюме и IQ, для начала

raid1 на lvm можно создать в трех разных конфигурациях. У тебя какой?

anonymous
()

Linux 4.5.3-gentoo

Еще как вариант, что-то поломали.

Ставь обкатанные ядра и стабильный дистрибутив (Debian Stable / CentOS 7.x)

anonymous
()
Ответ на: комментарий от anonymous

Я на 4.5.3 перешёл с 4.4.6 как раз понадеявшись, что это поправили.

Black_Shadow ★★★★★
() автор топика

https://wiki.gentoo.org/wiki/LVM

Mirrored volumes

LVM supports mirrored volumes, which provide fault tolerance in the event of drive failure. Unlike RAID1, there is no performance benefit - all reads and writes are delivered to a single side of the mirror.

To keep track of the mirror state, LVM requires a log to be kept. It is recommended (and often even mandatory) to position this log on a physical volume that does not contain any of the mirrored logical volumes. There are three kind of logs that can be used for mirrors:

1 Disk is the default log type. All changes made are logged into extra metadata extents, which LVM manages. If a device fails, then the changes are kept in the log until the mirror can be restored again.

2 Mirror logs are disk logs that are themselves mirrored.

3 Core mirror logs record the state of the mirror in memory only. LVM will have to rebuild the mirror every time it is activated. This type is useful for temporary mirrors.

anonymous
()
Ответ на: комментарий от anonymous

А, ты об этом? Ну так в LVM уже давно есть новый формат, который называется raid1. Ему отдельный mirror log не нужен.

Black_Shadow ★★★★★
() автор топика
Ответ на: комментарий от anonymous

Похоже, твой низкий IQ не позволяет тебе читать маны.

Black_Shadow ★★★★★
() автор топика
Ответ на: комментарий от Black_Shadow 
              There  are two implementations of mirroring which can be used and correspond to the «raid1» and «mirror» segment types.  The default is «raid1».  See the --type
              option for more information if you  would  like  to  use  the  legacy  «mirror»  segment  type.   See  lvm.conf(5)  settings  global/mirror_segtype_default  and
              global/raid10_segtype_default to configure default mirror segment type.  The options --mirrorlog and --corelog apply to the legacy «mirror» segment type only.

У меня как раз raid1, о чём я и написал выше.

Black_Shadow ★★★★★
() автор топика
Последнее исправление: Black_Shadow (всего исправлений: 1)
Ответ на: комментарий от anonymous 
# ls /dev/mapper/
control                      homesrv_sys-homefs_rmeta_0  homesrv_sys-Music              homesrv_sys-PhotoVideo_rimage_0  homesrv_sys-rootfs_rmeta_0  homesrv_sys-varfs_rimage_0
homesrv_sys-bareos--storage  homesrv_sys-homefs_rmeta_1  homesrv_sys-owncloud           homesrv_sys-PhotoVideo_rimage_1  homesrv_sys-rootfs_rmeta_1  homesrv_sys-varfs_rimage_1
homesrv_sys-berryboot        homesrv_sys-lxc             homesrv_sys-owncloud_rimage_0  homesrv_sys-PhotoVideo_rmeta_0   homesrv_sys-swap01          homesrv_sys-varfs_rmeta_0
homesrv_sys-Files            homesrv_sys-lxc_rimage_0    homesrv_sys-owncloud_rimage_1  homesrv_sys-PhotoVideo_rmeta_1   homesrv_sys-swap02          homesrv_sys-varfs_rmeta_1
homesrv_sys-homefs           homesrv_sys-lxc_rimage_1    homesrv_sys-owncloud_rmeta_0   homesrv_sys-rootfs               homesrv_sys-swap03
homesrv_sys-homefs_rimage_0  homesrv_sys-lxc_rmeta_0     homesrv_sys-owncloud_rmeta_1   homesrv_sys-rootfs_rimage_0      homesrv_sys-torrent
homesrv_sys-homefs_rimage_1  homesrv_sys-lxc_rmeta_1     homesrv_sys-PhotoVideo         homesrv_sys-rootfs_rimage_1      homesrv_sys-varfs
Black_Shadow ★★★★★
() автор топика
Ответ на: комментарий от anonymous

Что в _rmeta_0/_rmeta_1 ? Не mirror log случайно?

Наверняка.

Вот так более понятно: 

# lvs -a -o +devices
  LV                    VG          Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert Devices                                                                 
  Files                 homesrv_sys -wi-ao----  90,00g                                                     /dev/sdc2(64)                                                           
  Music                 homesrv_sys -wi-ao---- 100,00g                                                     /dev/sdc2(2944)                                                         
  PhotoVideo            homesrv_sys rwi-aor--- 110,00g                                    85,37            PhotoVideo_rimage_0(0),PhotoVideo_rimage_1(0)                           
  [PhotoVideo_rimage_0] homesrv_sys iwi-aor--- 110,00g                                                     /dev/sdb2(5600)                                                         
  [PhotoVideo_rimage_1] homesrv_sys iwi-aor--- 110,00g                                                     /dev/sda2(1)                                 
  [PhotoVideo_rmeta_0]  homesrv_sys ewi-aor---  32,00m                                                     /dev/sdb2(27040)                             
  [PhotoVideo_rmeta_1]  homesrv_sys ewi-aor---  32,00m                                                     /dev/sda2(0)                                 
  bareos-storage        homesrv_sys -wi-ao---- 550,00g                                                     /dev/sdc2(6144)                              
  bareos-storage        homesrv_sys -wi-ao---- 550,00g                                                     /dev/sdc2(34944)                             
  berryboot             homesrv_sys -wi-ao---- 128,00g                                                     /dev/sdc2(39744)                             
  homefs                homesrv_sys rwi-aor--- 150,00g                                    60,67            homefs_rimage_0(0),homefs_rimage_1(0)        
  [homefs_rimage_0]     homesrv_sys iwi-aor--- 150,00g                                                     /dev/sdb2(0)                                 
  [homefs_rimage_1]     homesrv_sys iwi-aor--- 150,00g                                                     /dev/sda2(16065)                             
  [homefs_rmeta_0]      homesrv_sys ewi-aor---  32,00m                                                     /dev/sdb2(27041)                             
  [homefs_rmeta_1]      homesrv_sys ewi-aor---  32,00m                                                     /dev/sda2(16064)                             
  lxc                   homesrv_sys rwi-aor---   8,00g                                    100,00           lxc_rimage_0(0),lxc_rimage_1(0)              
  [lxc_rimage_0]        homesrv_sys iwi-aor---   8,00g                                                     /dev/sdb2(17120)                             
  [lxc_rimage_1]        homesrv_sys iwi-aor---   8,00g                                                     /dev/sda2(23589)                             
  [lxc_rmeta_0]         homesrv_sys ewi-aor---  32,00m                                                     /dev/sdb2(27045)                             
  [lxc_rmeta_1]         homesrv_sys ewi-aor---  32,00m                                                     /dev/sda2(23588)                             
  owncloud              homesrv_sys rwi-aor---  50,00g                                    100,00           owncloud_rimage_0(0),owncloud_rimage_1(0)    
  [owncloud_rimage_0]   homesrv_sys iwi-aor---  50,00g                                                     /dev/sdb2(9120)                              
  [owncloud_rimage_0]   homesrv_sys iwi-aor---  50,00g                                                     /dev/sdb2(17376)                             
  [owncloud_rimage_1]   homesrv_sys iwi-aor---  50,00g                                                     /dev/sda2(20866)                             
  [owncloud_rimage_1]   homesrv_sys iwi-aor---  50,00g                                                     /dev/sda2(3521)                              
  [owncloud_rmeta_0]    homesrv_sys ewi-aor---  32,00m                                                     /dev/sdb2(27042)                             
  [owncloud_rmeta_1]    homesrv_sys ewi-aor---  32,00m                                                     /dev/sda2(20865)                             
  rootfs                homesrv_sys rwi-aor---  20,00g                                    100,00           rootfs_rimage_0(0),rootfs_rimage_1(0)        
  [rootfs_rimage_0]     homesrv_sys iwi-aor---  20,00g                                                     /dev/sdb2(10400)                             
  [rootfs_rimage_1]     homesrv_sys iwi-aor---  20,00g                                                     /dev/sda2(22147)                             
  [rootfs_rmeta_0]      homesrv_sys ewi-aor---  32,00m                                                     /dev/sdb2(27043)                             
  [rootfs_rmeta_1]      homesrv_sys ewi-aor---  32,00m                                                     /dev/sda2(22146)                             
  swap01                homesrv_sys -wi-ao----   2,00g                                                     /dev/sda2(23845)                             
  swap02                homesrv_sys -wi-ao----   2,00g                                                     /dev/sdb2(27046)                             
  swap03                homesrv_sys -wi-ao----   2,00g                                                     /dev/sdc2(0)                                 
  torrent               homesrv_sys -wi-ao---- 400,00g                                                     /dev/sdc2(22144)                             
  varfs                 homesrv_sys rwi-aor---  25,00g                                    100,00           varfs_rimage_0(0),varfs_rimage_1(0)          
  [varfs_rimage_0]      homesrv_sys iwi-aor---  25,00g                                                     /dev/sdb2(4800)                              
  [varfs_rimage_1]      homesrv_sys iwi-aor---  25,00g                                                     /dev/sda2(22788)                             
  [varfs_rmeta_0]       homesrv_sys ewi-aor---  32,00m                                                     /dev/sdb2(27044)                             
  [varfs_rmeta_1]       homesrv_sys ewi-aor---  32,00m                                                     /dev/sda2(22787)

rimage и rmeta - это служебные тома, которые создаются автоматом, и lvs без опций их не показывает. Обрати внимание на последний столбец.

Black_Shadow ★★★★★
() автор топика
Последнее исправление: Black_Shadow (всего исправлений: 1)
Ответ на: комментарий от Black_Shadow

raid1. Ему отдельный mirror log не нужен.

Как видишь нужен.

rmeta - это служебные тома, которые создаются автоматом,

Автоматом и че?

rimage

Это собственно рабочая область, а не служебная

anonymous
()
Ответ на: комментарий от Black_Shadow

Нужен или нет, не тебе решать. У меня работает стабильно.

anonymous
()
Ответ на: комментарий от anonymous

Как видишь нужен.

Я имел ввиду, об этом не нужно специально заботиться. Что мне делать-то? Я не понимаю, почему возникает проблема.

Black_Shadow ★★★★★
() автор топика
Ответ на: комментарий от anonymous 
# smartctl -A /dev/sda | awk '$NF'
smartctl 6.4 2015-06-04 r4109 [x86_64-linux-4.5.3-gentoo] (local build)
Copyright (C) 2002-15, Bruce Allen, Christian Franke, www.smartmontools.org
=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  3 Spin_Up_Time            0x0027   253   253   021    Pre-fail  Always       -       1075
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       861
  9 Power_On_Hours          0x0032   019   019   000    Old_age   Always       -       59795
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       858
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       697
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       163
194 Temperature_Celsius     0x0022   106   093   000    Old_age   Always       -       44
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       1
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       1
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       1

# smartctl -A /dev/sdb | awk '$NF'                                                                                                                                        
smartctl 6.4 2015-06-04 r4109 [x86_64-linux-4.5.3-gentoo] (local build)                                                                                                            
Copyright (C) 2002-15, Bruce Allen, Christian Franke, www.smartmontools.org                                                                                                        
=== START OF READ SMART DATA SECTION ===                                                                                                                                           
SMART Attributes Data Structure revision number: 16                                                                                                                                
Vendor Specific SMART Attributes with Thresholds:                                                                                                                                  
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE                                                                                   
  3 Spin_Up_Time            0x0027   253   253   021    Pre-fail  Always       -       1066                                                                                        
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       826                                                                                         
  9 Power_On_Hours          0x0032   020   020   000    Old_age   Always       -       58706                                                                                       
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       822
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       674
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       151
194 Temperature_Celsius     0x0022   104   090   000    Old_age   Always       -       46
Black_Shadow ★★★★★
() автор топика

Это, конечно, совсем разные технологии, но на MD RAID такое считалось нормой, особенно когда на массиве был своп в любом виде (у меня это был LV). Смутно припоминаю, что были и другие причины. Точно помню, что никакие данные за всё время испорчены не были, хотя ненулевые расхождения слегка напрягали.

anonymous
()
Ответ на: комментарий от Black_Shadow 
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       1
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       1

Диск sda начал сыпаться. Может проработать год, может нагнуться хоть завтра. Пока эти числа не растут - можешь спать спокойно, но когда они начнут расти - может быть уже поздно. Настоятельно рекомендую диск заменить.

Pinkbyte ★★★★★
()
Ответ на: комментарий от Pinkbyte

Я сейчас запустил badblocks в read-only, завтра посмотрю на результаты.

Black_Shadow ★★★★★
() автор топика
Ответ на: комментарий от Black_Shadow

Почему?

Он не знает, но он тебе советует zfs.

anonymous
()
Ответ на: комментарий от Black_Shadow

Ну так сектор заремапился видать уже давно. Тем не менее это не значит что с жестким всё окей - я такие обычно на серверах меняю, потому что не хочу внезапных приключений в неожиданное время.

Справедливости ради замечу, что на десктопе жесткий с offline uncorrectable равным 30(и не менявшимся долгое время) проработал полгода без проблем, потом это число резко стало расти(я заметил ощутимые тормоза при работе - проверил смарт) и диск не пережил ребут.

Pinkbyte ★★★★★
()
Последнее исправление: Pinkbyte (всего исправлений: 1)
Ответ на: комментарий от Pinkbyte

Reallocated_Sector_Ct 0

Я точно не помню, но вроде это появилось при проблеме с SATA кабелем. Тогда же появился UDMA_CRC_Error_Count

Black_Shadow ★★★★★
() автор топика
Ответ на: комментарий от Black_Shadow

UDMA_CRC - это проблемы с кабелем. Uncorrectable и Current Pending - это проблемы с секторами(читай «бэды»). Если Reallocated_Sector - 0, значит железка ничего не ремапила. Но их могло софтом заремапить - тогда badblocks ничего не покажет - только форматировать раздел и снова пускать badblocks

Pinkbyte ★★★★★
()
Последнее исправление: Pinkbyte (всего исправлений: 1)
Ответ на: комментарий от Pinkbyte

тогда badblocks ничего не покажет

Почему? Он же тестирует поверхность, не разбираясь в структуре ФС? Или нет?

Black_Shadow ★★★★★
() автор топика
Ответ на: комментарий от Black_Shadow

Давай по порядку, если ты его пускал без -n или -w - тогда не удивительно что он ничего не показал, некоторые бэды видны только на write

Pinkbyte ★★★★★
()
Ответ на: комментарий от Pinkbyte

Да надо бы в rw проверить, но для этого надо его от группы томов отцепить будет. Но опять же, если рассинхронизация была вызвана бэдами, это было бы видно в dmesg.

Black_Shadow ★★★★★
() автор топика
Последнее исправление: Black_Shadow (всего исправлений: 1)
Ответ на: комментарий от Pinkbyte

И, кстати, рассинхронизация - в разных логических томах (куда больше всего записи). Как правило, /var, /, и том с контейнерами lxc, но не всегда во всех.

Black_Shadow ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
 ← 1 2
← git: вопрос
General
Assuming drive cache: write through (как отключить неисправный картридер) →