LINUX.ORG.RU
ФорумAdmin

Сыпится файловая система

 , , ,


0

1

Привет, такая проблема. Есть компьютер, который используется как роутер а также контейнерный сервер. В логах у него такое:

 848.648139] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 18, gen 0
[  849.141432] BTRFS warning (device sda2): checksum error at logical 12112596992 on dev /dev/sda2, physical 12112596992, root 290, inode 2153392, offset 4214378496, length 4096, links 1 (path: var/lib/lxd/disks/default.img)
[  849.141465] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 19, gen 0
[  849.195020] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 20, gen 0
[  852.190183] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 21, gen 0
[  866.312699] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 22, gen 0
[  870.094738] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 23, gen 0
[  874.623532] BTRFS info (device sda2): scrub: not finished on devid 1 with status: -125
[  915.548043] BTRFS info (device sda2): scrub: started on devid 1
[  926.183099] kauditd_printk_skb: 14 callbacks suppressed
[  926.183110] audit: type=1130 audit(1642170476.243:210): pid=1 uid=0 auid=4294967295 ses=4294967295 msg='unit=systemd-tmpfiles-clean comm="systemd" exe="/usr/lib/systemd/systemd" hostname=? addr=? terminal=? res=success'
[  926.183129] audit: type=1131 audit(1642170476.243:211): pid=1 uid=0 auid=4294967295 ses=4294967295 msg='unit=systemd-tmpfiles-clean comm="systemd" exe="/usr/lib/systemd/systemd" hostname=? addr=? terminal=? res=success'
[  963.509864] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 24, gen 0
[  964.184943] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 25, gen 0
[  964.414589] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 26, gen 0
[  966.260093] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 27, gen 0
[  966.619578] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 28, gen 0
[  967.107493] BTRFS warning (device sda2): checksum error at logical 12112596992 on dev /dev/sda2, physical 12112596992, root 290, inode 2153392, offset 4214378496, length 4096, links 1 (path: var/lib/lxd/disks/default.img)
[  967.107505] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 29, gen 0
[  967.165297] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 30, gen 0
[  970.167824] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 31, gen 0
[  984.112427] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 32, gen 0
[  987.712951] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 33, gen 0
[ 1018.115785] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 34, gen 0
[ 1018.144848] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 35, gen 0
[ 1019.375785] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 36, gen 0
[ 1019.527438] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 37, gen 0
[ 1025.579311] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 38, gen 0
[ 1038.929269] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 39, gen 0
[ 1042.125975] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 40, gen 0
[ 1043.770749] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 41, gen 0

На других дисках с btrfs всё вроде-бы нормально. Причём corrupt каждый раз увеличивается. Проблема наблюдается только с тем диском, на котором стоит операционная система. Это ssd.

Ядро: 5.15.11-arch2-1

Тут различные варианты - от самого плохого(летит ssd и рано или поздно либо уйдёт в ro или же вообще перестанет опредилятся) от бага в ядре, который связан с повреждением данных.

★★★★★

Ответ на: комментарий от anonymous
[root@router ne-vlezay80]# smartctl -i /dev/sda
smartctl 7.2 2020-12-30 r5155 [x86_64-linux-5.15.11-arch2-1] (local build)
Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     128GB SSD
Serial Number:    H38338J018547
LU WWN Device Id: 5 02b2a2 01d1c1b1a
Add. Product Id:  mavlsata
Firmware Version: V3.15
User Capacity:    128,035,676,160 bytes [128 GB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    Solid State Device
TRIM Command:     Available
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ACS-3 T13/2161-D revision 4
SATA Version is:  SATA 3.2, 6.0 Gb/s (current: 3.0 Gb/s)
Local Time is:    Fri Jan 14 17:48:59 2022 MSK
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

На нём наклейка SmartBuy

ne-vlezay ★★★★★
() автор топика
Ответ на: комментарий от anonymous

колличество corrupt ростёт каждый раз, когда проиходит чтение

ne-vlezay ★★★★★
() автор топика

Бекапь нужное. Попробуй прочесть весь диск (dd if=/dev/sda of=/dev/null), если вывалится с ошибкой значит диск устал. Можешь снять образ ssd, подмонтировать эту ФС из образа на той же версии ядра и посмотреть будут-ли проблемы

MrClon ★★★★★
()

Видимо некий файл испортился возможно из-за битой памяти. Счётчик corrupt будет увеличиваться каждый раз при обращении к файлу. Нужно запустить команду btrfs scrub, она в логе должна дать имя файла, в котором контрольная сумма одного extent не совпадает.

mxfm ★★
()
Ответ на: комментарий от ne-vlezay

На нём наклейка SmartBuy

Phison скорее всего. Не топ, но и не говно. Что случилось с остальной частью SMART?

anonymous
()
Ответ на: комментарий от mxfm

Это наглая ложь, а не ответ на вопрос.

Добро пожаловать на LOR, чё.

anonymous
()
Ответ на: комментарий от ne-vlezay

Я бы сделал smartctl -t long /dev/sda и через указанное время поглядел бы результаты.

comma
()
Ответ на: комментарий от ne-vlezay

ростёт
недовно

У тебя всё хорошо? D:

Вообще, ставлю на аппаратную печальку, поменяй кабель, если саташник, попробуй на другой диск систему склонировать.

izzholtik ★★★
()

smartctl -x /dev/sda в студию. Ну и как уже сказали - запустить btrfs scrub / (если это у тебя корень), дождаться окончания и чекнуть dmesg на предмет конкретных покореженных файлов. Если есть бекапы - удалить коцанный файл, закинуть из бекапа.

Причина - либо битая оперативка либо посыпавшийся диск. Имел такую же проблему года 3-4 назад на ноуте с оперативкой с али.

daytar
()
Ответ на: комментарий от detes42325

А дисковый кеш (и сжатие) по-твоему где находятся?

daytar
()
Ответ на: комментарий от splinter

Я ведь говорил про проверку диска. Для проверки быстрее и проще прочесть в /dev/null. Тем более что тут SSD, чтение не должно добить потенциально умирающий диск

MrClon ★★★★★
()

BTRFS мёртвая ФС, так и не вылезшая из альфа-версии. Не занимайся говноедством, юзай xfs, zfs или ext4 на худой конец.

Psychosis
()

Проблема была в файле с контейнерами. Перешлось перебрать все контейнеры. Как от так мог повредится, не представляю. Хотя, может из-за нештатного отключения. Правда я лишился одного контейнера.

И как можно восстановить файл, если с ним такое а бэкапов нет.

ne-vlezay ★★★★★
() автор топика
Последнее исправление: ne-vlezay (всего исправлений: 1)
Ответ на: комментарий от Psychosis

xfs - говорят дохнет при нештатном отключении.

zfs - это если у тебя FreeBSD.

ext4 - неплохая FS, но имеет ред недостатков, в частности нельзя монтировать её в несколько точек.

ne-vlezay ★★★★★
() автор топика
Ответ на: комментарий от ne-vlezay

ext4 - неплохая FS, но имеет ред недостатков, в частности нельзя монтировать её в несколько точек.

В смысле? bind mounts кто-то отменил?

bugfixer ★★★★★
()
Ответ на: комментарий от Psychosis

BTRFS мёртвая ФС

+100500. За исключением пары пионеров зачем-то продвигающим её на ЛОРе никто её и не использует, в проде так точно.

bugfixer ★★★★★
()
Ответ на: комментарий от ne-vlezay

xfs - говорят дохнет при нештатном отключении.

нет

zfs - это если у тебя FreeBSD.

С 2012 года в проде на линухе, все живы.

ext4 - неплохая FS

для самых простых и некритичных кейсов.

в частности нельзя монтировать её в несколько точек.

символические ссылки же.

Psychosis
()
Ответ на: комментарий от bugfixer

xfs - говорят дохнет при нештатном отключении.

Пока не случалось. Правда по питанию у нас всё более менее серьезно, но машинки «на лету» дохли по другим причинам - было дело.

bugfixer ★★★★★
()
Ответ на: комментарий от ne-vlezay

Нафиг твоё -i ? Делай -a.

На нём наклейка SmartBuy

От такого ничего кроме проблем и не стоило ожидать.

firkax ★★★★★
()
Ответ на: комментарий от ne-vlezay

Как от так мог повредится, не представляю

btrfs scrub-ом нашёл? Например из-за повреждения данных в RAM (сбойная планка или просто случайный bit flip). Память ведь не ECC?

MrClon ★★★★★
()
Ответ на: комментарий от ne-vlezay

Бывает, что интерфейсный кабель битый.

sparkie ★★★★★
()
Ответ на: комментарий от anonymous

9 лет без переустановки

Регулярно update’тящийся Sid живёт годика этак с 2002го ;) Да и тогда слетел «по неопытности», так скажем ;)

без бтрф и прочих хипстерских недо ФМ правда.

Поддерживаю всеми жвабрами своей души!

bugfixer ★★★★★
()
Ответ на: комментарий от detes42325

Арчь известный кривыми ядрами и btrfs своими багами.

На моём Арче ни каких ошибок нет, nvme и ssd накопители, ядро 5.15.13-arch1-1

torvn77 ★★★★★
()

Потому что это btrfs.

Hertz ★★★★★
()

Дык чё, Synology, к примеру, говно?

anonymous
()
Ответ на: комментарий от Hertz
#/dev/sda128: LABEL="EFI SYSTEM"            UUID="1C65-6F03" TYPE="vfat" PARTLABEL="ESP" PARTUUID="b2a4de76-8f17-4a24-81c2-8c90691ef13d"
UUID="1C65-6F03" /boot/efi vfat flush,noatime,discard,errors=remount-ro,usefree,rodir 1 2

# /dev/sda127: LABEL="2018_08_10_boot"      UUID="9be4ad4e-1941-491b-b88d-5174eee74cbb" UUID_SUB="fb8cce6d-f447-44cd-893e-4efd6a056fdc" PARTLABEL="boot" PARTUUID="657d8f0f-f512-4a4f-8794-1cdb06568877"
#UUID=9be4ad4e-1941-491b-b88d-5174eee74cbb /boot_            btrfs discard=async,noatime,datacow,datasum,ssd,commit=3600,thread_pool=1 1 2

# /dev/sda125: LABEL="2018_08_10_boot_live" UUID="1f161819-c421-434e-bd05-4f4ba397c957" UUID_SUB="6ac90b3e-4864-469e-abac-96ab2fe716a9" PARTLABEL="boot_live" PARTUUID="6b272dfd-bded-4762-8beb-01100e4379d1"
UUID=1f161819-c421-434e-bd05-4f4ba397c957 /mnt/boot_live    btrfs discard=async,noatime,datacow,datasum,ssd,commit=3600,thread_pool=1 1 2

# /dev/sdc126: Swap                         UUID="49637fd8-4336-4e4e-866d-6dc98408ded1" PARTLABEL="Linux swap" PARTUUID="1a49209f-a219-4377-9786-afadbfe245e2"
UUID=49637fd8-4336-4e4e-866d-6dc98408ded1 none swap defaults,pri=10 0 0

# /dev/sda1: LABEL="2018_08_10_rootfs" UUID="8d5bc273-25a6-4772-9444-46f46a6a389f" UUID_SUB="4dad9e4a-5f6c-4929-8680-184d676b27e7" TYPE="btrfs" PARTUUID="c1b57d85-01"
UUID=8d5bc273-25a6-4772-9444-46f46a6a3892 /boot             btrfs discard=async,noatime,datacow,datasum,ssd,commit=3600,thread_pool=1,subvolid=630,subvol=sysroot/boot 1 1
UUID=8d5bc273-25a6-4772-9444-46f46a6a3892 /                 btrfs discard=async,noatime,datacow,datasum,ssd,compress-force=zlib:6,commit=3600,thread_pool=2,subvolid=627,subvol=sysroot 1 1
UUID=8d5bc273-25a6-4772-9444-46f46a6a3892 /home             btrfs discard=async,noatime,datacow,datasum,ssd,compress-force=zlib:6,commit=3600,thread_pool=3,subvolid=633,subvol=sysroot/home 1 1
UUID=8d5bc273-25a6-4772-9444-46f46a6a3892 /home/user        btrfs discard=async,noatime,datacow,datasum,ssd,compress-force=zlib:6,commit=3600,thread_pool=3,subvolid=634,subvol=sysroot/home/user 1 2
UUID=8d5bc273-25a6-4772-9444-46f46a6a3892 /home/vk          btrfs discard=async,noatime,datacow,datasum,ssd,compress-force=zlib:6,commit=3600,thread_pool=1,subvolid=635,subvol=sysroot/home/vk 1 2
UUID=8d5bc273-25a6-4772-9444-46f46a6a3892 /home/google      btrfs discard=async,noatime,datacow,datasum,ssd,compress-force=zlib:6,commit=3600,thread_pool=1,subvolid=636,subvol=sysroot/home/google 1 2
UUID=8d5bc273-25a6-4772-9444-46f46a6a3892 /home/steam       btrfs discard=async,noatime,datacow,datasum,ssd,compress-force=zlib:6,commit=3600,thread_pool=4,subvolid=646,subvol=sysroot/home/steam 1 2
UUID=8d5bc273-25a6-4772-9444-46f46a6a3892 /home/sbr         btrfs discard=async,noatime,datacow,datasum,ssd,compress-force=zlib:6,commit=3600,thread_pool=1,subvolid=638,subvol=sysroot/home/sbr 1 2
UUID=8d5bc273-25a6-4772-9444-46f46a6a3892 /home/ebay        btrfs discard=async,noatime,datacow,datasum,ssd,compress-force=zlib:6,commit=3600,thread_pool=1,subvolid=640,subvol=sysroot/home/ebay 1 2
UUID=8d5bc273-25a6-4772-9444-46f46a6a3892 /home/aliexpress  btrfs discard=async,noatime,datacow,datasum,ssd,compress-force=zlib:6,commit=3600,thread_pool=1,subvolid=641,subvol=sysroot/home/aliexpress 1 2
UUID=8d5bc273-25a6-4772-9444-46f46a6a3892 /home/isolate     btrfs discard=async,noatime,datacow,datasum,ssd,compress-force=zlib:6,commit=3600,thread_pool=1,subvolid=642,subvol=sysroot/home/isolate 1 2
UUID=8d5bc273-25a6-4772-9444-46f46a6a3892 /home/yandex      btrfs discard=async,noatime,datacow,datasum,ssd,compress-force=zlib:6,commit=3600,thread_pool=1,subvolid=643,subvol=sysroot/home/yandex 1 2

UUID=8d5bc273-25a6-4772-9444-46f46a6a3892 /opt          btrfs discard=async,noatime,datacow,datasum,ssd,compress-force=zlib:6,commit=3600,thread_pool=1,subvolid=595,subvol=sysroot/opt 1 1
UUID=8d5bc273-25a6-4772-9444-46f46a6a3892 /srv          btrfs discard=async,noatime,datacow,datasum,ssd,compress-force=zlib:6,commit=3600,thread_pool=1,subvolid=600,subvol=sysroot/srv 1 1

# ID 639 path sysroot/storage
# LABEL="ARC" UUID="fc9b5ed0-3252-45b5-8de9-509e8a12cd9b" UUID_SUB="afaf42eb-b7b3-4103-8f86-54ea67bfdfdd" TYPE="btrfs" PARTUUID="6befdeb1-03bf-4dca-964e-808cb393e247" ,subvol=<FS_TREE>
UUID=fc9b5ed0-3252-45b5-8de9-509e8a12cd9b /storage/ARC           btrfs noatime,ssd,compress-force=zlib:6,commit=3600,thread_pool=1 1 2
UUID=fc9b5ed0-3252-45b5-8de9-509e8a12cd9b /storage/steam/wdg     btrfs discard=async,noatime,datacow,datasum,ssd,compress-force=zlib:6,commit=3600,thread_pool=3,subvolid=410,subvol=steam 1 1

# LABEL="steam_linux_nvme" UUID="36165962-e6bc-4c7e-a334-bc025622c66d" UUID_SUB="087df22f-3327-4d5e-ac77-8d56863a8079" TYPE="btrfs" PARTUUID="36188c84-4cfc-449c-8dbc-29fdc242e271"
UUID=36165962-e6bc-4c7e-a334-bc025622c66d /storage/steam/nvme    btrfs discard=async,noatime,datacow,datasum,ssd,compress-force=zlib:6,commit=3600,thread_pool=3,subvolid=315,subvol=steam 1 1

proc /proc proc  noatime,hidepid=2,gid=0
sys  /sys  sysfs noatime

tmpfs_001 /tmp                     tmpfs defaults,size=512M  0 1
tmpfs_003 /storage/Memory          tmpfs defaults,size=5G   0 1

torvn77 ★★★★★
()
[  526.913658] BTRFS info (device sda2): scrub: started on devid 1
[  629.566125] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 118, gen 0
[  629.566158] BTRFS error (device sda2): unable to fixup (regular) error at logical 32939073536 on dev /dev/sda2
[  629.578780] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 119, gen 0
[  629.578799] BTRFS error (device sda2): unable to fixup (regular) error at logical 32941113344 on dev /dev/sda2
[  629.579246] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 120, gen 0
[  629.579252] BTRFS error (device sda2): unable to fixup (regular) error at logical 32941502464 on dev /dev/sda2
[  629.579341] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 121, gen 0
[  629.579361] BTRFS error (device sda2): unable to fixup (regular) error at logical 32941621248 on dev /dev/sda2
[  629.579842] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 122, gen 0
[  629.579847] BTRFS error (device sda2): unable to fixup (regular) error at logical 32942075904 on dev /dev/sda2
[  629.582087] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 123, gen 0
[  629.582092] BTRFS error (device sda2): unable to fixup (regular) error at logical 32942583808 on dev /dev/sda2
[  629.582292] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 124, gen 0
[  629.582295] BTRFS error (device sda2): unable to fixup (regular) error at logical 32943407104 on dev /dev/sda2
[  629.589721] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 125, gen 0
[  629.589738] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 126, gen 0
[  629.589743] BTRFS error (device sda2): unable to fixup (regular) error at logical 32946712576 on dev /dev/sda2
[  629.589758] BTRFS error (device sda2): unable to fixup (regular) error at logical 32946589696 on dev /dev/sda2
[  629.592698] BTRFS error (device sda2): bdev /dev/sda2 errs: wr 0, rd 0, flush 0, corrupt 127, gen 0
[  629.592704] BTRFS error (device sda2): unable to fixup (regular) error at logical 32947294208 on dev /dev/sda2

У меня опять эта проблема стала появляться. Перед этим я обновил систему и сделал fstrim.

ne-vlezay ★★★★★
() автор топика
Ответ на: комментарий от urxvt

Не совсем

Поматросили и бросили, я уверен. И вообще - как сказал наш CSO: я бы и трёх метровой палкой не трогал то к чему FB приближался…

bugfixer ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.