zfs тормоза при копировании в виртуалках

Что за ssd? На сколько заполнены?

Аргументы будут, дядя?

• ZFSautomaticallyadjustsblocksize • ZFS blocksize can be tuned on a per‐file‐system basis (the “recordsize” property) • Tuning the blocksize will not help with sequential workloads, due to prefetch • Tuning the blocksize is most helpful with applications perform mostly random I/O • Tuningtheblocksizemayaffecttheamountof metadata in a pool • If in doubt, don’t tune the blocksize

SSD - Crucial_CT500MX200SSD1
Наполовину только заполнены

забей на ZoL, сделай mdraid1, поставь все на xfs и scheduler noop.

это крайний случай, пока с zfs попробую разобраться

Прошивки последние?

хз, это сервер у хецнера на 49 евро в месяц

В посте-то ересь какая-то написана, но таки на диски попадают порции по recordsize/кол-во_data_vdev.

Ну блин, smartctl -a /dev/sdX.

отдохни мальчик, при выборе блоксайза нужно исходить из структуры массива, если это рейд10 на 4-х дисках то 64k, если на 8-и дисках (4-х зеркалах) то 32k

По выборе размера Блока для затаскивав исходить нужно из потребности приложений, а не количества дисков в нем. Согласно твоей высосанной из пальца теории, я придобаалении к двум зеркалам ещё двух зеркал должен что-ли резко размер блока уменьшать? Если ты в исходники не заглядывал и черпаешь свои «познания» невесть откуда - то так и пиши.

При выборе геометрии пула тоже нужно учитывать, что будет за нагрузка. А то задолбали уже деятели, которые из всех дисков один raidz топ-левел сделают, gzip9 включат, ни одного slog'a не добавят, советов vxzvxz начитаются, а потом плачутся, как у них их зада банных медленно работает и как у ZFS плохо с параллельными вводом/выводом.

Анонимус и без тебя неплохо знает, как raidz_map_t устроена

Исключительно в целях ликбеза несведущих.

=== START OF INFORMATION SECTION ===
Device Model: Crucial_CT500MX200SSD1
Serial Number: 154410F5E528
LU WWN Device Id: 5 00a075 110f5e528
Firmware Version: MU02
User Capacity: 500,107,862,016 bytes [500 GB]
Sector Sizes: 512 bytes logical, 4096 bytes physical
Rotation Rate: Solid State Device
Form Factor: 2.5 inches
Device is: Not in smartctl database [for details use: -P showall]
ATA Version is: ACS-3 T13/2161-D revision 4
SATA Version is: SATA 3.2, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is: Thu Mar 3 15:27:35 2016 EET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled



=== START OF INFORMATION SECTION ===
Device Model: Crucial_CT500MX200SSD1
Serial Number: 154410F5D1F9
LU WWN Device Id: 5 00a075 110f5d1f9
Firmware Version: MU02
User Capacity: 500,107,862,016 bytes [500 GB]
Sector Sizes: 512 bytes logical, 4096 bytes physical
Rotation Rate: Solid State Device
Form Factor: 2.5 inches
Device is: Not in smartctl database [for details use: -P showall]
ATA Version is: ACS-3 T13/2161-D revision 4
SATA Version is: SATA 3.2, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is: Thu Mar 3 15:27:51 2016 EET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

Firmware Version: MU02

Актуальная - MU03.

скажи, а как выставить 128к, я пробую ashift=17 но пишет что нет такого значения ?

ashift это не то, это про размер сектора диска при создании пула. Размер блока тома задается при создании zvol, например так:
zfs create -V 50G pool/zvol-vol -o volblocksize=128K

так получается если я сейчас dd сделаю, создам диск заного а потом через dd восстановлю, то ничего не изменится (((

сделал копию диска через dd, пересоздал диск с другим volblocksize, ситуация особо не изменилось, при копировании того же файла начало тупить, скорость до 100 упала, но в этот раз не повисло

Может попробовать сделать hdparm, на диски? Короче, проверить адекватность физ. дисков на скорость чтения, записи...

ну что сказать, придется вернуться к проверенным методам, lvm + mdadm, zfs просто адски весь сервер тормозит при тупом копировании

ZFS - 0,00004 лет в продакшене линукса!

Делаю raid1 через mdadm, чего то скорость не ахти какая


[=>...................] resync = 6.9% (33737472/488254464) finish=154.6min speed=48994K/sec

zfs просто адски весь сервер тормозит при тупом копировании
raid1 через mdadm, чего то скорость не ахти какая

Может в консерватории что-то подправить? (c)

та отож)))
написал в саппорт о данной проблеме
До этого был сервер на intel дисках и проблем со скоростью не было, видать действительно зря на zfs все спихнул

в общем, как решение, это сделать размер volblocksize 128. А в самой операционке надо выставлять размер кластера и какой ? ПО умолчанию у меня винда 512 байт делает, так сойдет или тестировать ?

У меня стоит Proxmox на нескольких серверах с оптимизированными параметрами zfs. Несмотря на это, с течением времени и по мере заполнения производительность начинает заметно проседать и не лечится уже ничем. Рассматриваю уход с zfs в связи с данными обстоятельствами.

20% свободные остаются?

20% свободные остаются?

Иногда немного больше, иногда немного меньше. Некоторые вообще не советуют больше 50% заполнять по причинам производительности. Ну разве это дело?

volblocksize 128

То есть, чтобы прочитать 4кб, придётся вычитывать 128? Это оптимально?

У меня стоит Proxmox на нескольких серверах с оптимизированными параметрами zfs. Несмотря на это, с течением времени и по мере заполнения производительность начинает заметно проседать и не лечится уже ничем. Рассматриваю уход с zfs в связи с данными обстоятельствами.

Столкнулся с аналогичным поведением, после полугода uptime

ZVOL больше года, никаких проблем. ЧЯДНТ?

Я поймал багов на zvol, посмотрел, что пока в багтреккере подобных сообщений полно. - Решил не рисковать.