LINUX.ORG.RU
ФорумAdmin

ZFS крайне медленная скорость чтения

 


0

1

Всем привет,

В общем закинул я в свой массив ZFS образы вирт. машин и торренты. Если торренты включить, то время загрузки вирт. машины увеличивается раз в 20. При этом в самой вирт машине (Win10) показывает 100% загруженность HDD. Если выключить – все ок.

Оперативки 64 Гб, больше половины используется под ARC. Образы дисков – обычный raw img. Сжатие lz4 включено.

Это надо L2Arc ставить или как настроить?

Перемещено hobbit из general


Ответ на: комментарий от alex07

Дай угадаю. У тебя торренты долбят диски рандомными запросами, в результате чего диски большую часть времени проводят мотая головками в поиске данных.

Можешь попробовать через ionice порезать торрентам приоритет при доступе к диску, либо вынести из в отдельную cgroup и зарезать ей доступ через blkio.

hateyoufeel ★★★★★
()
Ответ на: комментарий от hateyoufeel

У тебя торренты долбят диски рандомными запросами

Я все-таки надеюсь что качают у меня не все торренты рандомно, а какие-то конкретные куски, которые уже прогретые лежат в Arc.

Я собственно поэтому про L2Arc и спросил. Тем более есть один свободный SSD на 512Гб.

через ionice порезать торрентам приоритет при доступе к диску

Не, я хочу что всё шустро работало, и торренты и виртуалки.

alex07
() автор топика
Последнее исправление: alex07 (всего исправлений: 1)
Ответ на: комментарий от alex07

Я собственно поэтому про L2Arc и спросил. Тем более есть один свободный SSD на 512Гб.

Ну, попробуй. Благо, добавить и удалить его из пула можно довольно безболезненно. Можешь часть выделить под ZIL, чтобы запись тоже ускорилась.

Но вообще, глянь arc_summary, он покажет тебе количество промахов в кэше.

Ищи что-то типа этого, для начала:

ARC total accesses:                                               227.7M
        Total hits:                                    99.5 %     226.6M
        Total I/O hits:                               < 0.1 %      77.1k
        Total misses:                                   0.5 %       1.0M

Не, я хочу что всё шустро работало, и торренты и виртуалки.

Тогда вертушки – это явно не то, чего ты хочешь.

hateyoufeel ★★★★★
()
Последнее исправление: hateyoufeel (всего исправлений: 3)
Ответ на: комментарий от hateyoufeel

глянь arc_summary

Вот:

ARC total accesses:                                               376.7M
        Total hits:                                    97.4 %     366.9M
        Total I/O hits:                                 0.1 %     378.9k
        Total misses:                                   2.5 %       9.4M

Но это с выключенной виртуалкой. И значения в мегабайтах какие-то слишком низкие.

alex07
() автор топика
Ответ на: комментарий от alex07

64 интерпрайзных диска на 7200rpm.

Нормальный энтерпрайз - это 10krpm или лучше 15krpm (хотя по сравнению с ssd всё равно сильно проигрывают).

7200 - это не про скорость, это про холодное хранение.

P.S. WD2003FYYS - старенькие SATAII диски, им лет 15 уже.

Dimez ★★★★★
()
Последнее исправление: Dimez (всего исправлений: 1)
Ответ на: комментарий от alex07

Я собственно поэтому про L2Arc и спросил. Тем более есть один свободный SSD на 512Гб.

Найди второй SSD, сделай зеркало и успокойся.

А raidz1 из кучи полумертвых дисков не даст нормальной скорости, что с ним не сделай.

melkor217 ★★★★★
()
Ответ на: комментарий от alex07

запусти

arcstat 1

колонка read - чтение из ARC кэша, miss - нет требуемых данных в кэше, т е читаем их с диска.
М б у тебя вообще смысла в кэше нет никакого для твоего профиля нагрузки.
А L2ARC имеет смысл, если ARC не хватает, если же у тебя ARC не используется, то и L2ARC не нужен

andyl
()
Ответ на: комментарий от andyl

arcstat 1

    time  read  ddread  ddh%  dmread  dmh%  pread  ph%   size      c  avail
08:06:09    57      25    96      30   100      2    0    31G    31G   6.4G
08:06:10  4.5K    2.0K    93    2.3K   100     89    3    31G    31G   6.3G
08:06:11  4.7K    2.2K    93    2.4K   100     57    0    31G    31G   6.3G
08:06:12  4.5K    2.0K    93    2.3K   100     90   11    31G    31G   6.3G
08:06:13  4.2K    1.8K    92    2.3K   100    147   14    31G    31G   6.3G
08:06:14  4.1K    1.8K    94    2.1K   100    140    8    31G    31G   6.3G
08:06:15  5.5K    2.5K    94    2.8K   100    118   22    31G    31G   6.3G

Колонки miss не наблюдаю.

alex07
() автор топика
Ответ на: комментарий от GAMer

Так у него про иопсы и речь. Если у тебя сотни торрентов, то сотни последовательных чтений превращаются в лютейший рандом. Не знаю, делает ли zfs prefetch.

cumvillain
()
Последнее исправление: cumvillain (всего исправлений: 1)
Ответ на: комментарий от alex07

dmh% везде 100%, хиты во все поля.

Посмотри в iostat -mx 1, он покажет насколько загружены диски и какими именно запросами.

cumvillain
()
Последнее исправление: cumvillain (всего исправлений: 1)
Ответ на: комментарий от alex07

вторая колонка - ddread, это чтение с диска того, чего нет в кэше.
Кэш забит в принципе, т е либо размер кэша увеличить, либо l2arc включить - часть данных должна переехать на ssd.

andyl
()
Ответ на: комментарий от alex07

Прямо сейчас на всех дисках массива какие-то лютые значения (ок. 100) в колонке wMB/s. Я правильно понимаю что это запись?

Да. По 100 MB/s на старых дисках 15летней давности это 80% от возможности этого диска :)))

Я хз, ребилд?

cumvillain
()
Последнее исправление: cumvillain (всего исправлений: 1)
Ответ на: комментарий от hateyoufeel

через ionice порезать торрентам приоритет при доступе к диску

Сделал sudo ionice -c 3 -p <pid> торрентокачалке, помогло крайне слабо, точнее вообще не помогло.

alex07
() автор топика