Фрагментация 9 на 12
С наивной подписью «на память!»

если я использую SSD SLC для ZIL файлов даст ли мне это прироста производительности?

Даст, только для тех приложений, которые открывают синхронную запись для файла. Например СУБД. Во всех остальных случаях, в общем виде: не даст прироста.

iscsi

Ок. А если я пул использую для гипервизоров. В этом случае будет ли прирост?

Я вас не понял.

если писать из /dev/random

А уверен, что упираешься в запись, а не в чтение? :)

eсли писать из /dev/random

плохая идея

Сколько места занято в %?

Попробуй вместо чтения из /dev/random взять openssl aes128 -in /dev/zero -pass pass:123

На кой нам твои sysctl?

Давай вывод zpool list -v

И ещё сколько памяти ram и какой размер l2arc?

NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
pool_all 13.6T 2.22T 11.4T - 10% 16% 1.00x ONLINE -
raidz1 13.6T 2.22T 11.4T - 10% 16%
gpt/hdd_1 - - - - - -
gpt/hdd_2 - - - - - -
gpt/hdd_3 - - - - - -
gpt/hdd_4 - - - - - -
gpt/hdd_5 - - - - - -
gpt/ssd 186G 128K 186G - 0% 0%
cache - - - - - -
gpt/ssd_ocz1 112G 4.69G 107G - 0% 4%
gpt/ssd_ocz2 112G 4.95G 107G - 0% 4%
zroot 82.5G 1.37G 81.1G - 1% 1% 1.00x ONLINE -
gpt/zfs0 82.5G 1.37G 81.1G - 1% 1%

Ram 32gb l2arc - 2 ssd ocz vertex (2x120 gb)

Почему?

Помогите мне понять соотнешение hits/miss в ARC кэше. И на ваш вопрос, нет я не уверен.

Занято около 50%

Добавил в качестве LOG ssd тип SLC, и судя по gstat в запись я точно не упирался, больше было похоже именно на производительность самого пула, потому что просаживается он только в момент, когда запускаешь одновременно все VM. Более того, после добавления в l2arc второй ssd, её использование упало до 1%.

Вывод zfs-mon

Cache efficiency percentage:
10s 60s tot
ARC: 98.53 98.52 96.83
ARC demand data: 99.61 99.66 98.48
ARC demand metadata: 100.00 100.00 100.00
ARC prefetch data: 3.13 35.00 35.00
ARC prefetch metadata: 0.00 0.00 0.00
L2ARC: 0.00 0.00 2.08
ZFETCH: 95.52 80.51 79.23

Ещё один вопрос. Если я увеличил l2arc кэш, и процент его использования упал до 0, я так понимаю он стал не эффективен? Стоит ли убрать 1 ssd из кэша?

Принял решение пересобрать ZFS в mirror вместо raidz

Принял решение пересобрать ZFS в mirror вместо raidz

Для твоих VM это правильное решение.

у zfs плоховато с многопоточным в/в

ARC у тебя хорошо работает, L2ARC не очень помогает при последовательном в/в.

правильно, только сделай mirror hdd_1 hdd_2 mirror hdd_3 hdd_4 + hdd_5 hotspare

у zfs плоховато с многопоточным в/в

а мужики-то не знают

Сделал по другому, раздобыл ocz saber 960GB (4 штуки). Собрал на них raidz, мигрировал на него все ВМ, отключил ZFETCH. В итоге:
Cache efficiency percentage:
10s 60s tot
ARC: 25.69 25.69 25.69
ARC demand data: 25.50 25.50 25.50
ARC demand metadata: 33.33 33.33 33.33
ARC prefetch data: 0.00 0.00 0.00
ARC prefetch metadata: 0.00 0.00 0.00
L2ARC: 11.57 11.57 11.57
ZFETCH: 0.00 0.00 0.00 На L2ARC не обращайте внимания, это со старого массива. В итоге по gstat, массив постоянно прыгает в %busy (200-300), примерно раз в несколько секунд, но при старых дисках он был стабильно (95-100%).

Я честно говоря не знал.

Может тогда отказаться от ZFS? Что тогда использовать? Ext4 или Ufs? Будет ли это производительнее учитывая, что на данный момент стоят только ssd диски.

Включённый ZFETCH
Cache efficiency percentage:
10s 60s tot
ARC: 68.35 90.48 73.12
ARC demand data: 71.12 92.60 75.41
ARC demand metadata: 85.12 66.00 76.24
ARC prefetch data: 14.97 15.91 14.29
ARC prefetch metadata: 0.00 0.00 0.00
L2ARC: 0.00 0.47 0.16
ZFETCH: 35.31 44.17 39.25

Чувство такое, что ZFETCH не эффективен и с ssd не стало быстрее, всё равно всё висит.

Я честно говоря не знал.

Да ты и сейчас не знаешь, а тупо принимаешь на веру анонимное утверждение

Я не принимаю на веру. Я просто говорю что не знал об этом. Но вот на багрепорте FreeNas как раз об этом говорят. Не думаю, что стоит разводить тут обычный пустобрех, для этого есть сети Вконтакте.

Не думаю, что стоит разводить тут обычный пустобрех

Ну так и не разводи. Ссылаешься на баг репорт - приводи ссылку нормальную. Да и багрепорту на FreeNAS как-то несерьезно. Если б на баг в ZoL'овском или illumos'овском багтрекере - еще куда ни шло.

Где нашёл такую ошибку, ту информацию и привёл.

Вообщем я уже всё перепробовал. Крутил настройки sysctl, менял диски. Итог один, работа медленная.