LINUX.ORG.RU
Форум — General  

Скорость записи ZFS

 


1

3

Недавно в руки попало 64 относительно старых дисков на 2Тб. Решил поиграться с ZFS на десктопе, собрал пул из 4х дисков (RAIDZ1). Собираюсь сделать на этом файлопомойку.

Был не очень приятно удивлен скоростью записи, результаты прикладываю.

Скорость записи на ZFS:

[root@crow data]# rsync -ah --progress /mnt/metis_torrents/The\ Last\ Of\ Us.2022.S01.WEB-DL.1080p ./
sending incremental file list
The Last Of Us.2022.S01.WEB-DL.1080p/
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E01.WEB-DL.1080p.x265.AMZN.mkv
          2.43G 100%   43.31MB/s    0:00:53 (xfr#1, to-chk=8/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E02.WEB-DL.1080p.x265.AMZN.mkv
          1.83G 100%   36.72MB/s    0:00:47 (xfr#2, to-chk=7/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E03.WEB-DL.1080p.x265.AMZN.mkv
          2.78G 100%   38.37MB/s    0:01:09 (xfr#3, to-chk=6/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E04.WEB-DL.1080p.x265.AMZN.mkv
          1.26G 100%   35.69MB/s    0:00:33 (xfr#4, to-chk=5/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E05.WEB-DL.1080p.x265.AMZN.mkv
          1.59G 100%   50.92MB/s    0:00:29 (xfr#5, to-chk=4/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E06.WEB-DL.1080p.x265.AMZN.mkv
          2.20G 100%   44.97MB/s    0:00:46 (xfr#6, to-chk=3/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E07.WEB-DL.1080p.x265.AMZN.mkv
          1.52G 100%   43.80MB/s    0:00:33 (xfr#7, to-chk=2/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E08.WEB-DL.1080p.x265.AMZN.mkv
          1.51G 100%   42.37MB/s    0:00:33 (xfr#8, to-chk=1/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E09.WEB-DL.1080p.x265.AMZN.mkv
          1.43G 100%   42.71MB/s    0:00:32 (xfr#9, to-chk=0/10)

Скорость записи просто на один из дисков (ext4):

[root@crow data]# rsync -ah --progress /mnt/metis_torrents/The\ Last\ Of\ Us.2022.S01.WEB-DL.1080p /mnt/libvirt_tmp/
sending incremental file list
The Last Of Us.2022.S01.WEB-DL.1080p/
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E01.WEB-DL.1080p.x265.AMZN.mkv
          2.43G 100%  643.08MB/s    0:00:03 (xfr#1, to-chk=8/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E02.WEB-DL.1080p.x265.AMZN.mkv
          1.83G 100%  520.19MB/s    0:00:03 (xfr#2, to-chk=7/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E03.WEB-DL.1080p.x265.AMZN.mkv
          2.78G 100%  568.73MB/s    0:00:04 (xfr#3, to-chk=6/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E04.WEB-DL.1080p.x265.AMZN.mkv
          1.26G 100%  205.02MB/s    0:00:05 (xfr#4, to-chk=5/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E05.WEB-DL.1080p.x265.AMZN.mkv
          1.59G 100%  145.96MB/s    0:00:10 (xfr#5, to-chk=4/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E06.WEB-DL.1080p.x265.AMZN.mkv
          2.20G 100%  110.91MB/s    0:00:18 (xfr#6, to-chk=3/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E07.WEB-DL.1080p.x265.AMZN.mkv
          1.52G 100%  105.93MB/s    0:00:13 (xfr#7, to-chk=2/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E08.WEB-DL.1080p.x265.AMZN.mkv
          1.51G 100%  107.04MB/s    0:00:13 (xfr#8, to-chk=1/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E09.WEB-DL.1080p.x265.AMZN.mkv
          1.43G 100%  110.03MB/s    0:00:12 (xfr#9, to-chk=0/10)

Подскажите, пожалуйста, оно так и должно работать или можно получше настроить?

Данные о машине:

  • CPU: AMD Ryzen 7 2700X Eight-Core Processor
  • RAM: 64Gb

Пул создавался с опцией ashift=12, настройки по умолчанию не менял, только отключил atime.

★
← Как настроить grub2?
При загрузке стартует memtest86 и никогда не завершается →
  1 2 3 4 5
Ответ на: комментарий от pekmop1024

когда у тебя 10к серверов

Если вы хотите сказать что в одиночку управляете 10К серверам, то позвольте усомниться в правдивости ваших словах. Сдается мне, вы типичный админ локалхоста, специалист во всем и ни в чем.

alex07 ★
() автор топика
Ответ на: комментарий от pekmop1024

ребилдится онлайн на spare

mdadm научился это делать сильно раньше контроллеров.

везут диск с другого конца Европы

Да что, черт побери, вы такое несете? Фантазер, ей богу.

Бизнес не любит ненужные сложности

Если вы такой же бизнесмен как сисадмин, то бедные ваши работники.

alex07 ★
() автор топика
Ответ на: комментарий от hateyoufeel

Чем мотивируют?

Тем что при выходе из строя raid-контроллера, не факт что будет запасной. В случае же mdadm надо просто пересобрать новый сервер, ну либо заменить то что вылетело, проц там память и т.д.

Ну и плюс raid-контроллеры в массе своей это вендерлок, а с современными процами, оверхедом можно принебречь.

alex07 ★
() автор топика
Последнее исправление: alex07 (всего исправлений: 1)
Ответ на: комментарий от alex07

Тем что при выходе из строя raid-контроллера, не факт что будет запасной.

Будем честны, разницы сдохнет sas адаптер со встроенным рейдом или без нет, они россыпью на каждом углу продаются.

cumvillain
()
Последнее исправление: cumvillain (всего исправлений: 2)
Ответ на: комментарий от pekmop1024

Т.е. если было 

/dev/disk/by-path/pci-0000:00:17.0-ata-6 -> ../../sda
потом sda отвалился, появился sde, то /dev/disk/by-path/pci-0000:00:17.0-ata-6 будет всё равно указывать на sda что ли? А какой тогда path у sde, если он подключен в тот же порт?

unC0Rr ★★★★★
()
Ответ на: комментарий от alex07

Чем мотивируют?

Тем что при выходе из строя raid-контроллера, не факт что будет запасной. В случае же mdadm надо просто пересобрать новый сервер, ну либо заменить то что вылетело, проц там память и т.д.

Ну и плюс raid-контроллеры в массе своей это вендерлок, а с современными процами, оверхедом можно принебречь.

А.. блин, я думал, ты имел ввиду, что если я захочу поставить свой сервер с хардварным рейдом в колок, меня нах пошлют :DDDDDD

На это вообще посрать. Алсо, с процами оверхеда нет, потому что при скоростях у вертушек современным процам просто пофиг, это мелочи.

hateyoufeel ★★★★★
()
Ответ на: комментарий от unC0Rr

Т.е. если было

/dev/disk/by-path/pci-0000:00:17.0-ata-6 -> ../../sda

потом sda отвалился, появился sde, то /dev/disk/by-path/pci-0000:00:17.0-ata-6 будет всё равно указывать на sda что ли? А какой тогда path у sde, если он подключен в тот же порт?

У этого шизоида диски воткнуты в рейд, который их как-то прокидывает уже лялексу. Как они там оперделяются, хер его знает. Я не удивлюсь, если упоротая прошивка рейда на каждый диск создаёт новый эндпоинт просто ради лулзов.

Т.е. на самом деле у него глючит прошивка рейд-контроллера, но виноват лялекс во всём. И это, кстати, очень большая проблема в хардварных рейдах. Если глючит лялекс, то скоро прилетит обновление. В крайнем случае, можно нанять кого-то, кто починит именно этот баг, который тебя бесит. А если у тебя глючит хардварный рейд, то пшёл нах ждать милостыню от вендора.

hateyoufeel ★★★★★
()
Последнее исправление: hateyoufeel (всего исправлений: 1)
Ответ на: комментарий от alex07

Это ложь, большинство производителей ОС рекомендуют как раз использовать софт-раид. Причину, надеюсь, пояснять не надо.

Надо. И ссылки на рекомендации тоже надо. А то похоже на вести из альтернативной вселенной - потому что ОС вообще нет дела, что мы тут используем, это наше дело.

Зачем батарейка если комп подключен UPS?

Затем, что иногда бывает перезагрузка или отключение железа из-за сбоя, а не только по причине пропадания внешнего питания. Например, убыла в мир иной мобо, захватив с собой оба блока питания.

mdadm и ZFS поддерживаю spares drives.

Про то, как работает линукс с hot swap, уже писал. Перечитывай тред.

У меня складывается ощущение что вы рассуждаете на тему о которой не имеете ни малейшего представления.

А у меня складывается ощущение, что кроме подвального самосбора ты ничего не видел.

pekmop1024 ★★★★★
()
Ответ на: комментарий от alex07

Если вы хотите сказать что в одиночку управляете 10К серверам, то позвольте усомниться в правдивости ваших словах. Сдается мне, вы типичный админ локалхоста, специалист во всем и ни в чем.

Нет, не в одиночку. Небольшой командой в семь человек.

pekmop1024 ★★★★★
()
Ответ на: комментарий от alex07

Да что, черт побери, вы такое несете? Фантазер, ей богу.

Ага, точно. Ничего ты, кроме самосбора подвального, не видел. Какие бывают уровни гарантийного обслуживания у вендоров, не в курсе. Ну и молчал бы, чтобы не позориться.

Если вы такой же бизнесмен как сисадмин, то бедные ваши работники.

Я не бизнесмен и не сисадмин, у меня поинтереснее работа.

pekmop1024 ★★★★★
()
Ответ на: комментарий от alex07

Нормальные люди уже 100 лет как диски идентифицируют по id, а этот наверное все буковки там перебирает.

Поскольку доступа к железу у таких ты может и не быть, то я так и быть, покажу вывод ls -l /dev/disk/by-id для примера (аналогично будет и в by-${anything}) с DL385:

lrwxrwxrwx 1 root root  9 Oct 21 14:06 wwn-0x5000c500ed9c284c -> ../../sdc
lrwxrwxrwx 1 root root  9 Oct 21 14:06 wwn-0x5000c500ed9c2f77 -> ../../sdk
lrwxrwxrwx 1 root root  9 Oct 21 14:06 wwn-0x5000c500ed9c3929 -> ../../sdb
lrwxrwxrwx 1 root root  9 Oct 21 14:06 wwn-0x5000c500ed9c3e72 -> ../../sda
lrwxrwxrwx 1 root root  9 Oct 21 14:06 wwn-0x5000c500ed9c40b5 -> ../../sdi
lrwxrwxrwx 1 root root  9 Oct 21 14:06 wwn-0x5000c500ed9c609e -> ../../sdf
lrwxrwxrwx 1 root root  9 Oct 21 14:06 wwn-0x5000c500ed9c6242 -> ../../sdg
lrwxrwxrwx 1 root root  9 Oct 21 14:06 wwn-0x5000c500ed9c878d -> ../../sde
lrwxrwxrwx 1 root root  9 Oct 21 14:06 wwn-0x5000c500ed9c925f -> ../../sdd
lrwxrwxrwx 1 root root  9 Oct 21 14:06 wwn-0x5000c500ed9ccd28 -> ../../sdl
lrwxrwxrwx 1 root root  9 Oct 21 14:06 wwn-0x5000c500ed9cfd6a -> ../../sdh
lrwxrwxrwx 1 root root  9 Oct 21 14:06 wwn-0x5000c500ed9d03b8 -> ../../sdj
lrwxrwxrwx 1 root root  9 Oct 26 09:00 wwn-0x600508b1001c872d3c3a24a4ff50c6d5 -> ../../sdm
lrwxrwxrwx 1 root root 10 Oct 26 09:00 wwn-0x600508b1001c872d3c3a24a4ff50c6d5-part1 -> ../../sdm1
lrwxrwxrwx 1 root root 10 Oct 26 09:00 wwn-0x600508b1001c872d3c3a24a4ff50c6d5-part2 -> ../../sdm2
lrwxrwxrwx 1 root root 10 Oct 26 09:00 wwn-0x600508b1001c872d3c3a24a4ff50c6d5-part3 -> ../../sdm3
lrwxrwxrwx 1 root root 10 Oct 26 09:00 wwn-0x600508b1001c872d3c3a24a4ff50c6d5-part4 -> ../../sdm4

А чойта мы тут видим? А мы тут видим простые симлинки на буквы.

pekmop1024 ★★★★★
()
Ответ на: комментарий от unC0Rr

потом sda отвалился, появился sde, то /dev/disk/by-path/pci-0000:00:17.0-ata-6 будет всё равно указывать на sda что ли? А какой тогда path у sde, если он подключен в тот же порт?

Угу. И это жопа. Почему оно так работает, вопрос к тем, кто придумал систему, генерящую эти симлинки.

pekmop1024 ★★★★★
()
Ответ на: комментарий от hateyoufeel

У этого шизоида диски воткнуты в рейд, который их как-то прокидывает уже лялексу. Как они там оперделяются, хер его знает. Я не удивлюсь, если упоротая прошивка рейда на каждый диск создаёт новый эндпоинт просто ради лулзов.

Ну-ну, кроме ad hominem аргументов у тебя я так понял, нет? Возьми битый диск и воспроизведи это на своем лаптопе.

Я такое видел везде, на любом типе железа, без контроллеров вообще, с SAS контроллерами, с внешними SATA контроллерами, с USB контроллерами - везде одно и то же. Следовательно, дело не в контроллерах.

pekmop1024 ★★★★★
()
Ответ на: комментарий от pekmop1024

А чойта мы тут видим? А мы тут видим простые симлинки на буквы.

Ты так и не смог объяснить почему ты боишься этих букв. Они не имеют никакого отношения к тому, как собирается рейд и какие диски он считает частью рейда.

cumvillain
()
Ответ на: комментарий от cumvillain

Будем честны, разницы сдохнет sas адаптер со встроенным рейдом или без нет, они россыпью на каждом углу продаются.

Бывало у нас и такое, если проще было «имплантировать» диски в соседний свободный сервер, так и поступали.

pekmop1024 ★★★★★
()
Ответ на: комментарий от cumvillain

Ты так и не смог объяснить почему ты боишься этих букв. Они не имеют никакого отношения к тому, как собирается рейд и какие диски он считает частью рейда.

Какая поразительно избирательная слепота у некоторых зелененьких. Ты так старательно не замечаешь того факта, что ZFS просто не увидит замененный диск, потому что старая буква висит и симлинк на неё тоже, что даже скучно. А ручками добавлять, как было сказано выше, путь к факапам и простоям.

pekmop1024 ★★★★★
()
Ответ на: комментарий от pekmop1024

Ты так старательно не замечаешь того факта, что ZFS просто не увидит замененный диск, потому что старая буква висит и симлинк на неё тоже, что даже скучно.

Ты понимаешь что даже если буква не будет висеть, zfs не будет добавлять диск пока ты его эксплицитно не пометишь как часть массива?

cumvillain
()
Ответ на: комментарий от pekmop1024

А ручками добавлять, как было сказано выше, путь к факапам и простоям.

Давай начнем с того, что замена диска требует индикации: кто-то должен в софте нажать locate. Иначе инженер HP не будет знать какой из сотни дисков нужно вытащить.

cumvillain
()
Последнее исправление: cumvillain (всего исправлений: 1)
Ответ на: комментарий от cumvillain

Ты понимаешь что даже если буква не будет висеть, zfs не будет добавлять диск пока ты его эксплицитно не пометишь как часть массива?

То есть даже spare там неплоноценный? Нет, этого я не знал. Ну, тем больше аргументов за то, чтобы выкинуть её на мороз. Потому что нормальный контроллер диск схватит и либо пометит его новым spare, либо перебилдит онлайн обратно и освободит spare, в зависимости от того, какое поведение настроено.

pekmop1024 ★★★★★
()
Ответ на: комментарий от cumvillain

Давай начнем с того, что замена диска требует индикации: кто-то должен в софте нажать locate. Иначе инженер HP не будет знать какой из сотни дисков нужно вытащить.

Еще один теоретик. На серверном железе у каждого диска есть индикатор здоровья на корзине. Как только контроллер видит дохлый диск, он не только spare задействует вместо него, но еще и индикатор включает. И инженеру ничего особо знать не нужно, он приходит, достает диск из корзины с желтым диодом, меняет его на живой и вставляет обратно.

pekmop1024 ★★★★★
()
Последнее исправление: pekmop1024 (всего исправлений: 1)
Ответ на: комментарий от pekmop1024

Еще один теоретик. На серверном железе у каждого диска есть индикатор здоровья на корзине.

И про него я и говорю.

Как только контроллер видит дохлый диск, он не только spare задействует вместо него, но еще и индикатор включает.

Именно. Теперь возвращаемся в реальность: у нас восемь рядов в ДЦ, штук пять дисков мигает, они разумеется разного размера.

cumvillain
()
Ответ на: комментарий от pekmop1024

Как бы это мы тут не назвали, это делает невозможным автоматизированное обслуживание.

На самом деле нет. Корзинки дают тебе возможность узнать в какой слот вставлен диск, поэтому замена faulty в слоте скриптуется.

cumvillain
()
Ответ на: комментарий от cumvillain

Именно. Теперь возвращаемся в реальность: у нас восемь рядов в ДЦ, штук пять дисков мигает, они разумеется разного размера.

Продолжаю ликбез: в тикете у инженера есть точные координаты сервера по кейджу, рэку и элевейшну. Поэтому идентифицировать ему нужно сбойный диск в пределах одного сервера.

pekmop1024 ★★★★★
()
Ответ на: комментарий от cumvillain

На самом деле нет. Корзинки дают тебе возможность узнать в какой слот вставлен диск, поэтому замена faulty в слоте скриптуется.

В теории да. На практике - см. про залипающие буквы и мертвые симлинки.

pekmop1024 ★★★★★
()
Ответ на: комментарий от pekmop1024

Продолжаю ликбез: в тикете у инженера есть точные координаты сервера по кейджу, рэку и элевейшну. Поэтому идентифицировать ему нужно сбойный диск в пределах одного сервера.

Riiight. То есть кто-то сделал тикет и как минимум его приоритезировал. Кошмар кошмар ручная работа.

cumvillain
()
Ответ на: комментарий от pekmop1024

В теории да. На практике - см. про залипающие буквы и мертвые симлинки.

И тут мы возвращаемся к тому что слоты и буквы друг с другом не связаны. Phy в симлинках не мапятся на phy в корзинках и использовать их не нужно.

cumvillain
()
Ответ на: комментарий от cumvillain

И тут мы возвращаемся к тому что слоты и буквы друг с другом не связаны. Phy в симлинках не мапятся на phy в корзинках и использовать их не нужно.

Других данных внутри ОС про диски нет. То, что фактически это одна и та же корзина, не помогает никак ОС понять, что ей диск поменяли, она на новый диск просто создает еще одну сущность в случае, если старый диск «залип».

pekmop1024 ★★★★★
()
Ответ на: комментарий от pekmop1024

Других данных внутри ОС про диски нет. То, что фактически это одна и та же корзина, не помогает никак ОС понять, что ей диск поменяли, она на новый диск просто создает еще одну сущность в случае, если старый диск «залип».

Это не так. arcconf умеет показывать в каком слоте какой blockdev. Мигать слотом тоже.

cumvillain
()
Ответ на: комментарий от cumvillain

Это не так. arcconf умеет показывать в каком слоте какой blockdev. Мигать слотом тоже.

Мигать индикатором умеет контроллер, к которому уже что-то может обращаться. Тут мне предложили контроллеры выкинуть. Корзинки, видимо, тоже. Типа ZFS всё может, контроллеры не нужны.

pekmop1024 ★★★★★
()
Ответ на: комментарий от pekmop1024

Ну-ну, кроме ad hominem аргументов у тебя я так понял, нет? Возьми битый диск и воспроизведи это на своем лаптопе.

Что именно воспроизвести? Что битый диск будет определяться системой, если у него живой контроллер? Это нормальное поведение. Только это не помешает ZFS пометить его как битый и взять запаску.

Что какие-то фантомные буковки появляются среди /dev/sd*? Я понятия не имею, как это воспроизвести, ей богу.

hateyoufeel ★★★★★
()
Ответ на: комментарий от pekmop1024

Мигать индикатором умеет контроллер, к которому уже что-то может обращаться. Тут мне предложили контроллеры выкинуть. Корзинки, видимо, тоже. Типа ZFS всё может, контроллеры не нужны.

Очевидно что без SAS адаптера ты диски не подключишь. Вопрос-то про рейды шел.

cumvillain
()
Ответ на: комментарий от hateyoufeel

Что какие-то фантомные буковки появляются среди /dev/sd*? Я понятия не имею, как это воспроизвести, ей богу.

Ну так если понятия не имеешь, чего фонтанируешь? Пойди разберись или умолкни.

pekmop1024 ★★★★★
()
Ответ на: комментарий от cumvillain

Очевидно что без SAS адаптера ты диски не подключишь. Вопрос-то про рейды шел.

Ну и зачем мне ZFS RAID, если у меня контроллер есть?

Разговор шел про ненужность контроллера при наличии ZFS. Меня до сих пор поражает уровень невежества людей, считающих верным это утверждение.

pekmop1024 ★★★★★
()
Ответ на: комментарий от pekmop1024

Ну так если понятия не имеешь, чего фонтанируешь?

Дядя, ты пришёл в тред про ZFS и стал верещать что нинужна, потому что хардварный RAID.

Скорость записи ZFS (комментарий)

Совсем уже маразм твой моск пожрал? Сдавайся в дурку иди. Время пришло.

hateyoufeel ★★★★★
()
Последнее исправление: hateyoufeel (всего исправлений: 1)
Ответ на: комментарий от pekmop1024

Ну и зачем мне ZFS RAID, если у меня контроллер есть?

Потому что ZFS заменяет lvm и дает дедуп, например. Ну и отсутствие вендорлока.

cumvillain
()
Последнее исправление: cumvillain (всего исправлений: 1)
Ответ на: комментарий от cumvillain

Потому что ZFS заменяет lvm и дает дедуп, например.

И другие интересные фичи. Я и не говорил нигде, что в таком юзкейсе ZFS не интересна. Но строить рейды на ZFS или btrfs - дело, скажем так, не слишком дальновидное. И функционал этот смущает неокрепшие умы, которые норовят его пихать туда, где ему не место.

pekmop1024 ★★★★★
()
Ответ на: комментарий от pekmop1024

Совсем уже маразм твой моск пожрал? Сдавайся в дурку иди. Время пришло.

Читай внимательно, невеждаСкорость записи ZFS (комментарий)

Посмотрел. Ты пишешь полную ересь, не имея ни малейшего понятия о функциональности ZFS (ты даже про поддержку spare не знал лалка).

hateyoufeel ★★★★★
()
  1 2 3 4 5
← Как настроить grub2?
General
При загрузке стартует memtest86 и никогда не завершается →