Почему SSD тормозят при добавлении их разделов в разные пулы и их кэш?

в кратце, один ящик о 100/1000 hdd/ssd на 10к/100к/1м оипс пилят на «диски»

«пилят на диски» - это значит из нескольких физических дисков делают виртуальное блочное устройство?

я тебе и намекаю, что в дисковой подсистеме ты не шаришь. и это касается не только san.

кстати, даже если бы это было хотя бы отдаленно так, то с какой целью ты намекаешь?

потому что:

zfsonlinux

мало того, что он Linux, так ведь еще и Open:
http://open-zfs.org/wiki/Companies
ну совсем ненужнятина

Привет, а вот при использовании NFS over ZFS, L2Arc и Zil работают ?

при использовании NFS over ZFS, L2Arc и Zil работают ?

А почему нет? NFS ведь на уровне смонтированной файловой системы работает и выбор транспортного протокола никак явно не влияет на то, что там ниже по стэку (может быть неявное влияние из-за размера блока, способа синхронизации и т.п.), если только нет специальных оптимизаций/опций под конкретный протокол, но я таких упоминаний не видел

https://arstechnica.com/civis/viewtopic.php?f=21&t=1164488

Лично мне хватает iSCSI поверх ZVol и NFS поверх ZFS более чем, и именно в этой области, я представляю как оно работает

Ага, заметно как представляешь. iSCSI и NFS работают поверх TCP/IP.

Наверняка, сейчас как и обычно в лабораториях разрабатывают еще более новые дисковые подсистемы

С тех пор как IBM изобрела HDD, ничего концептуально нового не изобрели.

Ага, заметно как представляешь. iSCSI и NFS работают поверх TCP/IP.

а это вообще к чему здесь? давай еще весь коммуникационный стэк раскопаем? IP/Ethernet, ты, наверно, связист? очень в тему однако написал обсуждения хранилища

я вообще-то не про транспорт упоминал, а про то, через какое место оно с дисковой подсистемой работает, т.е. куда сетевой сервис типа NFS/SAMBA прокачивает данные файлов в сторону дисков, как ни странно через файловую систему

наверно, опять тролить начинают, но на всякей:

NFS client->TCP/IP->NFS server->ZFS(в т.ч. ZIL, ARC, L2ARC)->диски

т.е. я упоминал про то, что справа от NFS server, а ты про то, что слева от него

С тех пор как IBM изобрела HDD, ничего концептуально нового не изобрели.

ога:
http://www.redbooks.ibm.com/abstracts/redp5141.html?Open

Хм… полезную штуку имеет местный движок - история исправлений. Видно метание мыслей.

Что такое block device over iscsi, local fs over nfs я понимаю, а вот что такое iscsi поверх zvol, nfs поверх zfs ну нихрена не понятно.

Как сказал коллега: плаваешь в предметной области - учи матчасть.

И чего там концептуально нового?

Хм… полезную штуку имеет местный движок - история исправлений. Видно метание мыслей.

исправление опечаток (синтаксис, грамматика), а не мыслей (семантика)
к чему бы еще придраться анонимному тролю
написал бы лучше под своим ником, чтобы посмеяться над твоими замечаниями

Что такое block device over iscsi, local fs over nfs я понимаю, а вот что такое iscsi поверх zvol, nfs поверх zfs ну нихрена не понятно.

то, что тебе непонятно, это еще не значит, что другим непонятно

«Поверх» в моих сообщениях относительно iSCSI значило то, что iSCSI target подключается к виртуальному блочному устройству ZVol, но какой смысл объяснять что-то тролю типа тебя? Ты ведь скорее всего изучаешь мою реакцию на твои глупости

Как сказал коллега: плаваешь в предметной области - учи матчасть.

твой коллега не смог ответить, где у меня ошибка,
так только понтов напустил мол я ниче не знаю, ниче не понимаю по его словам в дисковым подсистемах
он похоже даже не знает, что дисковые подсистемы не обязаны быть SAN, а даже флоп у XT является дисковой подсистемой

Ты опять все перепутал. Редактирование сообщений и история этого процесса ну совершенно разные весчи.

Ты инвертируешь понятия, а когда тебе на это указывают, апеллируешь к «очевидности в контексте» и «а-а-а он меня троллит». Проблема, поднятая в теме и твоя реакция, описанная выше, указывают на пробелы в базовых знаниях (часто именуемых матчасть).

И смеяться тут не над чем, пожинаем плоды реформ. Впрочем, это уже не твоя вина…

Таки объясни какая там новая концепция то.

Современные диски отличаются от тех первых разве что временными характеристиками, плотностью записи, размером сектора да адресацию сменили с CHS на LBA. Не тянет на новую концепцию.

Ты опять все перепутал. Редактирование сообщений и история этого процесса ну совершенно разные весчи.

Хм… полезную штуку имеет местный движок - история исправлений. Видно метание мыслей.

наверно, ты взял статистику всего из одного сообщения и распространил на сотни

из твоих сообщений видно лишь одно, поиск к чему придраться, потому что по сути результата придраться тебе не к чему, а обо*рать собеседника причем анонимно уж ой как тебе хочется

еще и обсуждение вопроса ветки уводишь в сторону, тратишь мое время впустую на свои глупые высказывания, т.е. вредишь в ветке, где ты совсем ненужен со своими замечаниями, от тебя нет никакой пользы для меня

Таки объясни какая там новая концепция то.

таки где там?

таки здесь:

С тех пор как IBM изобрела HDD, ничего концептуально нового не изобрели.

таки SSD изобрели, однако
с добрым утром

Современные диски отличаются от тех первых разве что временными характеристиками, плотностью записи, размером сектора да адресацию сменили с CHS на LBA. Не тянет на новую концепцию.

таки причем тут современные HDD?

А тут все анонимы, кроме некоторых известных личностей.

По сути результата я ещё не «придирался», но если настаиваешь…

То что ты сам решил проблему это плюс, но ты решил её «методом тыка», а не опираясь на «матчасть», а это минус. Итого результат 0.

Что касается ветки. Конструктивной критики тебе накидали многие, включая меня, но у тебя своё видение вопроса. Более того, любой почитавший хотя бы best practice по zfs не наступит на такие грабли, ибо причины граблей тривиальны. Итого польза от ветки 0.

Я трачу твоё время??? Приехали! Так не отвечай на мои глупые высказывания, а займись самообразованием. Всяко пользы больше чем препираться на ЛОРе.

а обо*рать собеседника причем анонимно уж ой как тебе хочется

что-то я не припомню чтобы ты представлялся

таки где там?

Таки по твоей ссылке. У нас в машзале 4,5 стойки таких девайсов от НР и Cisco. HDD на SSD заменили и концепция поменялась?

таки SSD изобрели, однако
с добрым утром

Ага с добрым, прикрутили nvram память к SAS/sata интерфейсу и новая концепция?

Я zfs pool на флешках делал, походу изобрёл новую концепцию стораджа … выпишука себе премию!

То что ты сам решил проблему это плюс, но ты решил её «методом тыка», а не опираясь на «матчасть», а это минус.

откуда такие фантазии?
читал много про ZFS, до сих пор для меня загадка почему утилизация nvram очень низкая даже при добавлении ее в оба пула и в SLOG

Итого результат 0.

результат чего?

А тут все анонимы

ну зачем же за всех писать, это одна из самых распространенных методик тролей, которые хотят навязать свое мнение, лживо прикрываясь квантором «все», потому что это очень выгодно в споре, навязывая кому-либо якобы патерн поведения большинства


зарегенные ники с большим количеством сообщений сильно отличаются от совсем анонимов, по крайне мере можно ознакомиться с другими ветками зарегистрированного, кто-то свои фотки прикрепляет к аватарам, кто-то ссылки дает на свои личные страницы или сайты

так что в этом ты как обычно нагло обманываешь, собственно ради чего ты и постишь под анонимом

Что касается ветки. Конструктивной критики тебе накидали многие, включая меня, но у тебя своё видение вопроса. Более того, любой почитавший хотя бы best practice по zfs не наступит на такие грабли, ибо причины граблей тривиальны. Итого польза от ветки 0.

опять «многие» LOL
многие - это кот, позеленевший от конопли? )))

Я трачу твоё время??? Приехали! Так не отвечай на мои глупые высказывания, а займись самообразованием. Всяко пользы больше чем препираться на ЛОРе.

засоряешь ветку своими постами не по теме топика, вместо того, чтобы помогать прокачиваешь свое ЧСВ

при самообразовании полезно общаться с другими специалистами для динамической корректировки цели и методов ее достижения

Таки по твоей ссылке. У нас в машзале 4,5 стойки таких девайсов от НР и Cisco.

Это к чему здесь? как это влияет на обсуждение?

HDD на SSD заменили и концепция поменялась?

концепция чего поменялась?

устройства типа HDD и SSD имеют не мало отличий, о них знают даже школьники

читал много про ZFS, до сих пор для меня загадка почему утилизация nvram очень низкая

А причём тут zfs? С чем сравнивал и на каких операциях?

лживо прикрываясь квантором «все»

1. Э… ну раз уж ты полез в матлогику, потрудись высказывания приводить полностью: «А тут все анонимы, кроме некоторых известных личностей.»

«Все х кроме у …». Эквивалентно «Большинство х …». А это «квантор плюральности». Какие ещё предметы ты прогуливал?

2. Где ты в этом высказывании узрел «паттерн поведения»?

многие - это кот, позеленевший от конопли?

Ты накуриваешь котов или сам любитель?

засоряешь ветку своими постами не по теме топика

Ага. А кванторы, паттерны, коты и конопля это по теме?

«Все х кроме у …». Эквивалентно «Большинство х …». А это «квантор плюральности». Какие ещё предметы ты прогуливал?

а с чего ты взял, что анонимы большинство?
где гарантия, что под anonymous не постят пара тройка тролей-вредителей типа тебя?

Ты накуриваешь котов или сам любитель?
Ага. А кванторы, паттерны, коты и конопля это по теме?

www.linux.org.ru/people/EvgGad_303/profile

А причём тут zfs? С чем сравнивал и на каких операциях?

с другой SSD, она при таком же подключении несколькими разделами в разные пулы давала 100% утилизацию, а Intel на порядок меньше

Где ты в этом высказывании узрел «паттерн поведения»?

https://ru.wikipedia.org/wiki/Эксперимент_Аша

как видишь, если бы было большинство, которое давало бы неправильный совет, то неподготовленному человеку велика вероятность согласиться с мнением толпы, даже если толпа вводит его в заблуждение и он это понимает

но в нашем то случае даже и большинства нет, только позеленевший кот, да аноним, не исключено, что тот же кот, только анонимно

вот еще: https://ru.wikipedia.org/wiki/Групповое_подкрепление

П-и-и-и…ц!

П-и-и-и…ц!

не и-и-и, а е-е :)

http://picpaste.com/pics/9qx46qMr.1468745889.jpg

по утилизации почитай это HDD Utilization 100% при низких read и write

модель ssd какая была?

не, именно что и-и-и

первый вариант картинки больше понравился

модель ssd какая была?

десктопная SSD:
http://www.newegg.com/Product/Product.aspx?Item=N82E16820148821

серверная SSD:
http://www.newegg.com/Product/Product.aspx?Item=9SIA5EM2VX9468&cm_re=inte...

по утилизации почитай это HDD Utilization 100% при низких read и write

интересно, спасибо :)

даёжтвоюмедь!

SATA 3 — 6 Гбит
PCIe 3 x4 — 32/64 Гбит

не знаю как у SATA, а PCIe передает данные одновременно в обе стороны

сравнил кукурузник с ракетой...

кстати, как я уже упоминал, этот интел имело смысл засунуть в slog даже на пулл из SSD.(сказал бы сразу что он на PCIe — «наездов» на матчасть было бы меньше).

кстати2, а что у тебя за workflow такой у БД, что ты заметил просадку I/O на таких девайсах и её пришлось чинить?

а транжирить свое время на изучение солярки невыгодно, мне за это не доплачивают

возьми фрю, она попроще

сравнил кукурузник с ракетой...

я же с самого начала упоминал про Intel 3700

вроде реабилитировали частично теперь меня, но почему не работало так и непонятно :)

кстати2, а что у тебя за workflow такой у БД, что ты заметил просадку I/O на таких девайсах и её пришлось чинить?

да просто после добавления разделов Intel во второй пул данных пользователи начали жаловаться, мол «тормозит, вчера был хорошо, а седня (в тот день) плохо»

осмотр утилизации Intel 3700 показал, что утилизация колышится между 5% и 10%

может быть из-за того, что сервак старый (10 летний), шина PCIex тормознее современных, но все же опять НО:
там поток данных то всего 2-5Мбайт/секунду, IOPS-ов да много, СУБД как никак (DB2 и Firebird), пришлось Firebird перетащить на другой аналогичный сервер с ZFS, но вообще без слога, и нормально робит по слоам пользователей. DB2 после этого тоже ожила, утилизация Intel 3700 при этом почти не поменялась, мистика какая то

я думал этот интел сможет десяток наших пулов проглотить и не подавиться, а он уже на втором начал кашлять

возьми фрю, она попроще

а смысл, меня в Linux все устраивает, я обычно беру что-то новое только тогда, когда есть явный профит, у меня даже телефон Nokia Symbian

SATA 3 — 6 Гбит
PCIe 3 x4 — 32/64 Гбит

на старом сервере там скорее всего SATA2

но мне эти гигабиты даром не нужны, мне нужна Latency и хорошие random IOPSы, нагрузка всего лишь до 50мбит/секунду на запись, чтение может быть побольше эпизодически

smartctl -a /dev/sdf1
smartctl 6.4 2014-09-29 r3990 [x86_64-linux-3.16.0-0.bpo.4-amd64] (local build)
Copyright (C) 2002-14, Bruce Allen, Christian Franke, http://www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family: Crucial/Micron MX100/M500/M510/M550 Client SSDs
Device Model: Crucial_CT512MX100SSD1
Firmware Version: MU01
User Capacity: 512,110,190,592 bytes [512 GB]
Sector Sizes: 512 bytes logical, 4096 bytes physical
Rotation Rate: Solid State Device
Form Factor: 2.5 inches
Device is: In smartctl database [for details use: -P show]
ATA Version is: ACS-2, ATA8-ACS T13/1699-D revision 6
SATA Version is: SATA 3.1, 6.0 Gb/s (current: 3.0 Gb/s)

так 3700 еще и такой есть http://www.nix.ru/autocatalog/ssd_intel/SSD-400-Gb-SATA-6Gb-s-Intel-DC-S3700-...

с чего не работало то? просто чуть помедленнее.. какие юзеры у тебя разборчивые.. заметили просадку в/в на таком девайсе :))

по утилизации ссылку давал, давай порассуждаем (абстрагируясь от возможной разной логики внутри этих девайсов):

полное время выполнения операции = время на трансфер данных по интерфейсу + время на выполнение самой операции внутри девайса + время на трансфер подтверждения о выполнении.

скорость PCIe в ~10х выше SATA, причём может одновременно передавать следующую порцию и подтверждении. время выполнения у интеля тоже меньше, если по латентности судить.

итого: при условно константном количестве операций в секунду от ДБ, например 5000, интель тупо быстрее их выполняет и оставшееся время до следующей порции работы ему просто нефиг делать, вот тебе и показывает утилизацию в 5-10%.

итого: при условно константном количестве операций в секунду от ДБ, например 5000, интель тупо быстрее их выполняет и оставшееся время до следующей порции работы ему просто нефиг делать, вот тебе и показывает утилизацию в 5-10%.

если ему нефиг делать, то откуда замедление?
попробую потом по iostat -x посмотреть при случае

Одобрямс:) хорошая микроядерная ось.

Одобрямс:) хорошая микроядерная ось.

в смысле на немонолитном ядре такого:

если ему нефиг делать, то откуда замедление?

бы не было?

Да фига ты там чего увидишь. Задержку вносит видимо сама zfs, скорее всего где-то на уровне менеджера пула, в код надо лезть — лениво. Тут бы dtrace помог, но…

Посмотреть бы на уровень этого замедления в цифрах, а не в ощущениях юзеров:)

так то мне важен в первую очередь привычный дистрибутив Debian, т.е. в принципе можно глянуть kFreeBSD

я даже лет 8 назад пытался найти, какие строки надо добавить в GRUB для kFreeBSD, но так и не нашел, почему-то сами они не добавлялись :(

а если бы нашел, то не пришлось бы отвлекаться на Nexenta

с Nexenta сразу перешел на ZFS on Linux

Если подскажешь для какой микроядерной ОС есть firebird , могу поставить эксперимент.

А смысл был прямой — Симба клеевая ось… была.

kFreeBSD

Живые сиськи приятнее силиконовых;)

https://community.spiceworks.com/topic/353888-gnu-linux-vs-bsd-monolithic-vs-...

холивар на тему Linux vs Фря

Живые сиськи приятнее силиконовых;)

ну это, наверно, в каждом отдельном случае по разному