Быстродействие NFS c ESXi

Загрузку nas смотрел? nfs довольно сильно нагружает процессор

Ты пытаешься в ESXi использовать NFS датастор? Он принудительно использует синхронную запись, которая включена по дефолту и возможно где-то и лимитирует скорость, попробуй использовать async на сервере. И кстати ради ESXi стоит пощупать NFSv4.

Да. В том-то и дело, что соседний центос пишет огранчиваясь только сетью. Но я гляну...

Да, все верно. Говорят async вредно для данных. Хотят у меня там УПС стоит... Вроде как esxi 4-ую версию не поддерживает, но я загуглю.

Попробую глянуть еще iSCSI.

Вообще говоря, этот esxi и вся инфраструктура начинает тихо задалбывать, надо искать открытые альтернативы и на них переползать...

Дело не в закрытости ESXi, а в том, что он заточен на SAN. Ынтерпрайз же! NFS только v3 (я забыл что v4 ESXi не держит), но async для данных не вредно, оно опасно для критичных виртуалок типа БД и только если NAS во внешней сети. У меня все крутится на одном сервере и собран он из дорогого железа, NAS в виртуальной 10G сети, так async не страшен, но я даже этого себе не позволяю и использую ZFS+ZIL через SSD, получил 35 Мб/с вместо 5 на запись. Есть на хабре статья типа «как я боролся за iops на SAN», там очень хороший разбор полетов применительно к линуксу и тоже все кончилось writecache через SSD, но еще там MTU хитрый (а у меня дефолт). Эта тема требует очень тщательной оптимизации.

Дело не в закрытости ESXi, а в том, что он заточен на SAN. Ынтерпрайз же! NFS только v3 (я забыл что v4 ESXi не держит), но async для данных не вредно, оно опасно для критичных виртуалок типа БД и только если NAS во внешней сети. У меня все крутится на одном сервере и собран он из дорогого железа, NAS в виртуальной 10G сети, так async не страшен, но я даже этого себе не позволяю и использую ZFS+ZIL через SSD, получил 35 Мб/с вместо 5 на запись. Есть на хабре статья типа «как я боролся за iops на SAN», там очень хороший разбор полетов применительно к линуксу и тоже все кончилось writecache через SSD, но еще там MTU хитрый (а у меня дефолт). Эта тема требует очень тщательной оптимизации.

Угу, спасибо!

Как я понял, единственный вменяемый путь это ZFS и ZIL на SSD, а async это как сидеть на мине.

Кстати говоря, в случае async-а, если сервер с УПСом, то все не так страшно, если он корректно выключится до того, как закончатся батарейки?

Если кто-то случайно выдернет сетевой кабель, данные не потеряются, т.к. async он между памятью и жестким диском, так?

Какой должен быть объем ssd для ZIL ?

Мне нужен какой-то самый дешевый вариант, т.к. я собираю все из мусора =)

Стоит ли накатить zfs для linux, или лучше взять фряху или клон соляриса ?

Как я понял, единственный вменяемый путь это ZFS и ZIL на SSD, а async это как сидеть на мине.

только не стоит забывать, что zil на ssd - это не кэш на запись. оно конечно часто помогает, но немного по другим причинам. за подробностями сюда.

или лучше взять фряху или клон соляриса ?

omnios попробуй.

Для любой СХД упс обязателен. Синхронная запись нужна чтобы была уверенность, что ты записал правильные данные, а не мусор. А как он может получиться, вариантов много.

Если кто-то случайно выдернет сетевой кабель, данные не потеряются, т.к. async он между памятью и жестким диском, так?

Потеряются как раз данные в памяти, она же энергозависимая, кеш записи сбрасывается на диск в бсд 5 секунд, в линуксе не помню, вроде 10 секунд. SSD ценен тем, что в серверных моделях есть кондер, который при пропаже питания (при использовании диска как кеша записи) сохраняет данные за эти 5-10 секунд и сбрасывает их на диск при восстановлении питания. Это гарантирует непогрешимость данных.

Какой должен быть объем ssd для ZIL?

Скорость записи умножаешь на время жизни кеша и берешь в 2-4 раза больше. На bsd не может быть больше половины объема оперативной памяти. У меня 4 Гб.

Мне нужен какой-то самый дешевый вариант, т.к. я собираю все из мусора =)

Ищи бэушные с SLC любого размера, за новье с MLC я не ручаюсь, главное TLC не брать.

Стоит ли накатить zfs для linux, или лучше взять фряху или клон соляриса ?

По ZOL лучше megabaks спросить. Пока сомневаюсь в стабильности. Я могу только сказать что реализация NFS и iSCSI в bsd сильно уступает и линуксу и соляре, может в 10-й фряхе улучшили, я пока не смотрел.

Забудь в данной ситуации о NFS, ZFS и прочих *FS. Тебе нужен iSCSI. Блочное устройство решает, вернее, не создает тех проблем, с которыми тебе предлагают героически сражаться да еще и ssd докупать.

Вместо iscsi можно использовать обычный nbd.

И посмотри на возможность "Raw Device Mapping (RDM) to a Virtual Machine"

Вместо iscsi можно использовать обычный nbd.

Пишут, что производительность iscsi в те же проблемы упирается. С такой же производительностью, нет ?

Потеряются как раз данные в памяти, она же энергозависимая, кеш записи сбрасывается на диск в бсд 5 секунд, в линуксе не помню, вроде 10 секунд. SSD ценен тем, что в серверных моделях есть кондер, который при пропаже питания (при использовании диска как кеша записи) сохраняет данные за эти 5-10 секунд и сбрасывает их на диск при восстановлении питания. Это гарантирует непогрешимость данных.

Я имел ввиду, что при отключении ethernel все будет норм.

Пишут, что производительность iscsi в те же проблемы упирается

"Те же" это какие?

Тебе нужен iSCSI. Блочное устройство решает, вернее, не создает тех проблем, с которыми тебе предлагают героически сражаться да еще и ssd докупать

Глупость, это транспортный протокол и очень костыльный, очень требовательный к оптимизациям настроек ОС и сети. Он вообще проектировался в расчете на FC и в LAN работает через жопу. У него собственная реализация синхронной записи, поэтому он работает чуть быстрее, чем NFS (по разным замерам около 15%), но если на сервере плохо с иопсами, то даже iSCSI будет буксовать.

nbd?

Стоит ли накатить zfs для linux, или лучше взять фряху

если планируется использовать в качестве хранилища то нет.