Какие СХД Вы применяете дома?

Интересно, какие системы хранения данных (и даже просто файловые сервера) Вы используете дома (или на рабочем месте для десктопа), чтобы выжать максимум IOPS? Применяете ли Вы IB, FibreChannel, FBoE, 10GboE или просто 1Gb bonding? Сколько тыс. $ стоила storage-инфраструктура Вашей домашней сети?

>>>!!! Читайте уже (хотя бы мельком) середину и конец!

Многие могут задаться вопросом: для чего же дома могут быть нужны СХД, когда можно всё реализовать внутри одного компьютера, особенно, учитывая, что в любом современном десктопе 10-12 портов SATA, USB 3.0 только встроенных в материнскую плату, а внутрикорпусные контейнеры позволяют установить до 4 SSD на 5,25" отсек? Ответ может показаться многим начинающим специалистам странным, но он достаточно очевиден: для упрощения менеджмента, снижение (перенос на СХД) издержек IO на конечное оборудование, упрощение масштабирования, повышение отказоустойчивости и производительности.

Ну очевидные примеры:
1. Наверняка у Вас дома более десятка компов. В результате периодически возникают проблемы переноса данных с одного компьютера на другой. Часто для этого мы используем NFS+IPSec (т.к. встроенные средства шифрования NFS слишком сложны в настройке, а доверять собственной сети свою конфиденциальность может только дурак) или SSHFS (из-за её простоты, но производительность ниже плинтуса). В результате файлы раскиданы по куче компьютеров, что совершенно неудобно и приходится тратить много усилий на поиск нужных файлов. В едином NAS такой проблемы не возникло бы.
2. Использование дискового пространства неравномерно (на новый серверах виртуализации места много, а на десктопе как-раз кончилось, хотя срочно нужно закачать over9000 серий амине-сериала в Blueray-образах).
3. Часто (из-за ограниченности бюджета) мы (чего греха таить) экономим на домашних серверах виртуализации и ставим там всего по 16Гб RAM и вообще забывам про кэширующие SSD). Тогда как хотя бы на одном сервере виртуализации они точно есть, а в десктопе их вообще несколько. В результате получается, что ресурсы на серверах большую часть времени не используются, на серверах без SSD мы ждем пока пройдет io в то время, как на десктопе с на части серверов виртуализации SSD практически не используется (в данный момент, т.к. мы ждем и ничего не делаем). Очевидно, что если бы все компьютеры использовали бы единую дисковую подсистему (с разделением областей дискового пространства и разграничением прав доступа, конечно), то SSD-кэш покрывал бы операции с любого компа, если было бы в среднем больше на машину, машина с активном io могла бы использовать больше кэш, кэш был бы ещё и на СХД, плюс единое пространство HDD.
4. Простота масштабирования. Купили ли Вы новый комп, хард или SSD, с СХД не надо думать, как правильно распределить дисковые ресурсы, их всегда можно будет перераспределить программно за считанные секунды. На новых системах (или при перестановке старых) больше не надо утомительно настраивать RAID и SSD-кэш, просто загрузиться с SAN и всё.
5. Простота бекапов. Бекапы крайне просто делать, т.к. можно использовать COW и образы, а также подмонтировать снапшоты прямо на СХД. Мало того, фоновый бекап на другую домашнуюю СХД не будет занимать ресурсы, как это было в случае с бекапами напрямую с компьютеров.
6. Производительность не деградирует при частом использовании снапшотов, дедупликации или версионных ФС из-за использования огромных кэшей.
7. Упрощается менеджмент домашней сети. При покупке новых компьютеров из можно загрузить из скопированных образов дисков на СХД, как в случае с виртуализацией. С использованием Intel AMT или настройки через DHCP можно вообще не отрывать зад от кресла после подключения проводов. Также легко решаются любые проблемы ПО откатом на предыдущий снапшот, сделанный на СХД. Управлять физической инфраструктурой теперь становится почти так же просто, как виртуальной.

Теперь у меня вопросы к уважаемому читателю:
NAS (NFS?) или SAN (iSCSI, FC, FCoE, FCoIB, AoE, nbd, drbd) Вы используете?
Каким образом осуществляете первичную загрузку (grub на флешке, диске прямо в десктопе, PXE, iSCSI boot, FC boot)?
Каким образом осуществляете вторичную загрузку (когда монтируется rootfs)? Используете ли Вы аппаратные или программные инициализаторы (особенно в случае FCoE и iSCSI)? Какие скрипты initrd Вы используете (RH dracut, ubuntu initramfs, gentoo genkernel)?
Используете ли Вы TOE в случае наличия TCP-IP в Вашей архитектуре?
Используете ли бондинг (программный или аппаратный)?
Какая модель Вашего (Ваших) HBA?

Что выступает в роли таргета/сервера?
Специальная ли эта проприетарная (аппаратная) СХД или обычный сервер?
Используются ли SSD (какого типа flash?) и используются ли они как прослойка кэша (rw или r mode?), либо они и есть конечное устройство?
Сколько оперативной памяти используется под кэш на стороне сервера?
Какое пространство реальное и доступное (после всех прослоек) у СХД?
Как организована избыточность?
Как и куда делаются бекапы?
Какая ФС используется (и используется ли вообще?) и как настроена (дедап, сжатие (какой алгоритм?), снапшоты, версионность, дефрагментация и т.п.)?
Какая производительность при линейном и случайном r/w, как она меняется с изменением количества очередей?
С какими проблема Вы столкнулись при развертке NAS/SAN дома?


От себя порекомендую использовать FC 8Gb и хранилища с поддержкой образов и SSD-кэша для малой домашней сети. Выбирайте хранилища с 4-мя портами или более, чтобы сэкономить на свитче.
Для большой лучше использовать 2-4 сервера (для бекапов и избыточности) с 32-64Гб памяти, ZFS. Linux. SSD для кэша, MD для RAID, т.к. у аппаратных рейдов не будет доступа низкоуровневым настройкам, а также могут быть проблемы со стабильность. Экспорт образов осуществлять по iSCSI (программный таргет) с бондингом (и iSCSI инициаторы тоже должны иметь бондинг) FCoE, или по чистому FC (программный таргет), если он у Вам уже достался от прошлого хозяина (жены или мамы) или Вы делали его достаточно давно, без оглядки на перспективы ethernet). Если Вы делаете домашнюю SAN на вырост (и Вас уже средний, а не малый бюджет), то используйте 10GbE или IB. Как ни странно, IB (20гбит) может оказаться дешевле, надо считаться для конкретного случая.
В случае использования шифрования не забудьте использовать процессор с аппаратной поддержкой AES. В случае секретных данных (фотографии и бекапы личной переписки) данных шифровать и внутри конечных виртуалок (не AESом).
Также не отказывайтесь от NAS. Но запустите NAS на отдельной виртуалке (можно внутри СХД-сервера).
Не отказывайтесь от использования иных протоколов, но выносите их в отдельные виртуальные машины для безопасности. Например, если Ваша сеть сделана на FC, но не отказывайте себе в iSCSI на нетбуке. Это не так сложно, но даст на 802.11n ощутимые плоды (особенно в случае бондинга адаптеров и hostapd на стороне SAN).

Всё-равно вы будете обрашаться к iso-образам с разных компов, а также к аниме и музыке, одними блочными устройствами SAN не будете сыты.

Не забывайте иметь в запасе пару HBA, особенно с случае FC.