LINUX.ORG.RU
ФорумTalks

Какие СХД Вы применяете дома?

 


0

1

Интересно, какие системы хранения данных (и даже просто файловые сервера) Вы используете дома (или на рабочем месте для десктопа), чтобы выжать максимум IOPS? Применяете ли Вы IB, FibreChannel, FBoE, 10GboE или просто 1Gb bonding? Сколько тыс. $ стоила storage-инфраструктура Вашей домашней сети?

>>>!!! Читайте уже (хотя бы мельком) середину и конец!

Многие могут задаться вопросом: для чего же дома могут быть нужны СХД, когда можно всё реализовать внутри одного компьютера, особенно, учитывая, что в любом современном десктопе 10-12 портов SATA, USB 3.0 только встроенных в материнскую плату, а внутрикорпусные контейнеры позволяют установить до 4 SSD на 5,25" отсек? Ответ может показаться многим начинающим специалистам странным, но он достаточно очевиден: для упрощения менеджмента, снижение (перенос на СХД) издержек IO на конечное оборудование, упрощение масштабирования, повышение отказоустойчивости и производительности.

Ну очевидные примеры:
1. Наверняка у Вас дома более десятка компов. В результате периодически возникают проблемы переноса данных с одного компьютера на другой. Часто для этого мы используем NFS+IPSec (т.к. встроенные средства шифрования NFS слишком сложны в настройке, а доверять собственной сети свою конфиденциальность может только дурак) или SSHFS (из-за её простоты, но производительность ниже плинтуса). В результате файлы раскиданы по куче компьютеров, что совершенно неудобно и приходится тратить много усилий на поиск нужных файлов. В едином NAS такой проблемы не возникло бы.
2. Использование дискового пространства неравномерно (на новый серверах виртуализации места много, а на десктопе как-раз кончилось, хотя срочно нужно закачать over9000 серий амине-сериала в Blueray-образах).
3. Часто (из-за ограниченности бюджета) мы (чего греха таить) экономим на домашних серверах виртуализации и ставим там всего по 16Гб RAM и вообще забывам про кэширующие SSD). Тогда как хотя бы на одном сервере виртуализации они точно есть, а в десктопе их вообще несколько. В результате получается, что ресурсы на серверах большую часть времени не используются, на серверах без SSD мы ждем пока пройдет io в то время, как на десктопе с на части серверов виртуализации SSD практически не используется (в данный момент, т.к. мы ждем и ничего не делаем). Очевидно, что если бы все компьютеры использовали бы единую дисковую подсистему (с разделением областей дискового пространства и разграничением прав доступа, конечно), то SSD-кэш покрывал бы операции с любого компа, если было бы в среднем больше на машину, машина с активном io могла бы использовать больше кэш, кэш был бы ещё и на СХД, плюс единое пространство HDD.
4. Простота масштабирования. Купили ли Вы новый комп, хард или SSD, с СХД не надо думать, как правильно распределить дисковые ресурсы, их всегда можно будет перераспределить программно за считанные секунды. На новых системах (или при перестановке старых) больше не надо утомительно настраивать RAID и SSD-кэш, просто загрузиться с SAN и всё.
5. Простота бекапов. Бекапы крайне просто делать, т.к. можно использовать COW и образы, а также подмонтировать снапшоты прямо на СХД. Мало того, фоновый бекап на другую домашнуюю СХД не будет занимать ресурсы, как это было в случае с бекапами напрямую с компьютеров.
6. Производительность не деградирует при частом использовании снапшотов, дедупликации или версионных ФС из-за использования огромных кэшей.
7. Упрощается менеджмент домашней сети. При покупке новых компьютеров из можно загрузить из скопированных образов дисков на СХД, как в случае с виртуализацией. С использованием Intel AMT или настройки через DHCP можно вообще не отрывать зад от кресла после подключения проводов. Также легко решаются любые проблемы ПО откатом на предыдущий снапшот, сделанный на СХД. Управлять физической инфраструктурой теперь становится почти так же просто, как виртуальной.

Теперь у меня вопросы к уважаемому читателю:
NAS (NFS?) или SAN (iSCSI, FC, FCoE, FCoIB, AoE, nbd, drbd) Вы используете?
Каким образом осуществляете первичную загрузку (grub на флешке, диске прямо в десктопе, PXE, iSCSI boot, FC boot)?
Каким образом осуществляете вторичную загрузку (когда монтируется rootfs)? Используете ли Вы аппаратные или программные инициализаторы (особенно в случае FCoE и iSCSI)? Какие скрипты initrd Вы используете (RH dracut, ubuntu initramfs, gentoo genkernel)?
Используете ли Вы TOE в случае наличия TCP-IP в Вашей архитектуре?
Используете ли бондинг (программный или аппаратный)?
Какая модель Вашего (Ваших) HBA?

Что выступает в роли таргета/сервера?
Специальная ли эта проприетарная (аппаратная) СХД или обычный сервер?
Используются ли SSD (какого типа flash?) и используются ли они как прослойка кэша (rw или r mode?), либо они и есть конечное устройство?
Сколько оперативной памяти используется под кэш на стороне сервера?
Какое пространство реальное и доступное (после всех прослоек) у СХД?
Как организована избыточность?
Как и куда делаются бекапы?
Какая ФС используется (и используется ли вообще?) и как настроена (дедап, сжатие (какой алгоритм?), снапшоты, версионность, дефрагментация и т.п.)?
Какая производительность при линейном и случайном r/w, как она меняется с изменением количества очередей?
С какими проблема Вы столкнулись при развертке NAS/SAN дома?


От себя порекомендую использовать FC 8Gb и хранилища с поддержкой образов и SSD-кэша для малой домашней сети. Выбирайте хранилища с 4-мя портами или более, чтобы сэкономить на свитче.
Для большой лучше использовать 2-4 сервера (для бекапов и избыточности) с 32-64Гб памяти, ZFS. Linux. SSD для кэша, MD для RAID, т.к. у аппаратных рейдов не будет доступа низкоуровневым настройкам, а также могут быть проблемы со стабильность. Экспорт образов осуществлять по iSCSI (программный таргет) с бондингом (и iSCSI инициаторы тоже должны иметь бондинг) FCoE, или по чистому FC (программный таргет), если он у Вам уже достался от прошлого хозяина (жены или мамы) или Вы делали его достаточно давно, без оглядки на перспективы ethernet). Если Вы делаете домашнюю SAN на вырост (и Вас уже средний, а не малый бюджет), то используйте 10GbE или IB. Как ни странно, IB (20гбит) может оказаться дешевле, надо считаться для конкретного случая.
В случае использования шифрования не забудьте использовать процессор с аппаратной поддержкой AES. В случае секретных данных (фотографии и бекапы личной переписки) данных шифровать и внутри конечных виртуалок (не AESом).
Также не отказывайтесь от NAS. Но запустите NAS на отдельной виртуалке (можно внутри СХД-сервера).
Не отказывайтесь от использования иных протоколов, но выносите их в отдельные виртуальные машины для безопасности. Например, если Ваша сеть сделана на FC, но не отказывайте себе в iSCSI на нетбуке. Это не так сложно, но даст на 802.11n ощутимые плоды (особенно в случае бондинга адаптеров и hostapd на стороне SAN).

Всё-равно вы будете обрашаться к iso-образам с разных компов, а также к аниме и музыке, одними блочными устройствами SAN не будете сыты.

Не забывайте иметь в запасе пару HBA, особенно с случае FC.

☆☆☆

Последнее исправление: ktulhu666 (всего исправлений: 3)
Ответ на: комментарий от winddos

Роутер вдруг затупил из за того, что какой то друг принес ноут с utorrent и подрубился - сеть лежит

Можно пример такого роутера?А то я что-то таких уже лет 5 не видел.

Deleted
()
Ответ на: комментарий от Deleted

А ты попробуй подконектится к скажем 10-20 раздачам, где по 5к пиров и пораздавать там.
Все домашние роутеры которые я видел от этого ставали раком, даже если через ethernet подключение.

А вообще я непонятно написал: речь о wi-fi.

winddos ★★★
()
Ответ на: комментарий от no-dashi

Судя по этой и другим темам ТС, где-то так всё и было

redgremlin ★★★★★
()
Ответ на: комментарий от winddos

А ты попробуй подконектится к скажем 10-20 раздачам, где по 5к пиров и пораздавать там.

Да ладно, у меня все раздачи такие. Только я ограничиваю торрент-клиенту отдачу в 500к, а то система подтормаживает.

При всем этом load на роутере никогда не видел выше 0.2

vurdalak ★★★★★
()
Ответ на: комментарий от vurdalak

Ну я добрый саморитянин и обычно раздаю x10 перед тем как уйти с раздачи, а те где пиров мало вообще оставляю висеть.
Так вот от 80 мегабит на выход, мой неслабый Netgear 3500Lv2 начинает тупить.

PS: Плюс у меня в фоне i2p крутится и ещё пара p2p приложений. Но от торрентов по wi-fi реально вешается роутер, может это проблема прошивки конечно, но в остальном она идеальна.

winddos ★★★
()
Последнее исправление: winddos (всего исправлений: 1)

В прихожей живет системник с тремя терабайтными хардами, на них маленький md-raid 1 c debian и большой md-raid 5, на raid 5 зашифрованный контейнер, в контейнере lvm, самый большой логический том раздается по nfs под общую файлопомойку, другие логические тома раздаются как iSCSI-target'ы для виртуалок и сетевой загрузки. Рабочая станция грузится по pxe, получает с сервера предварительно собранный образ загрузчика ipxe, который цепляет iscsi, с iscsi грузится syslinux, который грузит систему, рамдиск которой собран с hook'ом, который еще раз запускает openiscsi-инитатор в процессе загрузки. Все это каким-то чудесным образом работает по одному гигабитному ethernet, выдает до 30МБ/c при чтении/записи с рабочей станции.

Deleted
()
Ответ на: комментарий от winddos

Вот насчет wifi не знаю, не пробовал через него торренты раздавать. Я через проводок, напрямую.

vurdalak ★★★★★
()
Ответ на: комментарий от Deleted

Весьма интересно, Вы тут один из немногих адекватных людей, которые вообще разбираются в своей любимой сфере, а не делают вид. Джаббер с Вашего сайта активен, можно Вас добавить в КЛ?

Что касается 30Мбит/сек - что-то неправильно настроено. Либо у Вас COW на хардах там, где не надо, либо шифрование на говноатоме, либо что ещё. Гигагбит должен около 110-120Мбайт в сек выдавать, но как не 30. И харды так сильно не должны тормозить.

И ещё - Вы используете MD, верно? Вы увеличивали кэш MD для снижения влияния рассинхронизации шпинделей? Write intent bitmap твикнут? Chunk size более 64кб? По сколько ГБ lvm-разделы в рейдах? Предусмотрена ли избыточность всей NAS/SAN (резервный линк, резервный сервер)?

RAID 5 не рекомендую. Были случаи, когда во время перестроения на новый хард (когда старый скопытился) вылетал ещё один. Используйте RAID 6 + hotswap, если данные критичны.

Почему Вы так извращаетесь с загрузкой? Купите (можно даже б/у) карту с dual-port ethernet и поддержкой iSCSI offload. Там обычно есть iSCSI boot, в энтерпрайзе это неудобно для сотен серверов, но для дома куда проще, чем держать отдельное ядро, initramfs, pxe, спец dhcp и т.д. Там просто указывается в виосе карточки таргет и всё грузится с него. Далее либо используете аппаратный проброс через карточку, либо поднимаете полностью программный инициатор. Но даже с программным инициатором на кой хрен нужно делать хуки? Есть же dracut, который умеет iSCSI из коробки.

ktulhu666 ☆☆☆
() автор топика
Ответ на: комментарий от Deleted

Сервер с рейд1 + бэкапы на NAS

В данном случае NAS - это такая мелкая коробка от WD с ethernet? Или тоже сервер?

ktulhu666 ☆☆☆
() автор топика
Ответ на: комментарий от winddos

Так вот от 80 мегабит на выход, мой неслабый Netgear 3500Lv2 начинает тупить.

У Вас используется L2TP/PPTP/PPPoE? Если да, то советую перелезть на PC-роутер. При 80мбит на выход (да вход, так понимаю, так же) ему будет проблемно справляться и с туннелем, и натом, и через iptables всё прогонять. Плюс функционал pc-роутера на порядки больше.

ktulhu666 ☆☆☆
() автор топика
Ответ на: комментарий от bhfq

ога соединил два пк одним маршрутизатором которые никуда больше не могут доступиться и обязательно поднять 512 битное шифрование, а то НЛО к твоему сетевому кабелю подключатся.

Это у Вас два компа. У меня же их далеко не два, есть ещё и виртуалки, причём с виндой, в которых бывают и трояны, и вирусня, причём тут уж ничего не поделаешь - варез есть варез. Поэтому VLANы и IPSec в особо важных случаях. Если Вы не в курсе, то даже вланам доверять нельзя, т.к. может быть что-то неверно настроено (не обязательно сейчас, можно потом такую ошибку допустить), в результате чего управляющий или транковый трафик будет доступен непривилегированной машине. Плюс ни раз были кривые реализации VLAN, где спецально сформированным пакетом можно было покинуть VLAN и попасть в транк (но это уже больше паранойя, т.к. обратно то кадр пойдет как надо). Плюс лично у меня большая часть машин имеет доступ и транкам, а к самим ограниченным VLANам подключаются только конечные виртуалки. В результате, если злоумышленнику удастся покинуть виртуалку и захватить хост, то он получит доступ ко всем транками хоста, что не хорошо.

ktulhu666 ☆☆☆
() автор топика
Ответ на: комментарий от amorpher

ЪПельмени должны быть из медвежьего (ну лосиного) мяса

Я подобный кал в пищу не употребляю.

если ты ещё не знал, пепси-кола.

Чо?

IPR ★★★★★
()
Ответ на: комментарий от ktulhu666

Нет, PPPoE.
Тупит именно из за торрент-трафика и количество открытых коннектов.
Т.е i2p + торрент это до 15000 открытых соединений одновременно, кажется это очень много для такой железки.

Т.е со своих серверов и на свои сервера я без проблем качаю на 100 мегабит одновременно, и все нормально..
Но у меня все же не циска за 9000 баксов, а скромный роутер выбранный лишь потому, что у него внутри 128 мегабайт оперативки и встроенной памяти.

winddos ★★★
()
Ответ на: комментарий от IPR

Я подобный кал в пищу не употребляю.

точно пепси
//сожалею Родине и людям её населяющих :(

amorpher ★★★★★
()
Последнее исправление: amorpher (всего исправлений: 2)
Ответ на: комментарий от ktulhu666

[офтоп]Ты кстати пробросом PCI-e видеокарт не игрался под KVM/XEN?

А то у меня есть идея провести безумный тест: взять материнку с двумя сокетами, вставить в неё два мощных процессора, кучу оперативки и 4 хорошие видеокарты.
Ну и потом попробовать сделать 4 виртуалки с виндами/линуксами и потестить внутри производительность разных приложений и игр.

Но увы проконсультипроваться по вопросу приобритений железа можно видимо только в списке рассылки.

Не? А то других безумцев на ЛОРе вроде как не видел.[/офтоп]

winddos ★★★
()
Ответ на: комментарий от ktulhu666

Почему Вы так извращаетесь с загрузкой? Купите (можно даже б/у) карту с dual-port ethernet и поддержкой iSCSI offload.

В материнской плате нет даже потенциально свободных слотов под нее.

Используйте RAID 6 + hotswap, если данные критичны.

Не на столько критичны, чтобы покупать четвертый хард и пересобирать массив, по крайней мере, пока целы все харды в пятом.

И ещё - Вы используете MD, верно? Вы увеличивали кэш MD для снижения влияния рассинхронизации шпинделей? Write intent bitmap твикнут? Chunk size более 64кб?

Никаких твиков не делал.

По сколько ГБ lvm-разделы в рейдах?

user@server:~$ sudo lvdisplay | grep Size
  LV Size                150,00 GiB
  LV Size                40,00 GiB
  LV Size                1,35 TiB
  LV Size                89,98 GiB

Предусмотрена ли избыточность всей NAS/SAN (резервный линк, резервный сервер)?

Избыточность предусмотрена только в плане кучи свободного места на файлопомоечном томе в 1,35 TiB.

Что касается 30Мбит/сек - что-то неправильно настроено. Либо у Вас COW на хардах там, где не надо, либо шифрование на говноатоме, либо что ещё. Гигагбит должен около 110-120Мбайт в сек выдавать, но как не 30. И харды так сильно не должны тормозить.

Шифрование на старом говноселероне, они и локально на сервере не намного быстрее работают.

Весьма интересно, Вы тут один из немногих адекватных людей, которые вообще разбираются в своей любимой сфере, а не делают вид. Джаббер с Вашего сайта активен, можно Вас добавить в КЛ?

Я скорее не разбираюсь, а обладаю поверхностными знаниями во многих областях и иногда могу произвести обманчивое впечатление =). В КЛ добавить конечно можно, для этого в профиле и висит ссылка на сайт с контактами.

Deleted
()

Ну и вообще интересно, насколько честно XEN может делить ядра процессора, особенно интеловских у которых ядра вроде как не совсем одинакого работают.
Особенно на бытовых задачах, а не серверных.

winddos ★★★
()
Ответ на: комментарий от winddos

Ну, во-первых, «сеть лежит» - это обычно подразумевается локалка. В роутерах уже давно свичи аппаратные и не зависят от нагрузки роутера. Wi-Fi, кстати, тоже последнее время стали делать аппаратные, что радует.

Deleted
()
Ответ на: комментарий от ktulhu666

Мне не принципиально, просто под XEN я уже видел рабочие конфиги с пробросом видеокарты.
По сути меня волует вот что: реально ли запустить 4 тяжелых 3D приложения на одной железяке используя виртуализацию

Просто мне нужен мультисит для 4 пользователей у которых будет крутится ресурсоемкий 3D софт.
На реализацию Linux-way я уже посмотрел и он мне не нравится.
Вырисовывающееся наколенное решение с одним линуксом и 4 иксами (на каждый инстант по видеокарте) работает плохо и нестабильно.
Плюс бардак получается везде: сеть, процессор, нагрузка на диск.
Можно конечно строчить багрепорты и службу поддержки блобов, но я не верю что проприетарщики мне быстренько сделают конфетку из коричниевой субстанции.

Но с виртуализацией не ясно:
1 - Какой нужен набор железа чтобы вообще работал VT-d?
2 - Какие именно видеокарты получится пробросить, какие нет и почему?
3 - Реально ли вообще сделать 4 виртулаи с пробросом и хост без видеокарты?
4 - Как сделать чтобы хост работал не в ущерб одной из виртуалок?
5 - Сколько хост вообще будет жрать? Придется ли ему выделять своё ядро?
В общем есть одни вопросы, причем многие нубские, т.к я просто колдую над своими идеями, а не занимаюсь мега интерпрайзом.

winddos ★★★
()
Ответ на: комментарий от Deleted

В роутерах уже давно свичи аппаратные и не зависят от нагрузки роутера.

Видимо я из криокамеры :(

winddos ★★★
()
Ответ на: комментарий от winddos

Так надо купить с аппаратным оффлоадом роутер. У него есть, конечно, минусы, например, отсутствие нормального QoS, но PPPoE сейчас оффлоадится довольно хорошо.

Deleted
()
Ответ на: комментарий от ktulhu666

Используйте RAID 6 + hotswap

hotspare может быть?

Deleted
()
Ответ на: комментарий от ktulhu666

Что касается 30Мбит/сек - что-то неправильно настроено.

Сразу не разглядел, я писал про 30 МБ/c, т.е. 30 мегабайт в секунду.

Deleted
()
Ответ на: комментарий от Deleted

Прошу прощения - это я ошибся: 30Мбайт/сек - это слишком мало. Должно быть около 110-120 Мбайт в сек (1Гбит/8=128Мбайт). В Вас где-то бутылочное горлышко либо жуткие потери на кабеле.

ktulhu666 ☆☆☆
() автор топика
Последнее исправление: ktulhu666 (всего исправлений: 2)
Ответ на: комментарий от winddos

Мне не совсем понятен смысл такого нищебродства. Я ещё понимаю мультисит внутри винды, там это надо, чтобы обманывать программы и покупать только одну лицензию. Но тут то зачем?

1. Мать с поддержкой vt-d/IOMMU (правильнее последнее, но часто маркетоиды считают иначе) и проц с поддержкой vt-d. В случае с процом смотрите на интеле (не забудьте, что у некоторых процов могут быть разные ревизии). Не забудьте отдельно загуглить про конкретную мать, т.к. иногда там IOMMU только для галочки, чтобы вызовет попоболь после покупки.
2. Любые современные. Но лучше предварительно погулить на эту тему, либо четко знать, что деньги вернут или обменяют на другую. Видеокарты используют немного нестандартный PCI-e обмен, поэтому они и были последними добавлены в Xen/KVM.
3. Можно (даже с интегрированным интелом), но лучше достать на барахолке PCI-карту, либо сделать 5 карт. Это сильно снизит гемор.
4. В случае Xen хост - такая же виртуалка, которую можно шаманально (цензура) ограничить в оперативе и циклах проца. С дисковой подсистемой разбираться нужно уже на хосте через cfq-группы или cgroups. В случае KVM не скажу, но очевидно, что тоже можно. Да и зачем Вам ограничивать хост? Если нужно на нём ещё-то что-то делать, то создайте пятую виртуалку.
5. Сколько хост вообще будет жрать? Придется ли ему выделять своё ядро?
Для IOMUU, виртуализации проца и памяти почти нисколько, т.к. аппаратно сделано. В случае storage IO используйте virtio, в случае net что-то там тоже аналогичное. В общем, нужно использовать паравиртуализированные устройства, а не эмулируемые. Тогда сильно много жрать не будет. Точно сказать не могу, т.к. я хз, что Вам надо. Для крузисов городить такую хрень глупо, если у Вас не 2-4 проца (а в этом случае отдельные машины будут дешевле или также выдут), для бухов - поставьте старые говнокомпы или терминалы, для дизайнеров фотожопов очень даже подойдет, для 3дс макса - только при хорошем проце и большом кол-ве оперативы, и то рендеринг нужно выносить на другую машину.

Но мне кажется, что игра тут не стоит свеч, если делается для энтерпрайза. Если для дома с целью экономии, то да.

ktulhu666 ☆☆☆
() автор топика
Ответ на: комментарий от ktulhu666

Железо не вытягивает шифрование. Запускаю на сервере dd if=/dev/zero bs=32M | pv | dd of=/files/testfile bs=32M и вижу 35Мбайт/сек, при этом в соседнем терминале вижу как индикатор загрузки CPU в htop превращается в большую красную полоску.

Deleted
()
Ответ на: комментарий от Deleted

в большую красную

Нет, не полоску ;)
Как врач, выписываю Вам шопинг один раз в день в течении недели, чтобы избавиться от недуга тормозов.

ktulhu666 ☆☆☆
() автор топика
Ответ на: комментарий от ktulhu666

Займусь этим сразу после выполнения квестов по написанию диплома и поиска новой работы.

Deleted
()
Ответ на: комментарий от Deleted

Правильно расставляйте приоритеты. Здоровье, деньги и производительность куда важнее какой-то бумажки, которой в нашей стране только подтереться можно.

ktulhu666 ☆☆☆
() автор топика
Ответ на: комментарий от ktulhu666

NAS wd my book live
Сервер из десктопа

Мои доходы пока не позволяют заиметь нормальное оборудование.

Deleted
()
Ответ на: комментарий от Homura_Akemi
Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! Привет, лейн! 
slackwarrior ★★★★★
()
Ответ на: комментарий от slackwarrior

Я в курсе здешних традиций за последние 5-6 лет и некоторых более ранних, не обращайте внимания на дату регистрации.

Homura_Akemi
()
Ответ на: комментарий от Homura_Akemi

Я не обращаю. Вас это беспокоит?Ладно, проехали :)

slackwarrior ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.