Кто использует fibrechannel (скрипт мониторинга IO perf внутри) ?

О чем вообще вопрос? FC SAN используется всеми заинтересованными лицами уже очень давно (лет 20+) и успешно. Это большая отдельная тема, если в неё погружаться.

Вы лично используете?

https ://raw.githubusercontent.com/ofalk/Scripts/master/fcstats.pl

###############################################################################
#
# fcstats.pl - Display FC host adapter stats
#
# Copyright (c) by  Oliver Falk, 2012-2013
#                   oliver@linux-kernel.at
#
# Changes are welcome, but please inform me about those!
#
###############################################################################

Я правильно понял, ты дал линк на проприетарный код?

Я лично использую.

FC это будни ынтерпрайза
Крутится база и даже раздел для логов
Вряд ли что-то полезное смогу подсказать нищеброду вроде

А что рассказывать-то? Вся инфраструктура на FC, включая ленты и бэкапы. Если и есть в серверах локальные диски, то обычно только парочка в RAID-1 под ОС (в блэйды обычно больше 2-х и не воткнешь), все остальное с SAN, или вовсе без локальных дисков (boot from SAN).
Вот если бы у тебя попросили success-story использования TCP/IP, ты бы что рассказал?
Старая и проверенная временем технология. HP вон вовсю пихает FCoE в свои шасси, скоро наверное будем переходить.

HP вон вовсю пихает FCoE в свои шасси, скоро наверное будем переходить.

Говно какое-то этот flexfabric. С FC точно не стоит переходить.

Зачем ты этот help сюда притащил, тебе дали потыкать san и ты решил выпендриться?

Я правильно понял, ты дал линк на проприетарный код?

Он не проприерарный, но и не GPL.

Зачем ты этот help сюда притащил, тебе дали потыкать san и ты решил выпендриться?

Нет, просто интересно, т.к. в продакшене с FC не работал. Если не считать полтора свитча с библиотекой. Плюс там есть скрипт мониторинга IO по портам, что может быть очень удобно, учитывая, что встроенных утилит для этого нет. Хоть можно через web-интерфейс свитча смотреть.

Вся инфраструктура на FC, включая ленты и бэкапы.

1. Какие ОС?
2.С виндой есть проблемы?
3. Multipath используется?
4. Какое ПО для бекапов используете?
5. Проблемы возникали?
6. Статистику со свитчей собираете?
7. Фенсинг делаете или нет кластерных ФС?
8. Диски распределяете черед ACL хранилища или зонингом?

Крутится база и даже раздел для логов

Что за БД? Какая ОС? БД в кластерном режиме? Раздел для логов - это для бинарных логов БД или для логов приложений? На какой ФС? Проблемы были?

Так какая лицензия? Может его нельзя использовать без особого разрешения?

Понятия не имею, мне пофиг на этот вопрос. Можешь пересать с нуля на питоне, так логика крайне простая.

Говно какое-то этот flexfabric. С FC точно не стоит переходить.

Ух ты. А можно поподробнее? На тестах вроде нормально все.

Откуда столько вопросов?

Тебе уже сказали, что в хранении FC это как стек tcp/ip в сетях, там нет каких-либо значимых проблем - всё работает. И что там по нему бегает абсолютно не важно.

Таки, тред именно для вопросов создан. Особенно интересно по ПО для бекапов. Наверняка, netbackup?

Oracle на ASM + SLES11 + Pacemaker/Corosync, который LVM разделы на ext3 перекидывает между нодами
Проблем не было, это типовой обкатанный скучный солюшен

А зачем Вам ext3+LVM+pacemaker, если есть ASM? Вы там что-то другое храните (логи)?
Каким образом LVM-тома перекидываются? Через cLVM-блокировку и общий ресурс pacemaker?

Да, на LVM хранятся логи, для пары приложений даже есть маленький отдельный раздел с конфигами
Pacemaker активирует и монтирует раздел на активной ноде, т.е. это два ресурса

А зачем ты принес этот cat /sys/class/fc_hosts/host*/* ?

А зачем ты принес этот cat /sys/class/fc_hosts/host*/* ?

Удобный скрипт потому что.

А сколько нод? Или у Вас FC для двух нод?

FC используют 4 двухнодовых кластера, база только на одном из них
Это блейд-сервера, в шасси FC свич совмещён с ethernet свичом

FC используют 4 двухнодовых кластера, база только на одном из них

Кстати, у ASM фенсинг предусмотрен? И как она себя ведет при вываливалии ноды, но до фенсинга (например, GFS2/OCFS2 будут виснуть, а затем, по таймауту, сделают ребут сервера, если фенсинга так и не случится).

Просто непонятно зачем ты так цепляешься именно за фибру, это просто один из многих протоколов блочного доступа - iscsi/fcoe/sas/infiniband/roce/aoe/nbd/...

И зачем привязывать бэкапилку к протоколу тоже не ясно... Есть, конечно, возможность бэкапить прямо со снапшота схд, но это скорее исключение.

Просто непонятно зачем ты так цепляешься именно за фибру, это просто один из многих протоколов блочного доступа - iscsi/fcoe/sas/infiniband/roce/aoe/nbd/...

Потому что мне инетесна именно фибра. NBD работает, кстати, храйне хреново. Ещё есть GNBD. И причём тут ROCE? Это RDMA over ethernet (есть ещё over tcp: iWARP), он сам не умеет блочные устройства шарить. Может Вы про SRP или iSER говорили?

Встречный вопрос: почему Вы не можете ответить на вопросы, ради которых был тред создан? Над Вам NDA висит?

Особенно интересно по ПО для бекапов.

Уймись болезный. Исп. lan-free backup

# rpm -qa | grep lin_tape lin_tape-2.5.0-1.x86_64 lin_taped-2.5.0-1.x86_64

# rpm -qa | grep lin_tapeb
lin_tape-2.5.0-1.x86_64
lin_taped-2.5.0-1.x86_64

Тебе уже привели аналогии - «Success-story TCP/IP». Почему таких тем нет? Потому что оно just works.

Помогали переводить sybase на новое железо у клиента, с железом поставили по факту - вот вам апупительный блэйд с не менее апупительной 10гб адаптером флекс фабрики, мне не удалось добиться вменяемой скорости на 8гб аплинке.
Так-то вроде ничего, жить можно, но в том шасси всего 2 блэйда, и что будет, если воткнуть 16 и всех пустить в san, я даже думать не хочу.

Есть ещё занимательная история, как я пытался завести всё ту же флексфабрику в соляре, и так крутил, и эдак, и с саппортом вместе, сеть работает, а fcoe нет. Потом мне при встрече один господин из хп нашептал, что оно в общем-то not supported.

Тогда тебе читнуть чего надо, а не фигню нерелевантную спрашивать. Вот хорошее начало.

Тогда тебе читнуть чего надо, а не фигню нерелевантную спрашивать. Вот хорошее начало.

PDF-вариант у Вас есть?

сеть работает, а fcoe нет

А программный FCoE тоже не работает? Или в солярке это не поддерживается?

У Вас джаббер есть? Можете ко мне добавиться?

мне не удалось добиться вменяемой скорости на 8гб аплинке.

Ну да, если приходиться шарить пропускную способность между FC и Ethernet, то засада. В Gen9 у HP специально для этого есть опции 20Gb CNA и 20Gb VC-модули. По идее они должны позволять полные 8G для и 12G для Ethernet.
У нас есть парочка шасси с FlexFabric, почти полностью набитых - вроде нормально работает. Правда, там 8G и не нужно никому.

Есть ещё занимательная история, как я пытался завести всё ту же флексфабрику в соляре...

А в HCL железо было? Некоторые FlexLOM'ы видны для ОС как родной FC, может для Солярки такая карточка нужна была.

А программный FCoE тоже не работает? Или в солярке это не поддерживается?

С адаптером flexfabric не работает. В остальном нормально fcoe работает и рулится штатной тулзой fcadm.

PDF-вариант у Вас есть?

Ну вот, приплыли, а сколько пафоса было в том другом треде :D

Не знаю, если gtalk это джаббер, то да, но я давно туда не логинился.

В Gen9 у HP специально для этого есть опции 20Gb CNA и 20Gb VC-модули

Это и был gen9 в шасси с 10gb VC. Но как бы 16гб уже вовсю используется. Если уж converged, то приличные люди по IB делают, ящитаю :)

А в HCL железо было?

Тоже gen9, сначала стоял 20гб, но его заменили на 10гб из-за отсутствия дров под солярис, а потом всплыло, что в HCL солярка вроде как есть, но работает только сеть. Но у хп пока мозгов хватает вставлять вторым расширением qlogic 16гб практически даром, пришлось раскошелить на fc свичи в шасси, клиенты давно хотели, но боялись признаться, а тут такой катализатор.

Не знаю, если gtalk это джаббер, то да, но я давно туда не логинился.

А каким мессейнджером Вы пользуетесь?

Тогда тебе читнуть чего надо, а не фигню нерелевантную спрашивать. Вот хорошее начало.

Страница 74. Как HDD (особенно SATA) подключается сразу к двум экспандерам? Там на каждый диск отдельный свитч-контроллер стоит (вероятно интегрирован внутрь микросхем)?

В SAS-дисках реально 2 порта. В SATA только 1 порт, соответственно подключается только к 1 multiplier'у (экспандер - это в SAS), а перед ним стоит аналог свича (port selector), чтобы 2 HBA могли обращаться к 1 диску.

А можно ссылки по этим двум пунктуам: 2 порта в SAS (а когда они подключаются по одному - то он со сдвоенными линиями?) и SATA-port selector-Multiplier.

Надпись «Dual Port» на SAS-диске - вот и вся ссылка =)
Про Port Selector и Port Multiplier написано в спеке SATA II.

В SATA только 1 порт

В стораджах обычно NL-SAS используют, он же SATA с интерфейсом и набором команд SAS и порта у них тоже два.
Это я к разъяснению ситуации в книжке, о которой ТС спрашивал.