LINUX.ORG.RU
ФорумAdmin

DRBD актив-актив в продакшене у толковых парней, помогите советом


0

0

Добр день. Хочется услышать совет от толковых парней использующих DRBD в продакшене.

О drbd думаю в разрезе отказоустойчивого общего стоража для ESXi. Познания о drbd только чисто теоретические. Интересная штука DRBD, но все с кем общался, использовали primary - slave и отказались от DRBD в следствии низкой производительности на запись. Но никто (из знакомых) не пробовал вариант актив-актив на запись.

О проблеме низкой производительности на запись сложилась следующая картинка. Cогласно документации запись на примари ноде считается завершенной (при использовании безопасного протокола C) только тогда, когда вернется ответ от вторичной ноды о том, что блок данных был записан. Четыре узких места - дисковая на ноде, латентность линка для реплики, дисковая на второй ноде, снова латентность линка для реплики.

Как улучшить производительность дисковой вопросов не вызывает. Вопрос в производительности линка для реплики. Гигабит имхо избыточен для линка (только для первичной репликации будет явное преимущество), главное обеспечить низкую латентность Имеет ли смысл поставить двухпортовую сетевую карту на каждую ноду, бондинг Round robin + свич с Port trunking? Bonding опять же знаком теоретически, потому не все понятно - будет ли первый пакет - налево, второй пакет направо, учитывая что бндинг будет с обоих сторон?

Имеет ли смысл использовать оптические карты для линка репликации (в каждую ноду по карте и соединить их кросом) или изменение физической среды не принесет профита?

На одном из форумов предложили вариант drbd актив-актив + кластерная фс + loopback device + iscsi + vmfs Оч много прослоек, имхо скажется на цпу, но для современных процов это не смертельно. На запись производительность опять же упрется в латентность линка для реплики. Будет ли возможно чтение с обоих нод (в варианте актив-пассив читает только с актив ноды по понятным причинам)? При условии что данные запрошенные для чтения уже реплицированы)

Если у кого есть опыт использования и желание ответить - прошу, не стесняйтесь ))


Ответ на: комментарий от DALDON

>Да. Чтобы не ждать пока там счёт оплатят, пока привезут, это порядка двух - трёх недель. Сами понимаете, пока мне загорелось уже довести дело до конца, и хоть чего-то получить.

знакомо ))

Я думаю иначе, профит будет вот в чём: как я понимаю каждое изменение отражается в meta-data области, и получается что головка диска лишний раз «отвлекается». Можно для meta-data включить кеш, но опять же не по соображенем надёжности делать этого не хочется.

правильно думаете про позиционирование головки. выигрыш в «классической» ситуации (когда снижается колво перемещений, на минус один) становится заметным когда запросов ОЧЕНЬ много, современные винты весьма шустро работают, с ата профит был бы больше, в случае сата2, где прошивка уже заточенна под бОльшие дисковые очереди более отзывчивы под нагрузку.

но второй профит - это действительно мощща, прямо в корень зрите! только ради этого уже стоит выносить мета-данные.

cirill
() автор топика
Ответ на: комментарий от cirill

Пока не до этого проекта. Сейчас заказал сетевые карты 1гб/сек PCI-e проверим отличие на практике, заказал сразу 4-ре штуки, в планах бондинг на гигабите, но блин, нету на моей мамке двух PCI-e слотов. С сотками пока не мутил. Так-как ещё HDD заказал. В общем чутка позже может чего ещё путного отпишу.

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

ждем!

Именно ввиду того что PCI-e слоты 2 штука на маме - это уже дорого, интересно рассматривать варианты с 3-4 100 мбпс сетевухами, совсем бюджетно ) Либо нужно покупать quad сетевые карты - чтоб сразу 4 входа было ) но такая штука в районе 10к рублей будет стоить.

cirill
() автор топика
Ответ на: ждем! от cirill

Приехало ко мне железо.

Закуплены НЖМД, и сетевые платы.

Завтра планируется: Установка PCI-e карт, и тестирование скорости.

Создание mode 0 из двух гигабитных карт. Только один обломчик... Буду делать на Д-линк PCI + Inetl (PCI-e), думаю, что должно получится, ибо как я понимаю бондинг находится выше драйверов, и ему нету дела на чём физически бегать?

Очень извиняюсь, но боюсь, что реально не получится тест на 100 мб/сек картах, потому как нету времени. Меня начали уже торопить. :(

Но попробую на гигабите бондинг, отпишусь!

Но потом может таки получится, бондинг на сотках. Но это не определённо когда.

Пишите!

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

P.S. я купил четрые карточки, но на одной МП в ноде нету двух PCI-e слотов... А одну МП я поменял уже на одной из нод. Потом поменяю и вторую, но это опять же потом.

DALDON ★★★★★
()
Ответ на: комментарий от cirill

Итак: результаты таковы.

Покрайней мере у меня, на моём железе. Всё довольно уныло.

INTEL сеетвые карты PCI-e, дают также 480 mb/sec. Т.е. скорость аналогичная скорости PCI карт.

bonding режим: round-robin, дал результат: порядка 860 mb/sec. Уменьшение лейтенси пока не тестировал, буду перечитывать Ваши сообщения, протестирую.

Спрашивайте.

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

И таки да: узнал я про аналогичные решения от VMWARE и сторадж начального и среднего уровней - фибрел чанел, все пироги. Мне предложили цены: Мне ещё нужен софт для бекапа SAP R/3 инстанции, в общем от EMC^2 голое железо: около 80 тыс. у.е. без ПО. Средний сторадж ещё больше. Порядка 100 тыс. у.е.. ПО VMWARE не считал сколько стоит. Т.к. начальник сказал, что железо уже слишком дорогое - пока нету таких денег.

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

сетевые карты в фуллдуплексе работают? а то 480 как то мало (

вообще производительность сторажей меряют с помощью iometer

http://forum.ixbt.com/topic.cgi?id=66:2208 - здесь меряют производительность всяческих сторажей, помоему даже пару-тройку полок тестировали

затестите согласно предлагаемой методике стораж при одном линке и при бондинге - по вышеупомянутому линку иногда пишут про реальные нагрузки, можно сравнить и понять какого уровня система получилась.

cirill
() автор топика
Ответ на: комментарий от cirill

>сетевые карты в фуллдуплексе работают?

Светодиоды FullDuplex горят. Специально не проверял и не включал/отключал ничего. — Также разберусь с этим вопросом, но скорее всего всё в порядке в этом деле.

Про остальное понял. Буду в Пн-Вт. продолжать.

DALDON ★★★★★
()
Ответ на: комментарий от cirill

И если интересуют попозиционные цены на железо от EMC^2, могу выложить часть КП в виде картинки куда-либо?

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

не, спасибо. очень часто предложения сделанные для одного клиента отличаются от цен сделаных другому клиенту. опять же зависит от времени, была как то закупка серверов и попали на закрытие квартала, менеджеру нужно было срочно-срочно продать чтолибо, скидка была 50 процентов от прайс цены )))

cirill
() автор топика
Ответ на: комментарий от cirill

Пока руки до iometer не дошли, но результат всё равно плачевный... WinXP самая простая устанавливалась 62 минуты от первого запуска с iso образа до появления раб. стола. Без drbd ставится за 20 минут.

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

Добр день. может проблема еще и в производительности системы виртуализации? kvm используете? iso образ где лежал, на том же хосте?

20 минут установка - это на том же голом железе? имхо за 20 минут это только на очень быстрых дисках устанавливается, при этом iso должна лежать на другом физическом диске.

у меня в ESXi установка обычно длится в районе 40 минут, но iso образ при этом прицелен по сети (100 мбпс)

имхо правильно сделать следующим образом измерить iometer нагрузку на raw диск потом измерить iometer нагрузку этом же диске с drbd (линк реплики между нодами - 1 штука) потом измерить iometer нагрузку этом же диске с drbd (линк реплики между нодами - 2 штука в бондинге)

таким образом будут получены «чистые» результаты, ибо не будет допфакторов, типа накладных расходов на виртуализацию )

cirill
() автор топика
Ответ на: комментарий от cirill

Блин, уж очень замороченный iometer, под Linux так особенно... Dynamo это как я понял. Прочитаю ссылку на форум что мне дали, может найду чего готовое, ибо по мануалам долго придётся осваивать - времени нету на это. Да + оно ещё под Linux как я понимаю 2006 года. + В репах нету.

Теперь ответы на вопросы:

20 минут установка - это на том же голом железе?

Нет. Установка на KVM, только образ VM лежит на /dev/sdX диске.

20 минут всё же я нагнал скорее всего. Сейчас буду проверять точное время.

Однако в proxmox в Web интерфейсе есть график показывающий задержку i/o так, вот при использовании drbd показывается задержка 45-65%, без drbd 35% - МАКСИМУМ.

Образ iso с OC во всех тестах лежит на физически другом SATA HDD.

Значит сейчас точно замерю время чистой установки WinXP без drbd. И чтобы быть точным скажу.

Теперь о возможно хорошем: скорость копирования одного большого файла на раздел drbd с ext3 возрасла до 38-40 мегабайтов в сек. (смотрел в mc) - напомню, что без bonding было 23 кажется.

Теперь о возможно плохом: на той Windows что на drbd я поднял MSSQL 2000 и в неё заливал базу 1С 7. Так вот в момент заливки я смотрел скорость через trafshow. Она была порядка 2-3 мегабайта в сек. И база заливалась ну очень долго. Там правда ошибка в этой базе, и она не заливается доконца, поэтому проверить без drbd эту же процедуру пока не могу, надо решить там проблемку. - Тест с заливкой более одекватен нежели тест iometer ИМХО. Опять же я это делаю внутри KVM, надо попробовать virtio, хотя Вас это не волнует. Вам важна производительность самих реплицируемых дисков. Так вот пока ИМХО такое, что на мелких файлах оно не очень... :( В общем буду iometer пробовать на raw девайсе.

DALDON ★★★★★
()
Ответ на: комментарий от cirill

И так:

Во всех случаях была ext3 с умолчательными настройками.

В первом случае образ лежал ещё и на LVM, то есть без LVM было бы 16 или 15 минут.

Во втором случае LVM не было.

KVM: образ диска iso лежит на другом HDD.

rate пробовал различный.

Тест - 1:

образ VM лежит на HDD без drbd. Время установки от первой вставки компакт диска WinXP (iso) до появления рабочего стола: 17 минут.

Тест - 2:

образ VM лежит на HDD с drbd. Время установки от первой вставки компакт диска WinXP (iso) до появления рабочего стола: 62 минуты.

Конфиг drbd:

global {

usage-count yes;

}

common {

protocol C;

syncer { rate 110M; }

disk { on-io-error detach;

no-disk-flushes;

no-md-flushes;

}

}

resource r0 {

startup {

wfc-timeout 20;

degr-wfc-timeout 10;

become-primary-on proxmox-52;

}

on proxmox-52 {

device /dev/drbd1;

disk /dev/sdb1;

address 10.0.0.1:7789;

meta-disk /dev/hda1[0];

}

on proxmox-53 {

device /dev/drbd1;

disk /dev/sdb1;

address 10.0.0.2:7789;

meta-disk /dev/hda1[0];

}

}

Линк две сетевые карты по 1GB/sec. Bonding режим rr.

Вывод ifconfig:

proxmox-52:~# ifconfig

bond0 Link encap:Ethernet HWaddr 00:1e:58:aa:7b:97

inet addr:10.0.0.1 Bcast:10.255.255.255 Mask:255.0.0.0

inet6 addr: fe80::21e:58ff:feaa:7b97/64 Scope:Link

UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1

RX packets:6878954 errors:0 dropped:0 overruns:0 frame:0

TX packets:6914800 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:0

RX bytes:594002538 (566.4 MiB) TX bytes:8600088899 (8.0 GiB)

eth0 Link encap:Ethernet HWaddr 00:24:21:21:18:d6

inet6 addr: fe80::224:21ff:fe21:18d6/64 Scope:Link

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

RX packets:1206638 errors:0 dropped:0 overruns:0 frame:0

TX packets:719958 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:1000

RX bytes:672073071 (640.9 MiB) TX bytes:266308318 (253.9 MiB) Interrupt:74 Base address:0x8000

eth1 Link encap:Ethernet HWaddr 00:1e:58:aa:7b:97

UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1

RX packets:3439467 errors:0 dropped:0 overruns:0 frame:0

TX packets:3428505 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:1000

RX bytes:303687942 (289.6 MiB) TX bytes:4251662989 (3.9 GiB) Interrupt:177

eth2 Link encap:Ethernet HWaddr 00:1e:58:aa:7b:97

UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1

RX packets:3439487 errors:0 dropped:0 overruns:0 frame:0

TX packets:3486295 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:1000

RX bytes:290314596 (276.8 MiB) TX bytes:4348425910 (4.0 GiB) Memory:fe9e0000-fea00000

lo Link encap:Local Loopback

inet addr:127.0.0.1 Mask:255.0.0.0

inet6 addr: ::1/128 Scope:Host

UP LOOPBACK RUNNING MTU:16436 Metric:1

RX packets:45046 errors:0 dropped:0 overruns:0 frame:0

TX packets:45046 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:0

RX bytes:11866121 (11.3 MiB) TX bytes:11866121 (11.3 MiB)

venet0 Link encap:UNSPEC HWaddr

00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00

UP BROADCAST POINTOPOINT RUNNING NOARP MTU:1500 Metric:1

RX packets:0 errors:0 dropped:0 overruns:0 frame:0

TX packets:0 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:0

RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)

vmbr0 Link encap:Ethernet HWaddr 00:24:21:21:18:d6

inet addr:192.168.1.52 Bcast:192.168.1.255

Mask:255.255.255.0

inet6 addr: fe80::224:21ff:fe21:18d6/64 Scope:Link

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

RX packets:646283 errors:0 dropped:0 overruns:0 frame:0

TX packets:450204 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:0

RX bytes:73834741 (70.4 MiB) TX bytes:245347944 (233.9 MiB)

vmtab112i0 Link encap:Ethernet HWaddr de:6f:9b:43:de:96

inet6 addr: fe80::dc6f:9bff:fe43:de96/64 Scope:Link

UP BROADCAST RUNNING PROMISC MULTICAST MTU:1500 Metric:1

RX packets:99 errors:0 dropped:0 overruns:0 frame:0

TX packets:2037 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:500

RX bytes:13486 (13.1 KiB) TX bytes:265939 (259.7 KiB)

Вывод: drbd на мелких файлах, т.е. частые операции ввода/вывода по крайней мере при моём файле конфигурации, показывает ОЧЕНЬ плохие результаты - замедление в 3,6 раза. Как дальше жить..? И что делать?

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

Тест - 3:

На одной из нод поднят nfs, на другой примонтирован. Через бондинг всё.

Время установки от первой вставки компакт диска WinXP (iso) до появления рабочего стола: 35 минут.

iso образ был доступен локально. На той ноде с которой велась установка.

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

Разумеется используя drbd получаем проигрыш в записи. Зато читаем локально... По nfs пишем/читаем по ЛВС. Т.е. скорость чтения будет ниже в сравнении с drbd.

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

>Теперь о возможно плохом: на той Windows что на drbd я поднял MSSQL 2000 и в неё >заливал базу 1С 7. Так вот в момент заливки я смотрел скорость через trafshow. Она была >порядка 2-3 мегабайта в сек. И база заливалась ну очень долго. Там правда ошибка в этой >базе, и она не заливается доконца, поэтому проверить без drbd эту же процедуру пока не >могу, надо решить там проблемку. - Тест с заливкой более одекватен нежели тест iometer >ИМХО. Опять же я это делаю внутри KVM, надо попробовать virtio, хотя Вас это не >волнует. Вам важна производительность самих реплицируемых дисков. Так вот пока >ИМХО такое, что на мелких файлах оно не очень... :( В общем буду iometer пробовать на >raw девайсе.

вы провели чистый эксперимент, вообщем то можно не заморачиваться с установкой iometer, iometer позволил бы избежать слоя виртуализации, но картина более менее ясная.

запись мелким блоком (файлом) это всегда проблема для дисковой - именно по этому меня она более всего волнует. линейная запись тоже важна (скорость восстановления из бэкапа к примеру) но это не типичная нагрузка как вы сами и убедились при установке винды - ведь по сути установка, это запись огромного колва маленьких файлов.

в виртуалках очень часто неплохо пишет большие файлы, при этом процент производительности не сильно падает, а вот запись мелким блоком - это бич виртуализированной дисковой подсистемы.

учитывая что есть слой виртуализации, слой drbd (состоящий из двух узких мест) результат установки 62 минуты не кажется очень ужасающим.

кстати, 62 минуты установки это результаты при бондинге или на одном линке?

ЗЫ я как то перенес sql для 1с с мега древней машины на внешний стораж (сделал отдельный лун raid 10 из 6 дисков), выдал 4 ядра и запустил перепроведение за месяц - полная хрень вышла. проигрышь виртуальной машине древнему компу был аж в полтора раза по времени. а все изза того что запись мелким блоком = очень большие накладные расходы при виртуализации. Так что не расстраивайтесь низким скоростям. А вот почему так медленно заливало базу - хз, может у машины откуда закачивали проблема с дисковой? на физическую машину не пробовали заливать?

cirill
() автор топика
Ответ на: комментарий от cirill

Проблемы с базой - это проблемы с базой, там был файловый вариант, а мне требуется перевести на SQL. - Там может надо чего пилить выгрузку, мне 1Сник сказал, что может и не получится. В общем с SQL пока не одекватный тест.

А вот установка WinXP, это Win7 и Vista они как-то образом ставятся. Т.е. сплошным потоком - это MS сами писали кажется. А XP да куча мелких файлов, как и Linux. - Так что да. Тест одекватен ИМХО.

кстати, 62 минуты установки это результаты при бондинге или на одном линке?

Бондинг.

В общем отвечая на вопрос: можно ориентироваться на результат установки WinXP. Я думаю, всё же да. - Да и Вы в общем то тоже согласны. Накладные расходы i/o виртуализации я забыл. Спасибо, что напомнили. Однако без drbd 17 минут. С ним 62 минуты... - Это ведь всё было в виртуальной среде. Скорость прямого копирования 40 мегабайт/сек - это уже не на VM. Могу провести тесты копирования кучи файлов.

Завтра сделаю копирование /etc каталога. На другой HDD и на винт с drbd. Посмотрим время.

Блин, в общем пока есть мнение, что в продакшн такое не внедрить. Т.к. уж очень медленно. Это правда если только калькуляторы - сервер терминалов внедрять...

NFS в общем то также выглядит довольно бледно. Дальше калькуляторов не уйти похоже.

DALDON ★★★★★
()
Ответ на: комментарий от cirill

А чего это даст? Я готов это опробовать - у меня есть по свободному НЖМД на каждой ноде. Но выигрышей не вижу. Ещё хуже ИМХО будет. Разве нет?

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

две ноды актив-актив кластерная фс поверх drbd презентуем полученный раздел по какому либо сетевому протоколу (nfs iscsi) хосту где крутится гипервизор

cirill
() автор топика
Ответ на: комментарий от cirill

Хм... Читали мои сообщения пару постами выше? nfs я тестировал, однако больше 25 мегабайт в сек не удалось получить, играл я с опциями tcp,wsize. (-async не в счёт, ибо опять же для серверов не годится). Ничего не получилось. Время установки WinXP на nfs точку монтирования я также писал. Только с nfs мы ещё теряем в скорости чтения, в отличии от drbd.

А вы предлагаете две ноды, чтобы были drbd актив-актив да ещё и по nfs всё это на третью отдавать. Зачем? На такой конфигурации только косынку в Ubuntu раскладывать... :-( drbd даст значительное замедление + nfs. - Или я может суть не уловил? Третий десктоп есть. Могу подцепить.

iscsi не пробовал, так-как читал, что оно примерно аналогично Nfs только ЦПУ хоста грузит, но руками сам не настраивал. - Сложно. НО попробовать готов.

P.S. etc не копировал - не было времени.

Теперь о наболевшем - о KVM - я понимаю что вас это не особо интересует но всё же:

Начинаю заливать базу 1С (18 мб в архиве вся база), встаёт вся нода... Т.е. CPU просто умирает... Сказывается оверхед виртуализации, да и задача не простая, разжать, положить данные в SQL. В общем при таком раскладе встаёт всё... Все гости и сам сервер... Оттого может и ошибка у меня при заливке т.к. не тянет.

Прочитал эту тему, люди советуют cpulimit пользовать. Попробовал - работает. НО, это же статически... Куда такое внедрять? Либо вся контора будет вставать, либо если использовать cpulimit они отчёта будут год ждать... - Это я говорю о 1С на три сотрудника... А если чего-либо более масштабное? MySQL + Tomcat... А..? Вот и я думаю что оно ляжет всё... И эти ноды начальник мне на голову и оденет. Все три, или сколько там нагородим :) И скажет, чтобы не парил мозги а поставил из этих нод дедики.

В общем пока осталась у меня последняя идея: просто попобовать: iscsi. Если хоть как то приемлемо можно будет подумать уже о рейде, бекапах drbd и так далее. Если нету - то у меня идей уже и не осталось, могу лишь сказать, что для хоть какого либо продакшена оно к сожалению не годно. Поэтому люди и используют дорогие корзины и fibrechanel для этих целей.

Что скажете?

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

скажу что 25 мбпс на запись по NFS это очень приличная скорость, ибо я получал только 15 мб )

на том же оборудовании (где тестировал NFS) используя iSCSI получал 35 мб, проц грузит сильнее, да, но и скорость выше. в продакшене этот вариант не использовал, просто было любопытно.

на текущий момент у меня есть хост с виртуализированным Openfiler куда складываются бэкапы виртуалок (без drbd ессно) - при записи по iSCSI (скорость до 56 мб в сек) нагружается одно ядро на 100 процентов (выдал одно ядро от core quad 8200 помоему) специально этот стораж не тестировал на предмет производительности, но при установке win2003 особых тормозов не наблюдал. сейчас потестить скорости на предмет мелких файлов не могу ибо бэкап идет и результаты будут «грязные».

я мало общался с KVM (попробовал, но на том же железе виртуалки запущеные в vmware server2 работали быстрее потому забросил знакомство) и потому сказать по вашей проблеме могу следующее - попробуйте vmware server2 на этом же железе ))

cirill
() автор топика
Ответ на: комментарий от cirill

>скажу что 25 мбпс на запись по NFS это очень приличная скорость, ибо я получал только 15 мб )

Понял, а то я тут как то спрашивал, мне прям втирали что на одной сетевухе 1GB/sec типо 600 мегабитов в сек на запись у людей на старых HDD... Я развёлся на это.

Познакомлюсь с vmware server2.

Сейчас поднимаю iSCSI.

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

И так: iSCSI показал результат: 25-30 мбайт пер сек последовательное копирование.

Установка WinXP в точку монтирования iSCSI без использования bonding - 19 минут до появления рабочего стола.

iSCSI победитель. Однако нода на котором он живёт пыхтела... 60-90 процентов процессорного времени уходило.

В общем на мелких файлах очень не плохо оно себя показывает. Только расплачиваться приходится процессорным временем.

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

>И так: iSCSI показал результат: 25-30 мбайт пер сек последовательное копирование.

25-30 это при включенном drbd ? если да, то очень хорошо.

сегодня потестил виртуальный стораж прицепленный по iSCSI к ESXi перенес туда одну машинку (win2003), прицепил к ней еще один диск расположенный на этом же стораже и прогнал hdtune - показало такой же результат 25-30 мб, но писало в конец диска (750 гб но 680 уже заваленно бэкапами), не понятно во что уперлось ли в сеть или в производительность диска ) ибо бэкапы в начало диска ESXi писал со скоростью 55 и выше.

iSCSI победитель. Однако нода на котором он живёт пыхтела... 60-90 процентов >процессорного времени уходило.

нужно использовать JUMBO frames (в пакет запихивает 9000 байт вместо 1516 при обычном соединении) тогда будут меньшие накладные расходы на проц. еще лучше использовать карты с железной поддержкой iSCSI но стоят они как самолет )

cirill
() автор топика
Ответ на: комментарий от DALDON

>А распределять CPU между машинами динамически оно может?

каждой виртуальной машине в vmware server2 можно выдать 2 vCPU фактически, производительность виртуальной машины будет ограниченна быстротой двух ядер - накладные расходы на виртуализацию.

выполнятся эти vCPU будут на менее загруженных физических ядрах. к примеру у вас есть три виртуальные машины с 2 vCPU выполняемые на хосте c 4 ядрами. одна виртуалка стала потреблять процессор - выполняется на двух ядрах, вторая и третья будут работать на двух оставшихся.

управлять размещением и резервирование процессорной мощности на vmware server2 не получится ) если нужны продвинутые квоты - нужен ESXi но он имеет опять же ряд ограничений, нет возможности управлять контроллером, мониторинг и управление питанием ... все это в есть в ESX (но за бабло)))

cirill
() автор топика
Ответ на: комментарий от DALDON

>Понял, а то я тут как то спрашивал, мне прям втирали что на одной сетевухе 1GB/sec типо >600 мегабитов в сек на запись у людей на старых HDD... Я развёлся на это.

теоретический максимум для гигабитного эзернета это 120 мегабайт в секунду. практический же - 80 мегабайт в секунду. 80 умножаем на 8 получаем 640 мегабит в секунду. вообщем то все нормально. правда старые винты только в самое начало диска умеют с такой скоростью писать, потом неизбежно до 40-30 мбайт скатывается

cirill
() автор топика
Ответ на: комментарий от cirill

ESXi встал у меня, купил железо, как раз по той ссылке что давали мне. :)

Про VMvare Server понял. Спасибо!

ESX, вроде не очень дорогой, по акции можно купить три лицензии за 500 у.е. Начального уровня.

25-30 это при включенном drbd ? если да, то очень хорошо.

Нет. :(

JUMBO frames - посмотрю.

P.S. БД 18 мб - 1с7 пять часов «считается»... - Т.е. делаю заливку в БД всё это в KVM бегает. Процессу этой VM отдал 87 процентов времени - Напомню у меня там Celeron E3300 2 ядра. Нагрузка стабильно 87%... Потом не поленюсь и сделаю тоже самое на этой же машине, но без KVM, а просто поставлю ОС. Чую KVM вообще не одекватен. Ну не может ТАК долго заливаться база...

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

>ESX, вроде не очень дорогой, по акции можно купить три лицензии за 500 у.е. Начального уровня.

но только до 15 июня ) и только один пакет на одну фирму, второй такой не продадут ) и апится на таком нельзя

P.S. БД 18 мб - 1с7 пять часов «считается»... -

распаковывается чтоли? или восстанавливаете из бэкапа?

cirill
() автор топика
Ответ на: комментарий от cirill

>но только до 15 июня ) и только один пакет на одну фирму, второй такой не продадут ) и апится на таком нельзя

Ой, а можно пруфлинк? Там какие-то три лицензии, то ли на три машины, толи на три сервера, в общем не понятно.

распаковывается чтоли? или восстанавливаете из бэкапа?

Ага. У меня там какой то скрипт еженочно делающий выгрузку базы в rar архив, вот собственно его и пробую. Всё это дело заняло не знаю сколько времени но часов 6 это минимум.

Если отбросить drbd актив-актив и по nfs гнать, хотя это можно гнать и по iscsi - но не охото пробоать, ибо думаю оно будет не потребно. Может ещё есть варианты?

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

В планах попробовать: туже 1С на голом железе, и через VMVARE ESXi. Посмотрим... :)

Кстати с drbd вообще оно падало... Видимо i/o вообще не хватало никак. Хотя может и CPU...

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

VMware vSphere Essentials за 500$

http://vmind.ru/2010/03/24/vmware-vsphere-essentials-za-500/?utm_source=feedb...

комменты там еще гляньте, полезная инфа.

Essentials - это лицензирование 3 двух-сокетных хостов (на каждый сокет 4 ядра) + vCenter для управления и мониторинга

Если отбросить drbd актив-актив и по nfs гнать, хотя это можно гнать и по iscsi - но не >охото пробоать, ибо думаю оно будет не потребно. Может ещё есть варианты?

покупать аппаратные решения для развертывания iSCSI инфраструктуры.

cirill
() автор топика
Ответ на: комментарий от cirill

В общем с 1С пока не ясно, ибо на голом железе считалось также очень долго, но загрузка CPU была 50 процентов всего. Надо поиграться в KVM с ядрами, может поможет.

И теперь ещё на тему drbd: попробую я может выпросить денег на Raid контроллеры c BBU, и 512-1024 мб. независимой памяти..? Тогда может и есть смысл вернуться к drbd.

И ещё момент: появилось в меня смутное подозрение, что не стоило мне метаданные выносить на другой диск... Есть мнение, что это существенно как раз замедлило скорость - как раз на мелких данных. Чтобы не возиться потом, может имеет смысл создать как раз отдельный раздел для metadata на том же винте.

В общем очень может быть, что замучу я кластер из drbd master/master. Прям по этому гайду: http://pve.proxmox.com/wiki/DRBD - но опять же тут крайне желателен контроллер. Фиг знает, конечно терзают меня очень смутные сомнения, что мне вот так вот под не пойми какую поделку дадут 2к долларов.

DALDON ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.