Приветствую всех.. Хочу получить совет или услышать мнение знающих, по поводу организации стореджа для хранения образов виртуальных машин и их бекапов.. Дано:

• хосты: 4 штуки (в кластере proxmox 6.4)
• хранилки: 2 штуки
• сеть: хосты связаны между собой 1G, san организован через 8G FC
• на каждом хосте стоят емкие nvme - 3,2tb (на них же расположены образы требовательных к производительности виртуальных гостей)
• остальные данные (не шустрые образы и бекапы) лежат на хранилках.
• хранилки крутятся под управлением ESOS (scst) и раздают луны, сформированные поверх аппаратного рейда, на хранилках есть 3 типа лунов:
  1. lvm (для «среднескоростных» образов) - настроено поверх аппаратного рейд контроллера с ссд кешем (лун общий для всех хостов);
  2. lvm (для «медленных» образов) - настроено поверх аппаратного рейд контроллера без ссд кеша (лун общий для всех хостов);
  3. просто блочное устройство, которое мапится как каталог на хост (для каждого хоста свой лун) для бекапов

Пояснение: Очень долго на проекте была только одна хранилка(все работало отлично и прогнозируемо в течении года), но теперь появилась вторая (аппаратно - почти аналогичная), и, соостветственно, логически данные на ней были расположены аналогично первой.

Описание проблемы: С появлением второй хранилки появилась проблема с миграцией - если миграция делается в пределах одной хранилки и одного луна - все норм.. если перемещение идет между хранилками - все происходит очень не быстро (просто жопа как медленно). Оно, конечно понятно - 1 гигабит.. что ж от него хотеть-то…

Понятно, что нужно менять организацию системы хранения.

Из того что мне первым пришло в голову - это использовать proxmox backup server и убрать мапинг блочного устройства как каталог с ext4 и сэкономить кучу места :) С бекапом - это, видимо, самый простой и продуктивный способ…

Второй идеей была мыль каким-то образом синхронизировать луны 1го и 2го типа… естественно, что я сразу вспомнил про ceph… учитывая что для него нужна сеть 10g - проработал бюджет и, в принципе, мне дали добро.. (покупка свитча, и кучки сетевух) Вижу я конструкцию цефа так: на каждом хосте

• добавляется еще ссд для osd;
• 2 lun с данными разной «температуры» уже есть;
• скоростной диск в виде nvme тоже есть;
• сеть меняется на 10Г;
• каждый хост представляет в кластер свои физические и логические (те самые луны) ресурсы. Ну а дальше цеф, согласно конфигу делится на разные пулы и, собственно, делает то, для чего его придумали - раздает одно хранилище с разным уровнем производительности для всех хостов которое размазано по всем хостам… вроде все получается красиво…

но у меня есть ощущение то ли сложности, то ли избыточности такого конфига.. Причем есть еще одна мыслишка - учитывая принцип работы цефа - ему неплохо бы подсовывать не массивы, а чистые диски, но в таком случае я теряю плюшки от аппаратных контроллеров в виде ссд кеша (хотя, их, насколько я понимаю, цеф должен компенсировать).

Вопрос в том - правильно ли я мыслю? ну и хотелось бы услышать советы людей, уже организовывавших SDS в подобных условиях.

Доброго времени суток! А не пробовал ли кто собирать кластер из нод с разной версией прокса?

Есть кластер на 6.2 и в него надо втянуть ноду с версией 5.4.

поднимать версию на 5.4 - не вариант.

Приветствую всех!

Возникла у меня специфическая задачка...

Железо в наличии:
3 сервера для вычислительных нод;
1 сервер и пара дисковых полок с дисками(ssd, hdd)для организации схд;
Сетевухи 10г для организации san.

Задача: взвести на этом зоопарке проксмокс.

Я уже поднимал прокс на связке - одна нода + сервер-хранилка на базе scst — полет нормальный уже несколько лет. С этим все понятно..
А тут надо сделать кластер из вышеперечисленных серверов и каким-то образом прикрутить к нему хранилку
3 ноды поднимаются без проблем, между ними делается кластер - это тоже все понятно. Сеть между ними по гигабиту.

На нодах дисков нет. Сеть для данных поднимается на 10г. 10г свитча нет. Появилась шальная мысль воткнуть 2 из кучи 2х головых сетевухи в хранилку и в нем же сделать «свитч».

Вопрос: как добиться того, чтобы кластер мог использовать разные массивы (ссд и хдд) на всех трех нодах?
Вариант с жестко выделенными лунами не очень нравится, т.к.:
- явно будут проблемы с миграцией
- если использовать нфс для бекапов на хдд массив - сеть явно узкое место.

Смотрел в сторону цефа - но не могу понять каким местом его приложить к моему конфигу - на нодах же нет дисков.

Может кто собирал что-то подобное?
Буду безумно благодарен за любое содействие :)

Привет всем.
А можно ли как-то из консоли увидеть загрузку процессора виртуальной машины? При помощи qm list такой инфы не предоставляется...
Также не плохо бы было бы смотреть на другие параметры утилизации системных ресурсов конкретной виртуалки.
По одной машине из вебморды смотреть - не вариант - виртуалок много и хочется видеть кто именно жрет ИО и проц...
Может есть какой-то аналог top специально для прокса? или есть какой-то скрипт? или другое готовое решение?
Заранее премного благодарен.

Привет всем.
Есть такие ресурсы:
- 2 аппаратные ноды под проксмоксом
- 1 сервер на котором будет развернута хранилка
На хранилке: рейд контроллер с подключенной полкой. При помощи контроллера создан массив. На массиве развернут лвм с нарезкой на 2 волюма: данные и бекап
На волюме «данные» будут лежать виртуалки, на бекапе, соответственно, бекапы.
Также на ней стоит двухголовая fc кулоджик 2562.
Одноголовые 25ки стоят на нодах.
На каждую ноду из хранилки торчит хвост.
На хранилке поднят таргет, на нодах соотв. инициатор. Система на хранилке debian 9.x
Задача:
Как заставить оба проксмокса работать с одним и тем же луном?
Естественно, если сделать по луну на каждую ноду - никаких проблем, но при проблемах на одной из нод - виртуалки должны уходить на другую, и я уверен что все будет ок, но наверняка, при этом произойдет большой лаг, при копировании файлов с виртуалками на другой лун...

Все это пока происходит чисто гипотетически (пока железо собирается), но уверен что наступлю на эти грабли. Подскажите - куда копать? Или все будет хорошо и я зря межуюсь? Просто подключить один и тот же ресурс к разным лунам на таргете и не париться?

Хотелось бы пофантазировать на тему «личного гугла».
Идея пока на уровне размышлений, но все хочется запустить в реале.
В работу пойдет исключительно для личных целей для некоммерческого использования.
Итак:
Дано железо:
а)какая-то бесшумная машинка в микрокорпусе с какой-то итх мамкой на SOC и парой ССД по пол тера в зеркале( например мдадм или лвм - не суть важно) и, например, дебианом на третьем ССД (допустим 30г). Железа в нете навалом, и вполне современного за весьма разумные деньги - не вижу проблем собрать абсолюно бесшумный экземпляр без вентиляторов, в т.ч. и блок питания.
Стоять будет дома с каким-то внешним каналом.
б) дешёвая, но надёжная впска на внешнем хостинге с установленным дебианом (емкость диска думаю будет гигов 20-30)
Хочется:
получить какую-то связку софта, чтобы мой телефон (рабочая машина и т.п.) синкал фотки, видео и какие-то другие файлы (документы etc) с впской (которая 100% всегда онлайн), а они в свою очередь сливались на мою домашнюю хранилку. Причем крайне желательно, чтобы на домашней машине, я мог получить доступ к файлам на прямую при желании(типа по самбе или нфс - эта реализация элементарна, но интереснее поиметь какую-то вебморду). Про морду думал - но ничего кроме некстклауда в голову не лезет.. Но оно прожорливое и неповоротное... хоть и симпатичное.
Также требуется чтобы при нахождении домашней железки в офлайне, файло копилось на внешнем ресурсе, и по мере появления вышеупомянутой домашней хранилки в онлайне выливалось все на нее, и соответственно стиралось (освобождая место) с впски.
Пока вижу эту реализацию при помощи каких-то самописных скриптов и впн туннеля между ними...
Но может есть какие-то готовые или похожие решения? пока интересует механизм синхронизации между впской и домом, но есть еще масса других хотелок, про которые пока размышляю и пытаюсь как-то оформить в понятном кроме меня виде :)
ЗЫ: дистрибутивы и софт значения особого не имеют.

Приветсвую всех!
Жил у меня в моей виртуальной проксмокс-помойке почтовик (postfix+dovecot+roundcube) и не кашлял..
И все бы ничего, но понадобилось мне завести еще один такой же.
А конкретнее - он должен быть полностью изолированным. То есть - он находится в другой подсетке (в другом влане и тд. и т.п.)
Проблема в том, что внешний адрес только один.
Я так понимаю, что для нормальной работы нужно соблюдать проброс стандартных портов.
Ну если для вебсерверов все просто - поставил нгинкс, прописал в конфиге реверспрокси - и погнали - никаких проблем нет ни с http ни с https...
А вот есть ли подобное решение для почты?
Понимаю, что можно настроить еще один (первый в цепочке) сервер постфикс, который будет разруливать почту на нужный сервер..
Но как-то не очень хочется, ибо я не совсем в курсе какие домены будут прилеплены на второй сервер (который будет админиться не мной):) (видимо я ленивый... да...)
Решал кто-то такие проблемы? гугл не помог... поиск по форуму тоже...

Приветствую всех.. Появилась необходимость сообразить на троих офисный «насик» с возможностью хранения кофиденциальных данных
И все бы ничего.. Казалось бы... Дебиан с самбой поверх лвм который поверх лукса..
Но не так для меня все просто оказалось.
Грубое тз: надо чтобы в самбовой шаре один из каталогов был шифрованым.. т.е. при определенных обстоятельствах, доступ к нему был открыт определенной группе юзеров, а при других обстоятельствах - соответственно закрыт.

Проблема номер 1 - это использование шифрованного раздела под виндами. Подскажите, какие есть вменяемые способы реализации (клиенты) использования шифрованного раздела через самбу под виндой? или это должно реализовываться со стороны наса?

Проблема номер 2: было бы не плохо чтобы он включался-выключался при помощи какой-то двухэтапной схемы (типа пришла смска/почта/паш - ввел гдето код - все расшифровалось) нажал где-то кнопку - все зашифровалось.. нет сетевой активности - опять все зашифровалось..

Проблема номер 3 - не могу придумать - как шифрованый раздел всунуть в какой-то из каталогов на самбе: начнутся же пляски с АЦЛами и т.п., т.к. юзеров и групп много - настраивается сложный доступ для разных групп (да и много этих групп.. штук 30 - только ключевых, и в каждой не менее 4-5 дополнительных)

Есть у кого-то мысли на тему?
Или может есть описание каких-то готовых реализаций подобного толка?

Приветствую всех.
Вот объясните мне - есть ли смысл брать RB3011UiAS-RM (можно и 2011) или собрать связку CISCO SRW2024 + microitx (atom n330+2gb ram+32gb ssd + 2x1gbit lan)?
Использовать это буду как шлюз с 3мя внешками, фаервол, влан-, дхцп-, впн- сервер... Может и ещё чего прикручу...
Что на первый, что на второй вариант могу все настроить. Деньги за микротик не принципиальны, а остальное есть и так. Подкупает то, что на итх все можно завернуть в виртуалках, и в случае аварии быстро развернуть бекапами на любом железе...
Но зачем же тогда кто-то покупает микротики??

Приветствую.
Вот такая задачка:
Есть 3 штуки 3ж модема и локалка.
Нужно воткнуть модемы в какой-то серверок (железо по фиг какое - есть куча разного), поднять 3 интерфейса от жсм оператора и раздавать каждый интерфейс по впн в локалку.
Один интерфейс = 1 клиент.
В принципе, никаких проблем с этим не вижу, но хочется какой-то удобной вебморды для контроля модемов.

Что бы вы посоветовали? Может есть какие-то готовые решения?
Крутил в голове мысли про опенврт.. Но модемов больше чем один... И планируется до десяти...

Добрался я наконец, и до этого участка возни с хранением виртуалок.
Итак, имею массив на 2,2тб, на котором развернут тонкий пул емкостью 1,8тб.

# lvs -a
 LV                  VG      Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  datar15k            r15k    twi-a-tz--   1.90t             0.00   0.42
  [datar15k_tdata]    r15k    Twi-ao----   1.90t
  [datar15k_tmeta]    r15k    ewi-ao---- 124.00m  
  [lvol0_pmspare]     r15k    ewi------- 124.00m

Гугл и маны по ЛВМ навели на такую идею: увеличить раздел с метаданными - что я и сделал:

lvresize --poolmetadatasize

# lvresize --poolmetadatasize +50G r15k/datar15k
  Size of logical volume r15k/datar15k_tmeta changed from 124.00 MiB (31 extents) to 50.12 GiB (12831 extents).
  Logical volume r15k/datar15k_tmeta successfully resized.

# lvs -a
  LV                  VG      Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  datar15k            r15k    twi-a-tz--   1.90t             0.00   0.01
  [datar15k_tdata]    r15k    Twi-ao----   1.90t
  [datar15k_tmeta]    r15k    ewi-ao----  50.12g
  [lvol0_pmspare]     r15k    ewi------- 124.00m

И все бы хорошо, но есть еще такой раздел: [lvol0_pmspare], емкость которого изначально равна [datar15k_tmeta]
Пытался их уравнять при помощи:

# lvconvert --repair r15k/datar15k

  Using default stripesize 64.00 KiB.
  WARNING: recovery of pools without pool metadata spare LV is not automated.
  WARNING: If everything works, remove r15k/datar15k_meta0 volume.
  WARNING: Use pvmove command to move r15k/datar15k_tmeta on the best fitting PV.

# lvs -a
  LV                  VG      Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  datar15k            r15k    twi-s-tz--   1.90t             0.00   0.01
  datar15k_meta0      r15k    -wi-a-----  50.12g
  datar15k_meta1      r15k    -wi-a-----  50.12g
  [datar15k_tdata]    r15k    Twi-ao----   1.90t
  [datar15k_tmeta]    r15k    ewi-ao----  50.12g

По-моему какая-то фигня выходит :(
ЧЯДНТ????
Или просто забить на этот спар? (что кажется мне опасным)

По совету данному мне в этом топике Как правильно организовать кластер на Proxmox , попытался поднять ссд-кеширование в lvm.
В общем-то все у меня получилось, но мучает меня один баааааальшой вопрос:при включенном кешировании невозможно создавать новые логические тома в пуле?
Т.е. чтобы добавить том надо выключить кеш, добавить том, переинициализировать кеш? ПРоцедура добавления тома должна быть именно такой? это же катастрофа какая-то, потому что у меня на томах планировалось разворачивать виртуальные машины... а их предпологается десятка 2-3... :( и сразу я не знаю сколько мне их понадобится...
вообще - насколько я понял, при любых манипуляциях с томом придется отключать кеш?
я может чего-то где-то проглядел? или есть какой-то правильный автоматизирующий механизм этих действий?

Приветствую всех!.
Имею популярную проблему: низкая производительность файловой системы на госте (windows) который крутится под проксмоксом.
Грубо говоря - тормозит виртуалка....
Что имею по железу:
4 ноды с одинаковым конфигом (2*xeon 5645, 48GB ram, ssd 32gb, hdd sata2=1tb, 2*1Gbit lan)
1 nas - hp dl320s (контроллер p400, 512 кеша+батарейка, xeon 3060, 8gb ram, 2*1Gbit lan, 12*1tb wd black re в raid 6)
1 гигабитный свитч hp procurve 4104
На нодах стоит proxmox 4.4-5 в режиме ha cluster.
ceph не поднимал
Сейчас NAS не подключен. виртуалки стоят на локальных хардах.
Если надо - то все красиво мигрирует, клонируется и т.п. но это в настоящий момент меня не беспокоит.
Теперь что касается тормозов: в режиме линейного копирования большие файлы (4gb) копируются внутри гостя (130-140 мб/сек) и по сети (гость-живой комп) отлично - скорость - 100 мб/сек
Однако, при копировании большого количество мелких файлов (10000 файлов средним размером 100-200 килобайт) - начинается просадка скорости до 25 мб/сек, как внутри гостя, так и по сетке.
Образы виртуалок стартуют с опцией cache=writeback
(пробовал со свсеми настройками кеширования - последний показал себя лучше всех)
На госте стоит win2k8r2, и он при работе тоже характерно тормозит... Естественно, внутри гостя используются virtio драйверы.

вопрос1: не связано ли это с хранением файлов с виртуалками на локальном сторедже?...
вопрос2 (глобальный, и, возможно, риторический): как правильно использовать все мое железо для максимальной производительности?
Читал много про НАСы с zfs... но вроде как не помещаюсь с производительностью платформы наса...

PS: до этого виртуалки крутил только под убунтой безо всяких кластеров - при помощи либвирта... (конфигурялка virsh+ иксовая приблуда virt-manager). Там тоже наблюдались просадки, но почему-то я на них не сильно обращал внимание. Там крутилось только пара-тройка машин и требований к ним никаких не было :(