Добрый день! К нам обращается RedHat и просит подписать следующее:

Consistent with the above, we also certify that no Red Hat digitally-signed binaries remain on the machines whose subscriptions have expired. Please accept this letter as formal notification of our intent not to renew the subscriptions listed. I certify that I am authorized to make this statement on behalf of <Company>.

Как мы понимаем это снести все бинарники RedHat? Это всю ОС что ли сносить? Насколько это правомерно, если вроде как и тот же RHEL распространяется по GPL. Или я где-то, что-то упустил и Linux стал платным??

Добрый день! С горем пополам обновился с Hammer на Luminous, обновленные сервера пока что на Filestore, дело дошло до добавления нового сервера (массив на данный момент заполнен на 80%, ждали сервера под расширение) и я решил, что уж буду теперь добавлять по дефолту диски на bluestore (остальные чуть позже мигрирую), под wal и db используем ssd как и ранее юзали ssd под журналы на filestore. При попытке добавить хотя бы одно osd, столкнулся с неприятной ситуацией. Проблема в том, что я все время использовал ceph-deploy, теперь с ним какая-то трабла, в доке нормального внятного объяснения как теперь добавлять найти не могу. В общем, как я пытаюсь делать:

ceph-deploy osd create cn015 --data /dev/sdj --block-db /dev/sdd --block-wal /dev/sdd

[cn015][DEBUG ] connected to host: cn015 
[cn015][DEBUG ] detect platform information from remote host
[cn015][DEBUG ] detect machine type
[cn015][DEBUG ] find the location of an executable
[ceph_deploy.osd][INFO  ] Distro info: CentOS Linux 7.5.1804 Core
[ceph_deploy.osd][DEBUG ] Deploying osd to cn015
[cn015][DEBUG ] write cluster configuration to /etc/ceph/{cluster}.conf
[cn015][DEBUG ] find the location of an executable
[cn015][INFO  ] Running command: /usr/sbin/ceph-volume --cluster ceph lvm create --bluestore --data /dev/sdj --block.wal /dev/sdd --block.db /dev/sdd
[cn015][WARNIN] -->  RuntimeError: unable to use device
[cn015][DEBUG ] Running command: /bin/ceph-authtool --gen-print-key
[cn015][DEBUG ] Running command: /bin/ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring -i - osd new c819fd79-a533-471a-b2f3-e5ff8500e6d2
[cn015][DEBUG ] Running command: vgcreate --force --yes ceph-00839557-13ea-47a7-b32b-4484c2a34825 /dev/sdj
[cn015][DEBUG ]  stdout: Physical volume "/dev/sdj" successfully created.
[cn015][DEBUG ]  stdout: Volume group "ceph-00839557-13ea-47a7-b32b-4484c2a34825" successfully created
[cn015][DEBUG ] Running command: lvcreate --yes -l 100%FREE -n osd-block-c819fd79-a533-471a-b2f3-e5ff8500e6d2 ceph-00839557-13ea-47a7-b32b-4484c2a34825
[cn015][DEBUG ]  stdout: Logical volume "osd-block-c819fd79-a533-471a-b2f3-e5ff8500e6d2" created.
[cn015][DEBUG ] --> blkid could not detect a PARTUUID for device: /dev/sdd
[cn015][DEBUG ] --> Was unable to complete a new OSD, will rollback changes
[cn015][DEBUG ] --> OSD will be fully purged from the cluster, because the ID was generated
[cn015][DEBUG ] Running command: ceph osd purge osd.32 --yes-i-really-mean-it
[cn015][DEBUG ]  stderr: purged osd.32
[cn015][ERROR ] RuntimeError: command returned non-zero exit status: 1
[ceph_deploy.osd][ERROR ] Failed to execute command: /usr/sbin/ceph-volume --cluster ceph lvm create --bluestore --data /dev/sdj --block.wal /dev/sdd --block.db /dev/sdd
[ceph_deploy][ERROR ] GenericError: Failed to create 1 OSDs

Вижу, что он ругается на blkid, что не может найти PARTUUID. Ок, понимаю, что видимо ceph-deploy под это дело сам не может создать разделы на этом диске. В итоге я решил самостоятельно сделать партиция на /dev/sdd. Пока что добавил одну osd, сделав под wal 1Gb и под db сделал партицию в 1% от диска OSD, вычитал от сюда (диски под OSD у меня по 900Gb).

Собственно, хочу узнать теперь экспертное мнение, правильно ли я задействовал ДП на ssd под wal и db? Просто по db я хоть что-то нагуглил, по wal никаких формул по калькуляции нет, поэтому уже просто тыкая пальцем в небо решил поставить 1Гб. Но беспокоюсь, не пострадает ли от этого производительность массива, если я продолжу добавлять по такой логике osd. Не хотелось бы допускать ошибок, а то у нас обновление было очень адреналиновым и уже бизнес боюсь не потерпит просчетов(( репутация, увы, ушла к черту с этим сефом((

Добрый день! Кто-нибудь может подсказать, какими последствиями может обернуться если выставить минимальное количество реплик на пул - 1 (min_size), при общем количестве в 3? Я пытаюсь отыскать в интернетах, чем чревата такая ситуация, но не нахожу.. я просто не пойму, ну стоит у нас общее значение в 3 (мин. - 2), два OSD у меня падают, по закону Мерфи там располагались пересекающиеся PG и я получаю ситуацию с растущими block requests. Я просто не могу понять на кой черт оно так сделано? Это такая подстраховка, чтобы пока единственная оставшаяся PG реплицируется, при работе с ней клиенты ее не побили?

Добрый день!
Подскажите может ли негативно отразится разное значению MTU на серверах в одной сети? Сервера разнесены по ролям, но иногда взаимодействуют друг с другом. На одних серверах стоят 10G оптические интерфейсы, на других - медные в гигабит. На тех, что 10G я хочу задействовать Jumbo Frames и выставить MTU в 9000, чтобы повысить производительность этих серверов между своей ролью, но переживаю, что это может негативно отразится на тех серверах, которые подключены по гигабитному каналу. Переводить их на 10-ку не имеет смысла, да и нет такой возможности.

Добрый день! Недавно в сефе по причине вывода одной из нод, после его перестроения начали заполняться с выше 85% 5 OSD. С нодой все необходимые работы провели, вернули ее в кластер, но уже с вычищенными дисками под OSD (отказываемся от RAID: с HP переключаем на HBA, с Huawei на JBOD без кэша записи). Массив «размазал» данные по вновь введенному серверу. Но остался флаг «nearfull», ceph osd unset такого флага не знает и убрать его не удается. Стоит ли на него вообще обращать внимание? И нужно ли с этим что-нибудь делать? Есть ли какое-нибудь влияние от этого флага?

health HEALTH_OK
 monmap e6: 3 mons at {mon1=10.10.10.2:6789/0,mon2=10.10.10.3:6789/0,mon3=10.10.10.4:6789/0}
        election epoch 14298, quorum 0,1,2 mon1,mon2,mon3
 osdmap e212153: 138 osds: 138 up, 138 in
         flags nearfull
  pgmap v72003723: 6656 pgs, 4 pools, 25984 GB data, 7231 kobjects
        78180 GB used, 44126 GB / 119 TB avail
            6656 active+clean
client io 1188 kB/s rd, 15303 kB/s wr, 764 op/s

Так же хотел еще уточнить как более грамотно выводить для проведение работ ноду из кластера. Подразумевается, что после она будет пустая, данных с OSD на ней больше не будет. Мы используем релиз Hammer, но ноды после переустановки по причине отказа от RAID уже устанавливаем на Jewel, поскольку у нас в планах и обновление до Luminous (с блекджеком и BlueStore). Но вот добавить в действующий массив ноды с Luminous не удается, из-за этого добавляем с Jewel. До сих пор не могу понять из-за чего( Предполагаю, что из-за мониторов на Hammer'e. В общем, к самой сути, Hammer в плане приоритетов восстановления не очень хорош. Из книги LearningCeph (2-е изд.). Вычитал как снизить эти приоритеты и какие именно надо вообще менять. Сделал согласно рекомендациям из книги. Вывожу ноду и все равно пока массив очухивается, что у него больше нет тех OSD, что были на ноде и начинает перестроение, в этот момент начинает проседать I/O, увеличиваются задержки на виртуалках. Не долго и не так сильно, все это занимает буквально 5 минуты с момента отключения сервера. Далее массив уже начинает перестроение и все нормализуется. Но вот эти 5 минут делают много вони (и боли, мне админу, потому что на утро куча писем с заголовками: ко-ко-ко ваш OpenStack говно). Ноду исключаю тупо выключив ее, но думаю может мне сперва лучше проводить процедуру удаления каждой OSD? Чтобы не было просадки по I/O.

Добрый день! Занимаюсь обновлением Ceph c Hammer до Jewel, с последующим переходом на Luminous. В доке Ceph указано, что лучше использовать ядро 4 версии на клиентах Ceph'a для работы CRUSH tunables:

Older kernel client versions may not support your CRUSH tunables profile or other newer features of the Ceph cluster, requiring the storage cluster to be configured with those features disabled.

Или же CRUSH tunables можно не задавать, просто обновив сами клиенты на серверах, использующих Ceph? Еще я не до конца понимаю с какими ограничениями мы можем столкнутся при обновлении клиентов и самого Ceph'a, оставаясь на 3 ядре. Может ли это как-то сказаться негативно и если же обновится на 4-ой версии ядро, будет ли ОС ввести себя стабильно? Сами клиенты у нас стоят на серверах OpenStack, и вот я как бы не совсем уверен ставить на сервера OpenStack'a 4 ядро(( протестировать такое к сожалению не где(

Добрый день!
Насколько критично в пределах одного хоста иметь разные диски под OSD? Сам массив у нас состоит из 9 нод, на 3-х из них стоят мониторы. Изначально в каждом сервере у нас стояло по 14 дисков объемом в 900Гб и 4 диска SSD объемом в 200Гб под журналы. 4 OSD приходились на 1 SSD. Постепенно у нас начались появляться сообщения о переполнении тех или иных OSD, reweight делать я не стал. Решили накинуть HDD, но были в наличии тогда объемом только 1,8Тб. Поставили их по 4 штуки на 3 сервака, SSD добавлять не стали. Сейчас теперь пытаюсь понять, столкнулись с тем, что при обновлении с Hammer на Jewel, используя флаги noout и norebalance, когда я тушил OSD на одном из серверов, у которых есть диски 1,8Тб у меня начинает повисать работа серверов в OpenStack (релиз Newton). Сами виртуалки выдают окно приглашения и пингуются, но провалится в них все равно нельзя. По мониторингу вижу на таких виртуалках большой процент по ожиданиям io. В кластере Ceph у нас используется распределение сетей, под кластерную сеть у нас собрано в агрегацию round-robin 2 оптических интерфейса по 10G. Под публичную сеть пока 1 гигабитный интерфейс без агрегации (в будущем будем тоже переводить на агрегацию по оптике). Вообще даже не только при этом обновлении, но и ранее когда выбивалась одна из нод Ceph'a, мы сразу это замечали, сервера в OpenStack моментально повисают, пингуются, выдают приглашение для ввода логина с паролем, но дальше уже провалится нельзя, клиент SSH просто висит. На некоторых виртуальных серверах потом можно заметить различные сообщения kernel task blocked for more than 120s для разных утилит. Пока причину такого поведения виртуальных серверов в OpenStack'e при вылете одной из нод в массиве, мы не можем найти. Так же забыл написать, на данный момент у нас 138 OSD, PG 6656, 4 пула и osd pool size = 3 (для любого пула). Основной посыл темы конечно узнать стоит ли использовать разные диски в массиве, но и если кто-нибудь может подсказать в какую сторону рыть по поводу повисания виртуалок, буду очень благодарен.

Добрый день!
Не могу найти инфу по соотношению HDD к SSD, когда используется тип хранилища Bluеstore. При Filestore знаю, что на один SSD рекомендуют использовать не более 6 OSD. Знает ли кто-нибудь подобное соотношения для Bluestore? Планирую обновляться до Luminous и менять тип хранилища с размещением WAL/DB на SSD.

Добрый день! Настраиваю балансировщик, задача банальная - редиректить запрос на два сервера по 8443 порту. Это сделано без проблем, но при перенаправлении запросов в адресной строке браузера меняется url и туда подставляется имя сервера с DNS. Т.е я пишу xyz.example.org и после балансира вижу srv1.example.org или srv2.example.org. У гугла много, что уже спросил, то, что находил не помогло. Подскажите, пожалуйста, как можно заставить HAProxy не менять в адресной строке браузера субдомен, чтоб в нем так и оставалось xyz.example.org?

Добрый день! Возможно ли на этапе создания инстанций в OpenStack'e изменять через cloud-init корневую ФС? Дело в том, что образы под KVM поставляемые RedHat'ом идут по-умолчанию с xfs, что совсем не радует. Приходится с каждым новым релизом собирать свои образы и только из-за одной файловой системы, поскольку предпочитаем использовать ext4.

Добрый день! Помогите разобраться, имею несколько серверов с оптическим интерфейсами по 10 гигабит, все они на RHEL 7.2. При копировании через rsync или scp, какого-нибудь файла я не вижу этой скорости в 10G. Максимум 2 гигабита, как добиться от серверов передачи в 10-ку? Сервера находятся в одной стойке и закомутированы в один свитч. Гугл, дает инфу по тюнингу, но все в основном для rhel6.

Добрый день!
В качестве хранилища для OpenStack'a используем Ceph, но с ним есть одна проблема. При падении одного из серверов массива, он начинает ребилдится, что приводит к повисанию инстанций в OpenStack'e, они становятся недоступными. Вероятней всего, корневые разделы этих инстанций находятся на вышедшем из строя сервере. Насколько я знаю это не типичное поведение для ceph'a, не понятно просто в чем тогда заключается его отказоустойчивость. Кто-нибудь сталкивался с такими проблемами и как можно их разрешить? У нас для хранилища используется 7 серверов с 14 sas hdd и 4-мя ssd под журналирование. Релиз Hammer 0.94.5, osd_pool_default_size = 3. Так же еще планируем обновление на 12.2.4 LUMINOUS. Читал в доке, что можно обновляться при работающем массиве, но нужно ли делать обновление постепенно переходя с релиза на релиз или же можно с версии 0.94.5 обновится до 12.2.4?

Добрый день. Есть ли в линуксе возможность посмотреть какие были процессы запущены день назад и как они потребляли ресурсы. Что-то наподобии top только за вчерашний день. Произошел сбой одного сервиса, сейчас идет разбор полетов и начальство ищет кому головы рубить. Админ с нашей стороны указывал на проблемные процессы, но забыл сделать скрины и теперь просят пруфы. Наблюдали ситуацию, что из-за процессов БД проседала запись на диски. iowait был высоким. За счет sar'a могу вытащить за нужную дату показатели, но жаль там не пишутся процессы. Так же наблюдали через iotop за ситуацией, но админ забыл так же сделать скрин.

Добрый день!

Подскажите, кто имел опыт работы с Сeph'ом и OpenStack, есть ли там возможность назначить дисковое пространство определенным инстанциям с конкретных дисков в массиве Ceph'a? Под один проект нам приедут SSD'шники и заказчик просит, чтобы при создании серверов в облаке мы выделили им место именно с этих SSD. Для облака мы используем хранилище Ceph и сейчас тоже планируем полученные SSD добавить именно в него.

Добрый день! Хочу настроить PowerDNS c geoip-backend'ом, но для geoip хочу сделать свою базу на основе наших сетей. Думаю попробовать за счет этого реализовать split, который легко настраивается в Bind'e. Собственно столкнулся с тем, что не могу найти полную инфу как допустим сделать такую базу geoip, что куда прописывается и как разделяется. Брал csv от maxmind пытался разобраться на основе них, но не смог. Есть у кого-нибудь мануалы, как составить свою базу geoip?

Добрый день! Подскажите, можно ли как-то в linux разместить ssl сертификат для nginx'a, но так чтоб его нельзя было выгрузить, просмотреть, перекопировать или экспортировать? На сервак имеет доступ вендор через учетку с полными sudo-правами, вот от него поставили задачу уберечь этот серт, но при этом, чтоб nginx успешно мог работать с этим сертификатом.

Добрый день!
Пытался найти информацию по применению данного миханизма в условиях, когда имеется два мастера и один слейв, но ничего не нашел, мб плохо искал =). Суть в том, что у нас есть два офиса, териториально разделеных, в разных городах. Сейчас сервер в одном из из этих офисов работает, как мастер, в другом офисе как слейв. Хотелось бы сделать теперь таким образом, чтоб в этих офисах стоящие сервера были для них мастерами и развернуть еще один сервер, выполнящию роль слейва для обоих этих серверов, на случай падения одного из них.
Беспокоит то, что не будет ли слейв при такой схеме тупить и реализуема ли такая схема вообще?

Доброго времени суток!
Стоит задача - завернуть все запросы посредством DNS от пользователей, у которых не установлено VPN-соединение на страницу с инструкцией как этот VPN настроить. Сперва думали сделать редирект на основе локальных сетей. Настроить зону с политикой ответов (RPZ) в bind'e и по всем запросам сделать, чтоб он отвечал определенным IP-адресом, там бы и расспологалась страница. НО, у нас множество ресурсов в наших сетях, прописаных в этом DNS, к которым пользователи должны иметь доступ в обход VPN. Сделано это засчет статических маршрутов, выдаваемых через dhcp, роут имеется к DNS тоже, чтобы пользователи могли к нему обращаться с локальных адресов и он им отвечал локальными IP этих ресурсов. Это нужно, чтоб не нагружать оборудование и разгружать каналы. Вопрос в том, можно ли это вообще сделать посредством DNS или же в связке с ним? Или это можно реализовать за счет другого бесплатного ПО? Или же мы просто толчем воду в ступе? =)

Добрый день!
Стоит задача написать скрипт, который бы пропинговал все сети и вывел для каждого доступного хоста какие порты у него открыты, записав все это в файл. Но не могу нагуглить как мне в скрипте указать в какой столбец ему нужно вставить текст.
Файл будет с таблицей:

+++ Hosts +++   22      23      25      53      80      443     1521
192.168.11.2    yes     no      no      no      yes     no      no
192.168.15.44   yes     no      no      yes     no      no      no
192.168.21.14   no      no      yes     yes     no      no      no

Добрый день! По работе часто приходится пользоваться vpn'ом (Cisco Anyconnect). Ранее на ноуте стояла венда, но она поднадоела и решил пересесть на Arch Linux. Поставил себе openconnect и NetworkManager-openconnect, теперь нужно в него подгрузить сертификат с ключом, у меня он есть, но он в pkcs#12. Подскажите как с помощью openssl его можно перевести именно нужный для openconnect'a формат с отдельным ключом (поскольку тот требует в GUI только так). Ранее openssl'ем пользовался крайне мало, создавал банальные самоподписанные серты и только. Гуглить гуглил, но мб тупой)) и гуглом не научился еще пользоваться))