Слыхали? Сбой в GitLab-инфраструктуре FreeDesktop

Инфраструктура Freedesktop.org обслуживает более 1200 репозиториев открытых проектов.

инфраструктура оказалась недоступна из-за выхода из строя двух SSD-накопителей

чёт кекнул.
блеск и нищета опенсорца.

Есть же облака, зачем играть в сисадминов.

Сбой в gitlab-инфраструктуре

что-то пошло не так!

Опять бэкапы?

Если пошли спать, то с бекапам проблемка… =)

А в облаках данные Святой Дух хранит или там такие же ssd?

Там профессиональное оборудование, в котором поломка SSD не вызывает даунтайма.

Печально.

Любое оборудование ломается, даже «профессиональное». Вопрос в том насколько отказоустойчиво построена система. Если админы рукожопы, то они что в облаке, что на своём железе, нихрена не сделают нормально.

Ну накатят бэкапы, ну кто-то может пару коммитов просрет… запушат заново. Тоже мне драма.

Gitlab это не только репозитории, но и bug tracker и прочее.

По ходу полимеры потеряны. Повезло, что есть какие-никакие зеркала на github. Но гвоздь в инфраструктуру gitlab вбит.

Профессиональное оборудование отличается наличием запасных частей в шкафу и контрактов, по которым эти части привезут в кратчайшее время. А также наличием профессиональных админов, которые в положенные сроки сделают замену. И отлаженными процедурами бэкапа для крайнего случая.

Каждый должен заниматься своим делом. И делать это дело хорошо.

Когда проект теряет данные из-за сломавшегося диска, а поломка ссд это абсолютно рядовой случай, это хороший пример того, что происходит при нарушении этого правила.

Погорел ссд с данными баз и ссд с бекапом данных баз?

бугага какая же ржомба что смузихлёбы со своими хипстерскими спермотехнологиями не осилили БАНАЛЬНЫЙ БЭКАП, мать его

тут на быдланете обсуждают PHP 8.2 alpha, один пользователь сказал самую суть

что можно написать на пхп8, чего нельзя было сделать на 4 пыхе

дурачки с синдромом NIH занимаются сублимацией, по сути дела не изобретая ничего нового и ничего полезного, когда вся работа всё ещё сводится к проверенным методикам — банальному бэкапу, банальным файловым системам, банальной самбе с фтп, вместо всех этих *клаудов.

воистину, чем решение проще, тем оно вернее.

вероятнее всего у них там был RAID 5, который допускает выход из строя одного диска, и всё это время у них был RAID 0, ололо, ололо

господи, какие же дегенераты.

А че ржете-то ? Факапы бывают у всех. Облака кстати от них тоже не застрахованы, но если в случае локального хранилища, хотя бы админу можно по сраке надавать, то в удаленном - «мы не несем ответственности», «as is» и прочая ересь, которую нужно искоренять в законодательно-уголовном порядке.

Но, как грица, сисадмины делятся на две категории: первые не делают бэкапы, а вторые уже делают =)

вероятнее всего у них там был RAID 5, который допускает выход из строя одного диска, и

Один диск (по переписке) был выведен давно из строя, всё жило на втором.

Профессиональное оборудование отличается наличием запасных частей в шкафу и контрактов, по которым эти части привезут в кратчайшее время. А также наличием профессиональных админов, которые в положенные сроки сделают замену. И отлаженными процедурами бэкапа для крайнего случая.

Каждый должен заниматься своим делом. И делать это дело хорошо.

Несусветные банальности вида «хорошо жить лучше чем плохо» :)

Если админы рукожопы, то они что в облаке, что на своём железе, нихрена не сделают нормально.

Но в облаке таки проще, и в рейде им бы диск прозрачно поменяли, и сгоревшая материнка фиксится ребутом инстанса.

Дополнение: Администратор инфраструктуры FreeDesktop пояснил, что никакие данные не потяряны, но хранилище Ceph из-за сбоя двух дисков перешло в режим «degraded», требующий ручного восстановления. Попутно приходится решать несколько сопутствующих проблем, связанных с настройками сети и синхронизацией изменений, добавленных с момента подключения к хранилищу нового узла. Ожидается, что восстановление займёт ещё несколько часов.

так он отписался через n времени, потому что бо-бо!
Понятно, что данные на зеркале github. Им просто повезло.
Гвоздь вбит.

И это, в оригинале слегонца по другому, чем твой перевод.

Перевод не мой а опеннетовский по той же ссылке из ОП.

Тут пацаны набрасывают!
Классный коммент из опеннета:

бедные ребята. в #freedesktop сплошной shotgun debugging

21:24 bentiss: daniels: sigh, the new server doesn’t even survive a reboot, it fails at finding the root
21:27 bentiss: I guess my cloud-init script killed the root
21:35 bentiss: FWIW, reinstalling it

мимопроходилы делятся перлами типа

12:18 JoniSt: That’s nice to hear. Reminds me of the fact that a single raid1 btrfs might also not be enough to keep my own Gitlab instance alive if something happens…

Надо бы зайти и почитать логи #freedesktop

Gitlab искаропки поддерживает бэкап , почему-то кто-то решил его не настраивать.

Помёрли ссд

Это какое же хреновое tbw было у них? И их ресурс судя по всему тоже никто не мониторил.

Это какое же хреновое tbw было у них? И их ресурс судя по всему тоже никто не мониторил.

SSD (редко, конечно и отдельные модели) бывает, мрут просто так, без предупреждения. Вот он есть в системе, туда можно читать/писать и вдруг он пропал безвозвратно и больше не определяется никак. А ещё были эпические ошибки в фирмварях (которые мало кто любит обновлять) типа «окирпичивание после n часов работы» (даже у hp: https://www.opennet.ru/opennews/art.shtml?num=52607)

А ещё были эпические ошибки в фирмварях (которые мало кто любит обновлять)

За такое надо руководителям руки отрывать. Обязательно подписаться на changelog, выделить человека/команду и в плановый распорядок.

Жалко. Что systemd выжил.

За такое надо руководителям руки отрывать.

Подавляющее число людей работают по парадигме «работает - не трогай», увы.

Это пока ты не строишь ДЦ. Плановые обновления железа/прошивок обязательны. Это неспециалисты просто. Как и с безопасностью. Если не проводить обслуживания хоть раз в месяц, то оказывается, что кто-то просто использует твои мощности. Особенно в ДЦ.

Дело даже не в этом. Где, мать их, infrastructure as code? Почему новый сервер не введен в строй в течение часа, считая время на обновление всей фирмвари, провижнинг ОС и раскатывание бэкапа? Почему не как в лучших домах Лондона и Парижу - пуском 2-3 джоб в каком-нибудь условном дженкинсе?

Где, мать их, infrastructure as code? Почему новый сервер не введен в строй в течение часа

Так уже лулзы пошли по поводу «пойду посплю». Рекомендую #freedesktop на Libera.

Вот потому для iso27001 надо блин проверять бэкапы, и желательно раз в квартал

Окирпичивание было у интелов

у них там Ceph. В контейнерах внутри кубера (Rook). В общем девопсов допустили до боевой системы - и они закономерно её похоронили.

И у интела тоже?

Там профессиональное оборудование, в котором поломка SSD не вызывает даунтайма.

Ога, ога... какое-то прямо-таки волшебное оборудование которое никогда не выходит из строя.

Собственно это и была ошибка в фирмвари интела, которая приводила к отказу через сколько-то часов непрерывной работы. Ну и соответственно она стрельнула у всех кто перепродавал интел под своими лейблами. Знаю как минимум об одном инциденте где одномоментно ушел RAID1 из двух таких дисков

А какие именно интеловские ssd были affected?

А мне интересно какой высокий смысл ставить два одинаковых ssd в raid-1 ?

Анекдот. Заходит мужик в автобус, пробивает первый билет, затем второй билет. Садится, рядом второй мужик спрашивает

• А зачем ты купил билет?
• Чтобы не оштрафовали
• А если билет потеряешь?
• У меня есть второй билет
• А если второй билет потеряешь?
• У меня есть проездной.

В целом в современном мире RAID уже не нужны, даже вредны. Но люди считают, что так надо и используют их. Но забывают про бакап и восстановление из бакапа. Ну и время которое может занять.

инфраструктура оказалась недоступна из-за выхода из строя двух SSD-накопителей

Двух одновременно? Звучит маловероятно.

В целом в современном мире RAID уже не нужны, даже вредны.

Нужны и не вредны, вопрос в правильном приготовлении.

ssd не механика, в raid-1 нагрузка одинаковая, вот и приходит сибирский пушистик одновременно.

Перечисленные проекты полумертвые в плане нагрузки, разве что сам гемозависимый раможрущий анимесодержащий мертворубиновый швайногитлаб как-то невероятно насилует диск.

Для Ъ

Инфраструктура Freedesktop.org обслуживает более 1200 репозиториев открытых проектов. В качестве первичной платформы GitLab на серверах Freedesktop используют такие проекты, как Mesa, Wayland, X.Org Server, D-Bus, Pipewire, PulseAudio, GStreamer, NetworkManager, libinput, PolKit и FreeType. Проект systemd формально относится к FreeDesktop, но использует в качестве первичной платформы разработки GitHub. Для приёма изменений в проекте LibreOffice, который также частично использует инфраструктуру FreeDesktop, применяется свой сервер на базе Gerrit.

Как минимум d3-s4510 и d3-s4610 точно. И возможно какие то из 35-й и 36-й серий. https://docs.microsoft.com/en-us/troubleshoot/windows-server/backup-and-storage/intel-ssd-d3-s4510-s4610-series-1-dot-92-3-dot-84-tb-drives-unresponsive

Ты чёт сильно порвался.

что можно написать на пхп8, чего нельзя было сделать на 4 пыхе

Что можно написать на LANGUGE_NAME, чего нельзя было сделать на asm

Хм, у HP аналогичная проблема со своими дисками была, не связанная с интелами. Так что не только интел засветился.

У HP в дисках из своего только «нескучные обои».