GitLab случайно удалил боевую базу данных

http://devopsreactions.tumblr.com/post/43975697262/hacked-the-production-data...

Я тоже так делал. Незабываемые ощущения скажу я вам.

Я их всех на ноль делил!

Ага. Когда живот в районе лодыжек вдруг оказывается.

Алсо давно поделил их на ноль.

Да и хрен с ним. Вот если бы гитхаб такое заявил.

Нет слов. xD

А вот базы данных в Pagure (https://pagure.io) не удаляют!

Я случайно базу а гитлабе... Это не опасно?

TODO after data restored

Не хватает записи о внедрении метода ладошек: «перед тем, как удалять что-то, приподнимаешься на стуле, кладёшь ладошки на стул и садишься на них. Внимательно читаешь команду, которую набрал, как если бы в первый раз её увидел. И только потом запускаешь.»

А где ещё хостить свой оверлей? На гейхабе, что ли?

Это надо было делать в самом начале. Теперь, когда всё накрылось к чертям, нужно беспокоиться о разбежавшихся клиентах.

На самом деле слова есть, и все они матерные.

Вот если бы гитхаб такое заявил.

Гейхаб никогда ничего подобного не заявит, при косых взглядах скажет, что всё так и было, или вообще криворукие клиенты всё сломали.

Вот жеж рукожопы, то у них обновление часа на 3 затягивается, то теперь вот это.

Это ж как нужно было так лохануться?..

А, понял. Классическое rm -rf не в той консоле.

Всем пофиг.

Случайно что?

Это что вообще такое? Судя по «Get it running», какая-то поделка для локалхоста на федоре.

На чьи деньги банкет?

Уже почти 11 часов в дауне? Оргвыводы неминуемы :)

Случайно что?

Базу в гитлабе.

Уже почти 11 часов в дауне? Оргвыводы неминуемы :)

Они там раскатали только 60%.

Даже стримят как восстанавливают. =)
https://www.youtube.com/watch?v=nc0hPGerSd4

Не повезло бедному Йорику.

по-моему gitlab не понял как правильно пиариться на даунтаймах

когда google прилег, они такой репорт потом опубликовали что все забыли про даунтайм и могли только обсуждать «wow, какая там инфраструктура, мощь и сила»

а тут - не, понятно конечно, что «админы всех стран объединяйтесь» и мы им конечно сочуствуем, но для компании которая продает хостинг-сервис иметь такую инфраструктуру и рассказывать об этом вслух..

So in other words, out of 5 backup/replication techniques deployed none are working reliably or set up in the first place. => we're now restoring a backup from 6 hours ago that worked

Короче, другими словами, ни одна из пяти систем репликации/бэкапа не работала нормально. facepalm.gif

http://lurkmore.to/Я_случайно_X

Я в курсе, поэтому и написал так 😀

У меня был случай. Я только пришел на работу (ну именно на ту). А там был тип который думал, что его переведут на мою должность (собственно пока вакансия была не занята он и обслуживал сервак). Ну чувак обиделся и хотя официально помогал и отвечал на вопросы, но делал это очень нехотя и с видом таким как буд то я ему теперь должен почку.

Однажды у меня возникла ситуация в которой я был не совсем уверен. Пошел к нему и пояснил, что вот так и так... Ну вроде обсудили - пошел я к себе в кабинет. Через минуту влетает этот чувак белый как мел и сообщает - я удалил базу (пол миллиона пользователей. Все настройки, пароли.... Да и пользователи типа Прокуратуры).

Короче сервак пока работал с кэша. В итоги мы оттуда вытянули все данные и залили их обратно. С тех пор дружили.

rsync закончился!

Этопять. Молодцы парни.

Случайно базу. Же.

Как хорошо что 3 месяца назад переехал на самозахощеный Гитлаб.

Грустно. Надеюсь, скоро выйдут в строй.

Тоже такое было, но не на проде конечно.

Нужны терминалы, которые можно красить в разные цвета. Чтобы визуально легко отличать.

prompt чем не подходит?

Бедные админы. Или программисты. Ну или кто именно там бд грохнул. Сочувствую им в общем.

Нужны терминалы, которые можно красить в разные цвета.

Годная идея, сам так делаю. Да и то во время спешки не всегда спасает.

Гранату

На самом деле, как обычно, начальник виноват. Где поставленные и исполненные задачи организации, тестирования и периодической проверки бекапов? Джун Вася, который drop table сделал, тут совсем не причем. Это могло быть что угодно, от уборщицы до взлома