Статьи и литература по развертыванию и мониторингу серверов в ЦОДах

Какие последние задачи на работе были у вас, при условии, что вы админите, например, серверов 50?

Обновить их все автоматически ubuntu 10.04 -> 12.04, при том, что их около 600, хотя все однотипные.

Меня спрашивали, каковы будут мои действия при обновлении большой группы серверов/станций. Мои действия таковы: 1. есть ли документация со сценариями отката? нет => написать и прогнать план отката, задокументировать 2. обновить тестовый сервак, проверить, что всё запустилось ок и конфиги везде верны 3. проверить наличие свежих бэкапов 4. обновить первые 20% машин 5. обновить поэтапно остальные

Или это я усложняю?

Оу. я лох.

1. есть ли документация со сценариями отката? нет => написать и прогнать план отката, задокументировать
2. обновить тестовый сервак, проверить, что всё запустилось ок и конфиги везде верны
3. проверить наличие свежих бэкаповъ
4. обновить первые 20% машин
5. обновить поэтапно остальные

нормальный подход. но одного тестового сервера мало - не словишь все баги. Я бы разбил все машины на 3 группы.
* тестовая. обновляется первой. машины из этой группы ловят все баги, на их основе алгоритм обновления совершенствуется.
* основная. при обновлении багов быть уже не должно
* ВИП машины. обновляются вручную.

3. проверить наличие свежих бэкаповъ

это работа системы мониторинга.

Да, и я бы не поручал процедуру обновлениями puppet'y. Тут имхо больше подходит parallel-ssh. Машины обновляются строго по одной, по алфавиту. Между машинами можно выставить задержку, равной 2м интервалам системы мониторинга. Если ты получаешь алерт, то процесс останавливается. С помощью puppet я не знаю, как организовать поток обновлений подобным образом.

Окей, спасибо, про parallel ssh почитаю. ВИП - это только ведь к десктопам пользователей можно отнести, но тут понятно всё. Один тестовый сервер имхо сгодится на то, чтобы поправить вовремя крупные или критические ошибки, которых несомненно будет у меня.

не, ВИП сервера это сервера ВИП клиентов. Которые нельзя, кровь из носу, чтоб падали.

Какие последние задачи на работе были у вас, при условии, что вы админите, например, серверов 50?

Хорошо если все серверы однотипные - одна ОС, одно железо, одни требования и т.д. В таком случае действительно стоит изучить работу PXE - классная вещь для развертывания кучи серверов пачками в ДЦ. Можно создать «темплейт» ОС в котором учти все требования по конфигурации, туда же можно запихать события автоматической регистрации нового хоста в системе мониторинга. Как уже сказали при обновлении стоит обязательно гонять тесты, но как показывает практика достаточно читать changelog'и и обновляться только из «стабильных» репозиториев дистра где как правило делают только security багфиксы.

ps ВИП клиенты - блин, звучит как «ВИП сауна» =)

Немета

это, по-твоему, мужик?

лисяру

забудь как страшный сон

хабр

не трать свое время

что такого интересного можно написать и проверить на puppet дома

создание системного пользователя по определенному шаблону, подкладывание ему ssh-ключей, создание БД, прописывание грантов, и втыкание упомянутому пользователю в хомяк конфига это БД (.my.cnf в случае мускуля, например). Можно усложнить установкой требуемых пакетов.

Виртуализацию себе намучай и на ней уже разворачивай паппет.

Эти задачи уже близки к реальности, спасибо. А кто, если не Немет тогда?

Да мучаю, мучаю потихоньку. Опостылела даже, но что поделать.

Да Немет, Немет. Только это тетка :)

О_о Крутая! Нужно в русскую вики перевод заделать.