LINUX.ORG.RU
решено ФорумAdmin

Ваше мнение. Организация резервного копирования.


0

1

Описание инфраструктуры предприятия:

  • Несколько подразделений, объединенных VPN
  • В каждом подразделении есть специальное оборудование для хранения бэкапов этого же подразделения (NAS, винчестер и т.д.)
  • В каждом подразделении нужно бэкапить LVM и папки Linux, Windows машин (1С, данные пользователей)

Сейчас бэкап делаю самописными скриптами:

  • Для LVM: использую snapshot;
  • Для папок: разные другие скрипты
  • Логи скриптов анализирую zabbix (сейчас только ошибки в работе скриптов, если скрипт не запустился я и не узнаю)

Хочется:

  • Просто хочется быть уверенным что все бэкапы делаются и не шерстить файловые сервера на предмет «есть ли файлы бэкапов или нет?»

Собственно вопрос! Что посоветуют ваш опыт? Подточить работу скриптов, организовать её как то с учетом гетерогенности или переходить на что-то типа baculla?

★★★★★

Bacula как мне кажется из опенсурсного сейчас самое то. Немного сложен в первичной настройке, но потом всё как по маслу.

Присылает каждую ночь почту с результатами бекапов, можно использовать централизованый директор для управления и множество хранилищ и клиентов. В общем голосую, 4 года работы и никаких проблем.

blind_oracle ★★★★★
()
Ответ на: комментарий от petav

Ну там можно указать скрипты для запуска до бэкапа и после, как на клиенте, так и на сервере. Так у нас дампятся базы MySQL на линухах, MSSQL на винде. Так что просто делаешь снэпшот в скрипте, а потом его бэкапишь, я так понимаю.

blind_oracle ★★★★★
()
Ответ на: комментарий от petav

http://flant.ru/services/backup/tech Хорошая обзорная, именно обзорная статья пор Baculla. Как я понял проблема LVM решается скриптами подключенными к заданиям.

petav ★★★★★
() автор топика
Ответ на: комментарий от blind_oracle

Скажите, и как оно 4года? Вы сидите на старой версии какой-то? Или обновляете периодически bacula? Просто интересно как оно в долговременной перспективе то...

DALDON ★★★★★
()
Ответ на: комментарий от DALDON

Обновляю конечно, начал кажись в версии 2.чтототам, потом была 3, потом 5. Никаких значимых изменений в синтаксисе конфигов не было вроде бы, только апгрейды структуры каталогов в MySQL пару раз, но они делаются автоматически скриптом в комплекте. Так что впечатления в общем положительные.

blind_oracle ★★★★★
()
Ответ на: комментарий от petav

Их не так много -

http://webacula.sourceforge.net/

Но, по большому счету, если все отлажено - он особо не нужен, хватает штатной bconsole. Задачи тупые:

1) Сделать reload новой конфигурации из конфигов
2) Запустить новое (вне расписания), только что добавленное задание на backup для проверки
3) Восстановить файл

zgen ★★★★★
()
Ответ на: комментарий от petav

Ну да, кроме вебакулы особого выбора нет, всё собираюсь его поставить, но руки никак не дойдут :) файлы восстанавливать надо достаточно редко, так что консоли пока хватает.

blind_oracle ★★★★★
()
Ответ на: комментарий от petav

И да, если планируется бэкап большого кол-ва файлов, то рекомендуют PostgreSQL для хранения каталога, хотя у меня в бакуловской базе MySQL 44 миллиона строк, проблем особых не наблюдаю, всё шустро.

blind_oracle ★★★★★
()
Ответ на: комментарий от petav

Бэкапить через LVM снэпшоты разделы с базами СУБД не рекомендуется, если, конечно, на время создания снэпшота СУБД не была остановлена.

Скрипты для бекапа MySQL/PgSQL есть на бакуловской вики. Точно не скажу, но кажется там было решение и для Oracle.

xpahos ★★★★★
()

Если есть стример то Bacula если стримера нет то ну егонафиг. У него свой формат бэкапов. Что будешь делать если полетит сам бакула? Да там есть возможность бэкапа самого бакулы. Но ты готов это все за час восстановить?

Сам мучаюсь с самописными скриптами и раз в месяц чтонибудь глазками проверяю....

demmsnt
()
Ответ на: комментарий от DALDON

Да, но реже, по возможности :) У бакулы насколько я помню требования только к «одинаковости» версия директора и хранилища, на клиентов ему до барабана.

blind_oracle ★★★★★
()
Ответ на: комментарий от demmsnt

Что значит полетит бакула? Файлы бакулы можно распаковать егойными средствами, в качестве резерва каталога в СУБД можно юзать bootstrap-файлы. Ну а от краха каталога в базе можно защищаться как обычно - бэкапы и репликация. Я бекаплю базу бакулы на другой хост каждый день скриптиком и всё.

Самописные скрипты нафиг, если система чуть сложнее чем два сервера, то работать с ней затрахаешься.

blind_oracle ★★★★★
()
Ответ на: комментарий от blind_oracle

Думаю если у вас скажем хостинг или какаянибудь СУБД ферма, то еще ничего. У меня 7 серверов с всяким хламом типа 1С. При этом все находится в перманентном переезде на новые места. Резервные копии летят на мой компьютер и раз в неделю я сбрасываю это все на DVD и сдаю начальнику. Ежедневный объем около 10 гигабайт. Когда у меня был Бакула у меня за месяц забился диск с бэкапами. Я так и не нашел (возможно я слепой) как мне выковырять файлы на компьютере где нет ни бакулы ничего кроме штатных tar.gz или чего там еще.

С тех пор я ищу чтонибудь на стандартных архивах. В свое время написал для сервера хрень с inotify которая говорила что изменилось в файлопомойке, но так все и закончилось.

demmsnt
()
Ответ на: комментарий от demmsnt

Бакула это бд и 4 файла конфигурации. Восстановить можно за 15 минут.

zgen ★★★★★
()
Ответ на: комментарий от demmsnt

езервные копии летят на мой компьютер и раз в неделю я сбрасываю это все на DVD и сдаю начальнику.

Бгг. А у меня сотни GB а за неделю - по терабайту, на DVD можно до следующего пришествия христа писать.

Когда у меня был Бакула у меня за месяц забился диск с бэкапами.

Настраивать rotate надо.

Я так и не нашел (возможно я слепой) как мне выковырять файлы на компьютере где нет ни бакулы

Зачем это делать, непонятно.

zgen ★★★★★
()
Ответ на: комментарий от demmsnt

Товарисч, вы, как и многие тут, изобретаете велосипед. Бакула крайне гибко настраиваемая система, которую можно настроить под что угодно. Восстанавливать файлы на севрере, где нет бакулы - зачем? Оно ставится одной командой, а потом - bextract в руки.

Да, оно сложнее чем tar.gz|bz2, но при грамотном планировании позволяет про бэкапы вообще забыть, просто проверяешь почту от бакулы и убеждаешься что всё хорошо.

blind_oracle ★★★★★
()
Ответ на: комментарий от blind_oracle

Я акцентирую внимание на масштабах применения бакулы. При масштабах моих он слишком.

Требование вытаскивать файлы с DVD в принципе не мое, но лучше это уметь чем не уметь. В общем как, то так.

demmsnt
()
Ответ на: комментарий от petav

Непонятно только в чем проблема.

Без db действительно непросто что-либо вернуть из backup'а bacula. Эта проблема решается крайне просто - автоматическое ежедневное восстановление этой db из backup'а на те же агенты, на которых этот backup производится.

Сколько времени требуется чтобы при full fail'е backup сервера восстановить что-то? Крайне мало:

1) Установить ОС
2) Установить mysql
3) Установить bacula
4) скопировать её конфигурационные файлы и восстановить db из dump'а.

В бинарном дистре это за минуты решается. Не говоря уже о том, что от fail'а hdd на сервере бекапа спасает raid, а в случае сбоя компа можно банально переставить винт на что попало.

А вот МАСШТАБИРОВАНИЕ, крайне гибкое расписание, fileset'ы, запуск prepare и postbackup задач, отчеты, управление через web - это все скриптом не напишешь.

Я вам грустную историю расскажу. Жил был скрипт backup'а. Работал, работал. Пока данные в новое место не перенесли. При переносе похерилось. Скрипт отработал на пустой дире, успешно создал backup 0 длины и перезаписал старый backup. Результат = face palm.

Я не видел исходников скрипта. Но вполне допускаю, что мой код может оказаться столь же крив.

zgen ★★★★★
()
Ответ на: комментарий от demmsnt

Требование вытаскивать файлы с DVD в принципе не мое, но лучше это уметь чем не уметь. В

Если это требование, то тут конечно вы правы. А во всем остальном - нет.

zgen ★★★★★
()
Ответ на: комментарий от blind_oracle

при грамотном планировании позволяет про бэкапы вообще забыть

Вот это главное достоинство. Оно просто работает, а добавить еще что угодно к backup'у - дело 15 минут.

zgen ★★★★★
()
Ответ на: комментарий от zgen

Хорошо, принял. У меня не увязочка с архитектурой.

  • Директор - тут все понятно он всем рулит. Он все знает обо всем.
  • Файловый сервер - тут тоже понятно. Это по сути объект чьи данные мы бэкапим
  • Сервер хранения - в моем понимании это должно быть то место куда бэкапы складываются. Но у меня бэкапы, где на NAS, где на отдельный винчестер файлового сервера складываются. Выходит что мой компьютер-объект должен быть и Файловым сервером и Сервером хранения.
petav ★★★★★
() автор топика
Ответ на: комментарий от anonymous

а по делу? Хоть бы строку на dd подсказал для следующих поколений

minakov ★★★★★
()
Ответ на: комментарий от petav

Так и выходит, если у вас множество мест хранения.
Сервера хранения точно так же описываются в директоре и задания могут быть распределены между ними.

zgen ★★★★★
()
Ответ на: комментарий от demmsnt

Я так и не нашел (возможно я слепой) как мне выковырять файлы на компьютере где нет ни бакулы ничего кроме штатных tar.gz или чего там еще.

Это? http://www.bog.pp.ru/work/bacula.html#util

Возможно при этом имеет смысл придерживаться правила: одно задание - один том (файл).

sin_a ★★★★★
()

Описываю типичный случай из моей практики:

Делаю резервное копирование как обычно. Прихожу утром на работу а скрипт все еще работает, хотя вчера он завершил работу часов в 6 утра. Бухгалтера жалуются на тормоза (ну понятно, на их сервере 7zip что, то жует). Начинаем смотреть что. Оказывается менеджеры получили из Москвы 2 DVD с рекламными комплектами и мало того что скопировали их на сервер, так еще и каждый стянул к себе по копии. Эти DVD попали в резервную копию и в принципе они там не нужны. Побеседовал с менеджерами. DVD перенес куда положено. Взял сегодняшний архив и снес все 33 копии прям из архива и перепаковал.

Да у нас бардак. Я хочу работать в организации где сервером называется не обычный компьютер с добавленной памятью. Где есть NAS, а не D-Link как у меня. В таких организациях есть сервера хранения. Пользователи там либо грамотные либо работают по регламенту и главбух по собственной идее не копирует базы 1С. В таких условиях Bacula хорош.

Насчет скрипта. Я сам вручную выполняю ротацию потому, что знаю такие истории на практике. А еще часто нужно оставить вот именно эту резервную копию потому, что после нее с базой делали что, то такое что пусть лучше будет.

demmsnt
()
Ответ на: комментарий от petav

Ну, никто не мешает запустить на одном сервере как клиента, так и сервер хранения бакуловские, у меня так и есть в двух местах, никаких проблем. А НАС просто монтируется по НФС или ЦИФС к серверу хранения куда-то в ФС и используется как обычно.

blind_oracle ★★★★★
()
Ответ на: комментарий от zgen

Да, главное юзать инклюды и на каждого клиента выделять отдельный конфиг-файл. Тогда добавление нового клиента еще быстрее из шаблона, да и конфиг структурированее.

blind_oracle ★★★★★
()
Ответ на: комментарий от blind_oracle

У бакулы есть клиент для винды как 32 бита, так и 64. Никаких проблем, использует VSS, сохраняет НТФСные пермишены.

А Bare Metal Recovery для Win2003/Win2008 работает?

bigbit ★★★★★
()
Ответ на: комментарий от sin_a

У меня не было вроде, годами бэкапится без проблем. Недавно упал файл-сервак виндовый, восстанавливал из бэкапа ~700Гб, всё прошло чётко.

blind_oracle ★★★★★
()
Ответ на: комментарий от drSchur

Да выбора особого как-бы нет, еще есть Аманда, но когда я ее щупал (давно) - что-то мне в ней не понравилось сильно... Так что бакула. Могу вывесить примеры рабочих конфигов (шаблон) для ускоренного входа в дело :)

blind_oracle ★★★★★
()
Ответ на: комментарий от bigbit

Не пробовал, но в вики ихнем читал как его можно реализовать, но там вроде юзают ntbackup для копирования systemstate, и его результат уже всасывают в бакулу. Для моих задач хватает просто бэкапа файлов, а ОСь переставить - вопрос не долгий в общем-то.

blind_oracle ★★★★★
()
Ответ на: комментарий от blind_oracle

Могу вывесить примеры рабочих конфигов (шаблон) для ускоренного входа в дело :)

Посмотри, может захочешь что поправить: www.linux.org.ru/wiki/en/Bacula

sin_a ★★★★★
()
Ответ на: комментарий от sin_a

У меня везде win64-fd, может в этом дело. Такого не было ни разу.

blind_oracle ★★★★★
()

Спасибо, мужики. После нового года соберем стенд, потренируемся, а потом думаю внедрением займемся. Признателен всем за мнения. Спасибо!

petav ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.