Компания Postgres Professional выпустила обновление утилиты резервного копирования pg_probackup. Разработаны улучшения как для СУБД Postgres Pro редакций Standard и Enterprise, так и для открытой СУБД PostgreSQL.

В настоящее время командой разработки pg_probackup поддерживаются две версии продукта — общедоступная pg_probackup 2.5 и корпоративная pg_probackup 2.6. Обе они синхронно развиваются, и в них добавляется новая функциональность, но в версию 2.6 дополнительно включена поддержка облачного протокола S3 и вскоре будут добавлены другие новшества для корпоративных заказчиков.

( читать дальше... )

>>> Подробности

17 мая вышла очередная версия средств резервного копирования RuBackup версии 1.9 для развёртывания на платформах x64_86, Байкал, Эльбрус с дистрибутивами Astra Linux, CentOS, RedHat, Debian, Ubuntu, ALT Linux, RedOS, Rosa Linux и др.

( читать дальше... )

Официальная страница продукта

>>> Подробности на ресурсе astralinux

Состоялся первый релиз утилиты, при помощи которой производится сохранение ресурсов кластера Kubernetes в виде чистовых yaml манифестов без лишних метаданных. Скрипт полезен для тех, кому нужно перенести конфигурацию между кластерами без доступа к исходным файлам конфигурации, или для настройки резервного копирования ресурсов кластера. Запуск возможен локально в виде bash-скрипта, но для тех, кому не хочется устанавливать зависимости в виде kubectl, jq и yq подготовлен контейнер. Также контейнер готов для работы в виде CronJob с использованием ролей, назначенных в Service Account.

Ключевые особенности:

• Сохранение выполняется только для тех ресурсов, к которым у вас есть доступ на чтение.
• На вход можно передать перечень пространств имен, в противном случае будут использованы все доступные для вашего контекста.
• Сохранению подлежат как ресурсы пространств имен, так и глобальные ресурсы кластера.
• Использовать утилиту можно локально как обычный скрипт или запустить в контейнере или в кластере kubernetes (к примеру, как CronJob).
• Может создавать архивы и ротировать их за собой.
• Может фиксировать состояние в git-репозитории и отправлять в удаленный репозиторий.
• Вы можете указать конкретный перечень ресрусов кластера для выгрузки.

Подробнее о настройке и работе со скриптом читайте документации

>>> Репозиторий

github-backup — программа для скачивания с GitHub данных, связанных с клонированным репозиторием: форков, содержимого багтрекера, комментариев, викисайтов, milestones, pull requests, списка подписчиков.

Увидев, что даже произошедшее с программой youtube-dl, когда её репозиторий заблокировали вместе с багрекером и pull request’ами, мало кого подтолкнуло к отказу от зависимости от GitHub — даже не разработчика самой youtube-dl — Джои Хесс решил, что резервное копирование чего-либо, кроме исходного кода, пользователям GitHub неинтересно.

При этом сами git-репозитории исходного кода на GitHub архивируются автоматически сайтом https://softwareheritage.org/, а сторонние репозитории можно добавить туда только вручную, но эта функция глючит, да ещё и не поддерживает автоматическое обновление копий. Получается парадоксальная проблема: средний пользователь GitHub не думает о резервном копировании, но получает его, а для тех, кто использует свой сервер, может быть, именно для надёжности, автоматического архивирования не происходит, даже если их ПО пользуются.

Сайт и репозиторий github-backup пока будут доступны по адресу https://github-backup.branchable.com/, на который ссылка вон там, но с 29 декабря ей нужен новый мейнтейнер.

>>> Сообщение о прекращении поддержки

Открываю проект в open-source

Тестируется и эксплуатируется в настоящий момент на Windows для MS SQL

Предназначение: хранение всех файлов бекапов на Yandex-диске в каталогах, названных согласно текущих (на момент отправки) даты и времени, автоматическая чистка старых файлов на Yandex-диске.

Утилита может работать в двух режимах:
1. Режим слежения
2. Режим ручного запуска

В режиме слежения утилита следит за изменениями файлов в указанных в настройках каталогах и отправляет их в Yandex-диск. Доступ к аккаунту Yandex-диск также указывается в настройках. Перед отправкой файла происходит чистка старых каталогов на Yandex-диске.

В режиме ручного запуска утилита копирует определенный пользователем бекап на Yandex-диск.

При появлении файла в одном из отслеживаемых каталогов утилита, запущенная службой в режиме backuper.py watcher -s с помощью nssm, происходит создание каталога вида YYYYMMDD / HHmm на Yandex-диске (корень возможно указать в настройках). В этот каталог копируется найденный файл. В настройках указано максимальное хранение файлов 250 дней. Перед копированием каждого файла происходит удаление каталогов YYYYMMDD старше 250 дней.

PS. Буду рад предложениям.

>>> GitHub

Компания Acronis объявила о выпуске нового решения – Acronis Backup 12.

Acronis Backup 12 отличается возможностью обеспечивать резервное копирование и защиту данных компаний в современных гибридных облачных ИТ-средах вне зависимости от того, хранятся ли данные в облаке, локально, в различных виртуальных и физических средах, в удалённых системах или на мобильных устройствах.

В случаях, когда необходимо восстановить данные после потери, Acronis Backup 12 предоставляет несколько возможностей, включая как восстановление отдельного файла, сообщения электронной почты или базы данных, так и полное восстановление системы, в том числе на «голое железо». Кроме этого, Acronis Backup 12 позволяет ИТ-менеджерам осуществлять миграцию данных, приложений и систем между платформами.

( читать дальше... )

>>> Подробнее

Bareos — это на 100% открытый форк проекта bacula.org, специализирующегося на резервном копировании и восстановлении данных. Разработчики bacula, как известно, перешли на несвободные лицензии, закрыли часть кода и сделали некоторый функционал «enterprise-only» в мае 2012 года.

Данный форк начал свое существование в конце 2010 из-за наплевательского отношения главного разработчика Bacula к присылаемым патчам, а также из желания некоторых участников сообщества продвигать проект, оставляя его полностью свободным. Код bareos находится под лицензией AGPL v3, полностью совместимой с GPLv3, и доступен на GitHub.

Что нового:

• После трех месяцев бета-тестирования, релиз достиг надлежащего качества и стабильности;
• В значительной степени улучшена интеграция с Windows: портирована серверная часть bareos, расширены возможности VSS (Microsoft Volume Shadow Copy Service). Добавлена поддержка Windows Encrypted Filesystem, а также атрибута windows-регистра «NotToBackup», позволяющего исключать одиночные файлы из резервной копии (к примеру, объектные файлы или правила сборки);
• Добавлен интерфейс для написания плагинов на языке python. Используя имеющуюся базу python модулей, теперь писать плагины стало еще проще;
• Благодаря нативной поддержке таких облачных технологий, как Ceph и Gluster, резервные копии теперь можно размещать прямо на облака. Поддерживается шифрование канала и данных;
• Произведен рефакторинг кода с использованием анализатора Coverity;
• В данный момент разработка сфокусирована на улучшении web-ui и написании плагина для VMWare (резервное копирование и восстановление виртуальных машин).

Полный список изменений можно посмотреть тут

>>> Подробности

Программа использует в своей работе много open source софта и обладает следующими возможностями, которые запускаются одна за другой автоматически:
1) Многотомно архивирует и сжимает каталог с важными файлами, добавляется избыточность на уровне файлов с помощью rar.
2) Создаёт ISO образы с rar томами.
3) Добавляет избыточности на уровне носителя в ISO образы с помощью dvdisaster.
4) Записывает избыточные ISO образы на болванки.
5) Проверяет результат записи.

Консольная часть программы работает в любой операционной системе, серверная часть протестирована только под Linux.

>>> Сверхнадёжные бэкапы с помощью Aulix Backup2DVD, ваши данные сохранятся на долгие годы, царапины теперь не страшны

GNU ddrescue — это инструмент для восстановления данных. Программа копирует данные из одного файла или блочного устройства (жесткий диск, cdrom, и т.д.) в другое, пытаясь сохранить часть небитых данных в случае ошибки чтения.

Краткий список изменений:

• Исправлена ​​ошибка в операциях «or» и «xor» ddrescuelog.
• Новая опция -H, --test-mode.
• Новая опция -L, --loose-domain для ddrescue и ddrescuelog.
• Новая опция -N, --no-trim.
• Новая опция O, --reopen-on-error.
• Опция -K, --skip-size была расширена, добалены функции пропуска по максимальному размеру, а так же отключения пропуска.
• В опции -l, --logfile-size размер логов был увеличен до 10000 (было 1000).
• Скорость работы увеличена при использовании опции -m, --domain-logfile
• Общее время работы теперь отображается на экране.
• Теперь отображается сообщение «О копировании неизвестного количество байтов» , когда размер входного файла не может быть определен.

>>> Полный список изменений

BAR - это программа для архивирования бэкапов. Разработчик создал эту программу после того как не смог найти простой в использовании софт для архивирования бэкапов (зашифрованных и сжатых) которые можно сохранить на CD, DVD или BD. Программа активно развивается. Используется лицензия GPLv2.

Особенности программы:

• Умеет создавать, просматривать, тестировать, сравнивать и распаковывать архивы файлов и образы дисков.
• Может разбивать архивы на части, можно выбрать размер архива, при этом каждую часть можно открыть и просмотреть независимо.
• Сжатие данных с помощью zlib, bzip2, lzma или алгоритма xdelta3.
• Шифрование архивов с использованием алгоритма gcrypt (AES , Twofish и т.д.)
• Асимметричное шифрование с помощью RSA.
• Быстрый доступ к записям в архивах : можно найти и извлечь отдельные файлы без предварительной распаковки / дешифрования всего архива.
• Хранение архивов непосредственно на внешний сервер через ftp, scp или sftp.
• Умеет хранить архивы на CD/DVD/BD.
• Встроенный планировщик, для создания резервного копирования ежедневно или еженедельно.
• Хороший графический интерфейс.

Список изменений 0.18:

• Добавлена поддержка многопоточного(многоядерного) сжатия / шифрования.
• Увеличение скорости создания архивов.
• Добавлена функция автоматического удаления дубликатов записей индекса, когда сервер запущен.
• Добавлена поддержка протокола WebDAV
• Добавлен uuid.
• Обновление gpg-error 1.10, gcrypt 1.5.0, gnutls 3.1.18, libcdio 0.92, pcre 8.34.
• Добавлена поддержка листинга содержимого удаленного каталога.

Список изменений

Скриншоты: 1, 2, 3, 4, 5, 6.

>>> Сайт

Obnam является простым и безопасным инструментом для резервного копирования.

Резервные копии могут храниться на локальных жестких дисках или удаленно, по протоколу SSH SFTP. Резервный сервер, если он используется, не требует никакого дополнительного специального программного обеспечения.

Особенности программы:

• Создание снапшотов.
• Возможность создавать резервные копии, зашифрованные с помощью GnuPG.
• Исключение дубликатов (если в репозитории резервных данных уже есть похожая копия бэкапа, то она будет повторно использована).

Изменения данной версии:

• Команда Convert5to6 была удалена.
• Новая опция --always-restore-setuid которая всегда восстанавливает флаги setuid/setgid в разрешениях при восстановлении бэкапа.
• Новая опция --exclude-from
• Обновлен мануал по программе (PDF, HTML)
• Плагин FUSE умеет обновлять информацию о себе.
• Теперь у большинства ошибок программы есть свой уникальный код (например: ERROR: R0B15DX: Cannot find requested generation for client havelock).
• Была переписана с нуля программа «obnam-benchmark» (но разработчик всё же не советует её использовать).

Список обновлений

>>> Сайт

Bareos - форк системы централизованного бекапа Bacula, созданный в связи с фактическим прекращением развития OpenSource части проекта и переносом фич оттуда в закрытую часть. Подробности в этом треде.

Новые возможности:

• Director и Storage Daemon для Windows
• интерфейс плагинов на Python
• бекэнд для облачных хранилищ и кластерных файловых систем. На данный момент поддерживаются Gluster, Ceph and Amazon S3. Подробнее
• поддержка разного blocksize для разных pool. Подробнее

Скачать: бинарные пакеты, исходный код.

Релиз ещё не является стабильным, требуется тестирование.

>>> Подробности

Conserve — это утилита для резервного копирования. Изначально основной функцией было делать полный бэкап системы, использующей LVM, на лету и отсылать отчёты по электронной почте. В дальнейшем появился дополнительный функционал.

Сейчас Conserve умеет:

• Бэкап блочного устройства с помощью снепшотов LVM и dd.
• Бэкап MBR.
• Бэкап файлов, по возможности используя снепшот LVM.
• Бэкап файлов с помощью rsync.
• Бэкап на SMB (CIFS) или NFS сетевой ресурс.
• Собирать информацию полезную для восстановления системы.
• Автоматически определять ресурсы, которые нужно зарезервировать для восстановления системы с нуля.
• Отправлять отчёт о выполнении задания по электронной почте.

Страничка на GitHub.
Инструкция по установке.

Сайт программы.

( читать дальше... )

>>> Подробности

Вышел первый публичный релиз утилиты резервного копирования с глобальной дедупликацией zbackup. Программа находит области, содержащие одни и те же данные во всех сохраняемых в неё образах, и сохраняет их только один раз. Данные затем сжимаются и, по желанию, шифруются. Оптимально подавать на вход один большой .tar файл, содержащий полный бэкап системы, или же непосредственно сырой образ диска, подлежащий резервному копированию - программа не пытается интерпретировать формат файла, а просто дедуплицирует любой полученный от пользователя. Дедупликация глобальна - данные, полученные в разное время из разных образов, сохраняются только один раз. За счет этого достигается высокая инкрементальность и низкие затраты дискового пространства.

Для достижения данной функциональности программа использует кольцевую хэш-функцию со скользящим окном для побайтной проверки на совпадение с уже существующими блоками данных, наподобие того, как это реализовано в программе rsync.

( читать дальше... )

Домашняя страница программы: http://zbackup.org/

Страница разработки на github: https://github.com/zbackup/zbackup/

>>> Версия 1.0 (tar.gz)

Компания 2ndQuadrant объявила о выходе первой версии Barman — набора python-скриптов для резервного копирования СУБД PostgreSQL.

Утилита позволяет:

• производить «горячий» backup БД на уровне файловой системы, архивировать журналы изменений в процессе работы с использованием удаленного доступа по ssh;
• управлять backup'ом нескольких серверов;
• восстанавливать БД по состоянию на заданный момент времени;
• компрессировать архивные логи.

>>> Подробности

Российская компания SkyCover опубликовала код web и shell интерфейса для программы резервного копирования duplicity.

Duplicity - утилита командной строки, предназначенная для резервного копировния на любые файловые ресурсы, включая Amazon S3. Duplicity поддерживает шифрование GPG, инкрементальные копии с помощью librsync (сохраняются только различающиеся блоки внутри файлов), реализует полезные команды для управления архивом.

SkyCover Duply и SkyCover Duply Web - это (еще один) интерфейс к duplicity, делающий ее более дружественной. Программы ориентированы на серверные задачи и созданы для упрощения работы с сервисом SkyCover Бэкап. В то же время, они универсальны, не привязаны к сервису и распространяются под лицензией GPLv3.

SkyCover Duply (scduply) - утилита командной строки для управления duplicity через файлы конфигурации. Основана на duply (v.1.5.2.3), но имеет ряд приятных расширений.

SkyCover Duply Web (SCDW) - веб-интерфейс (django) для настройки профилей scduply, позволяющий удобно указывать файловые пути и исключения, в т. ч. под Windows/CygWin.

>>> Подробности

2 июня 2011 года вышла очередная стабильная версия 3.3.0 инструмента для выполнения резервного копирования Amanda Network Backup.

Список изменений относительно корректирующей версии 3.2.3, вышедшей месяцем ранее, достаточно внушителен. Ознакомиться с ним можно на сайте проекта и в архиве с исходным кодом.
Вот лишь наиболее значимые изменения:

• новые сервер и клиент amdumpd, позволяющие клиенту начать бэкап самого себя
• имплементирована команда amzfs-sendrecv для восстановления при помощие amrecover
• изменён список каталогов для поиска скриптов
• в amanda.conf добавлены некоторые опции и разделы
• новые алгоритмы в taperscan - по старшинству и лексический
• s3 device - используется многопоточность для ускорения передачи
• режим аутентификации по умолчанию «bsdtcp»

>>> Исходный код

>>> Официальный сайт

В данной статье рассматривается использование ПО Bacula для управления резервным копированием на предприятии в гетерогенной сети. Упомянуты вопросы резервного копирования Unix, Linux и Windows серверов, описан веб-интерфейс Webacula, процессы копирования и восстановления данных, представлены примеры работы.

>>> Подробности

12 Апреля, в день своего релиза, Percona XtraBackup получила награду «Application of the Year»
на конференции O'Reilly MySQL Conference & Expo


В этот же день выпущена новая версия утилиты Percona XtraBackup предназначенной
для создания «горячих» резервных копий таблиц, использующих InnoDB/XtraDB.


Percona XtraBackup позволяет, не создавая существенной дополнительной нагрузки
на сервер, делать полные, инкрементальные, частичные резервные копии баз данных,
работающих под управлением СУБД MySQL, Percona Server, MariaDB, Drizzle.

В версии 1.6 в опции скрипта innobackupex добавлены опции:

• extra-lsndir, позволяющая указывать директорию с заархивированной резервной копией и считывать с какого момента производить инкрементальное копирование.
• incremental-lsn, позволяющая явно указать позицию (log sequence number), с которой начинать инкрементальное копирование
• incremental-dir, которая передает значение соответствующей опции исполняемого файла xtrabackup

Мы исправили более 10 дефектов, убрали многочисленные предупреждения при сборке, обновили документацию

Дополнительная информация:

• Бинарные пакеты( Linux, FreeBSD, Solaris)
• Документация
• Исходные коды
• Баг-трекер
• Блог
• Форум
  

Утилита выпускается под лицензией GPL v 2 и полностью бесплатна

Также для Percona XtraBackup доступны:

• консалтинг
• техподдержка
• тренинги
• разработка

Будем рады видеть вас среди наших пользователей и клиентов.

>>> Подробности на mysqlperformanceblog

Bacula — ПО для организации резервного копирования и восстановления данных по сети для множества операционных систем.

Номер версии немного неожиданный: предыдущий релиз — 3.0.3. Он обусловен тем, что теперь разработчики хотят подчеркнуть ветки Bacula Project и Bacula System Enterprise. Таким образом, Enterprise-версия будет иметь чётный и младший major number. Например, 4.0.0, которая ожидается в ближайшем будущем. В свою очередь, нечётная и старшая версия Bacula будет содержать больше возможностей.

Новое в 5.0.0:

• усечение раздела после его очистки;
• восстановление сразу с нескольких SD;
• балансировка нагрузки между девайсами во время резервирования.

>>> Подробности