Может быть Вы бекапите файлы которые и не сильно подвергаются компрессии?

Вот лог

  Build OS:               x86_64-pc-linux-gnu debian jessie/sid
  JobId:                  11
  Job:                    servak.2016-09-13_08.42.43_01
  Backup Level:           Full
  Client:                 "servak" 5.2.10 (28Jun12) Microsoft Standard Edition (build 9200), 64-bit,Cross-compile,Win64
  FileSet:                "servak SOFT" 2016-09-13 07:56:04
  Pool:                   "File" (From Job resource)
  Catalog:                "MyCatalog" (From Client resource)
  Storage:                "File" (From Job resource)
  Scheduled time:         13-Sep-2016 08:42:43
  Start time:             13-Sep-2016 08:42:46
  End time:               13-Sep-2016 08:43:44
  Elapsed time:           58 secs
  Priority:               10
  FD Files Written:       124
  SD Files Written:       124
  FD Bytes Written:       403,060,656 (403.0 MB)
  SD Bytes Written:       403,087,858 (403.0 MB)
  Rate:                   6949.3 KB/s
  Software Compression:   4.1 %
  VSS:                    yes
  Encryption:             no
  Accurate:               no
  Volume name(s):         backup1
  Volume Session Id:      3
  Volume Session Time:    1473752415
  Last Volume Bytes:      986,368,665 (986.3 MB)
  Non-fatal FD errors:    0
  SD Errors:              0
  FD termination status:  OK
  SD termination status:  OK
  Termination:            Backup OK

Написано же: Software Compression: 4.1 %

Вы были правы, у меня в тех папках лежал уже хорошо ужатый файл. Теперь пробую бэкапить 17 гб 1с баз. 7z в ультра они ужимались до 1.5 гб. Посмотрю до скольки сожмет бакула

Сейчас смотрю с какой скоростью происходит бэкап, bacula-fd.exe загружает только одно ядро и потребляет как то мало памяти, трафик в сети есть но очень уж его мало. Есть ли варианты как это можно ускорить?

gzip однопоточный

и, емнип, бакула на клиенте все архивирует и жмет, а потом только отправляет на sd

так что если хочешь быстрее - накидай скрипт, который будет забирать, например, на директора данные а там уже сжимать чем хочешь многопоточным, ну или не копировать на директора, а сразу на клиенте сжимать быстрым, убрать gzip компрессию

  Build OS:               x86_64-pc-linux-gnu debian jessie/sid
  JobId:                  12
  Job:                    serverfarm.2016-09-13_09.07.49_19
  Backup Level:           Full
  Client:                 "serverfarm" 5.2.10 (28Jun12) Microsoft Windows Server 2003 R2 Standard Edition Service Pack 2 (build 3790),Cross-compile,Win32
  FileSet:                "serverfarm" 2016-09-13 09:07:49
  Pool:                   "File" (From Job resource)
  Catalog:                "MyCatalog" (From Client resource)
  Storage:                "File" (From Job resource)
  Scheduled time:         13-Sep-2016 09:07:49
  Start time:             13-Sep-2016 09:07:51
  End time:               13-Sep-2016 09:56:47
  Elapsed time:           48 mins 56 secs
  Priority:               10
  FD Files Written:       66,530
  SD Files Written:       66,530
  FD Bytes Written:       3,137,774,507 (3.137 GB)
  SD Bytes Written:       3,149,270,116 (3.149 GB)
  Rate:                   1068.7 KB/s
  Software Compression:   83.3 %
  VSS:                    yes
  Encryption:             no
  Accurate:               no
  Volume name(s):         backup1
  Volume Session Id:      4
  Volume Session Time:    1473752415
  Last Volume Bytes:      4,143,104,711 (4.143 GB)
  Non-fatal FD errors:    0
  SD Errors:              0
  FD termination status:  OK
  SD termination status:  OK
  Termination:            Backup OK

Бэкап делался около 50 минут, что неплохо т.к. будет делаться ночью

Теперь попробовал распаковать бэкап, все папки и файлы с русским названием не были распакованы. Все что было на английском языке отлично распаковалось. При просмотре бэкапа все что было на русском отображается. Подскажите как правильно распаковывать бэкап с русскими символами

Посмотри, bextract достает?

Я правильно понимаю, что ты взял free версию bacula, и поставил к ней древнейший бесплатный клиент Windows? 5.2 клиент, жуткое старьё.

bareos не рассматривал?

serverfarm-fd Generate VSS snapshots. Driver="Win32 VSS", Drive(s)="D"
bacula-dir Start Backup JobId 25, Job=serverfarm.2016-09-14_00.00.00_56
 Using Device "FileStorage"
bacula-sd Volume "backup1" previously written, moving to end of data.
 Ready to append to end of Volume "backup1" size=22267100544
bacula-dir Max Volume jobs=9 exceeded. Marking Volume "backup1" as Used.
serverfarm-fd 
Error: Read error on file D:/Base/ZAOMKFarmalians/1SJOURN.CDX. ERR=���������� �� ������.
      Could not stat "D:/Base/ZAOMKFarmalians/1SJOURN.DBF": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/ZAOMKFarmalians/1SSTREAM.CDX": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/ZAOMKFarmalians/1SSTREAM.DBF": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/ZAOMKFarmalians/1SSYSTEM.DBF": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/ZAOMKFarmalians/1SUIDCTL.CDX": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/ZAOMKFarmalians/1SUIDCTL.DBF": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/ZAOMKFarmalians/1SUPDTS.CDX": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/ZAOMKFarmalians/1SUPDTS.DBF": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/ZAOMKFarmalians/1SUSERS.DBF": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/ZAOMKFarmalians/Accel.dll": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/ZAOMKFarmalians/admin": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/ZAOMKFarmalians/ARJ.EXE": ERR=�� ������� ����� ��������� ����.
 
Error: findlib/attribs.c:799 Error in GetFileAttributesExW: file \\?\GLOBALROOT\Device\HarddiskVolumeShadowCopy6\Base\ZAOMKFarmalians: ERR=�� ������� ����� ��������� ����.
      Cannot open "D:/Base/ZAOMKFarmalians": ERR=�� ������� ����� ��������� ����.
.
      Could not stat "D:/Base/ZAOMKFarmalians.exe": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/Аларго": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/базы БУХГАЛТЕРИЯ(только для них).reg": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/базы торговые.reg": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/Гортехресурс": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/Движения.xls": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/ДэзМедХим": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/КомментарийБанк(1).ert": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/МедАктив": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/МедОптима": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/номера счетов.ert": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/Омлек заказ.txt": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/ошибка.txt": ERR=�� ������� ����� ��������� ����.
      Could not stat "D:/Base/РасходКонтракт.ert": ERR=�� ������� ����� ��������� ����.
 
Error: findlib/attribs.c:799 Error in GetFileAttributesExW: file \\?\GLOBALROOT\Device\HarddiskVolumeShadowCopy6\Base: ERR=�� ������� ����� ��������� ����.
      Cannot open "D:/Base": ERR=�� ������� ����� ��������� ����.
.
bacula-sd Job write elapsed time = 00:18:03, Transfer rate = 1.264 M Bytes/second
bacula-dir Bacula bacula-dir 5.2.6 (21Feb12):
  Build OS:               x86_64-pc-linux-gnu debian jessie/sid
  JobId:                  25
  Job:                    serverfarm.2016-09-14_00.00.00_56
  Backup Level:           Full
  Client:                 "serverfarm" 5.2.10 (28Jun12) Microsoft Windows Server 2003 R2 Standard Edition Service Pack 2 (build 3790),Cross-compile,Win32
  FileSet:                "serverfarm" 2016-09-13 09:07:49
  Pool:                   "File" (From Run pool override)
  Catalog:                "MyCatalog" (From Client resource)
  Storage:                "File" (From Job resource)
  Scheduled time:         14-Sep-2016 00:00:00
  Start time:             14-Sep-2016 00:01:08
  End time:               14-Sep-2016 00:19:12
  Elapsed time:           18 mins 4 secs
  Priority:               10
  FD Files Written:       14,679
  SD Files Written:       14,679
  FD Bytes Written:       1,366,899,717 (1.366 GB)
  SD Bytes Written:       1,369,309,192 (1.369 GB)
  Rate:                   1261.0 KB/s
  Software Compression:   82.9 %
  VSS:                    yes
  Encryption:             no
  Accurate:               no
  Volume name(s):         backup1
  Volume Session Id:      6
  Volume Session Time:    1473767792
  Last Volume Bytes:      23,639,117,414 (23.63 GB)
  Non-fatal FD errors:    32
  SD Errors:              0
  FD termination status:  OK
  SD termination status:  OK
  Termination:            Backup OK -- with warnings
 Begin pruning Jobs older than 6 months .
 No Jobs found to prune.
 Begin pruning Files.
 No Files found to prune.
 End auto prune.

В общем это с 2003 сервера ошибки. Похоже он их и не копирует, но в бэкапе они есть. Но есть еще 2012 r2, сегодня по тестировал папки и файлы с русскими символами копируются и разворачиваются без ошибок.

Еще с 2003 есть траблы в копировании того что в буфере через РДП т.е. копируешь русские символы вставляешь и получаешь не пойми что.

Абсолютли, так и было. bareos не рассматривал т.к. не знал о её существовании. Тем более проблема видимо только в 2003 сервере и только с русскими символами.

Вообще русские символы в ИТ это чистое зло.

Попробуй bareos + 15.2 клиента. Я думаю что у тебя не будет проблем с Русскими буквами. Но не могу на 100% быть уверен. Если тебе реально не нужны фишки enterprise от bacula - тогда bareos + bareos web ui

Сегодня поставил отдельно bareos, заработало но вот только BAT виснет тот который к ней прилагается. По этому сегодня не удалось запустить бэкап. Завтра добавлю задание для бэкапа и буду смотреть что получится.

Да, BAT виснет. Пока один висит - запускаешь вторую копию. :) Она не должна виснуть. А старую потом убиваешь. В общем, я по этому и написал, что тебе стоит сразу рассмотреть bareos web ui. - Бесплатно, и почти так же не плохо как BAT

bareos web ui я поставил, но не увидел где там можно добавлять задания и клиентов, вообще нету кнопок add. И даже то что уже имеем нельзя ни как изменить. Конечно может быть я как то криво его настроил, но не факт.

Сейчас запустил BAT на windows server 2008 sp2 т.е. vista и все отлично запустилось с первого раза. Интересно webmin может ли управлять bareos так же как baculой. Там все очень даже удобненько получалось

bareos web ui я поставил, но не увидел где там можно добавлять задания и клиентов, вообще нету кнопок add.

А и нельзя ничего добавлять, только запускать и мониторить. Добавлять ручками/скриптами.

Интересно webmin может ли управлять bareos так же как baculой.

Были древние патчи в сети для этого. :)

Поставил bareos, отлично копирует и восстанавливает папки с русскими символами. Теперь хочу толково настроить задания для бэкапов, буду рад подсказкам как это лучше всего сделать.

Теперь хочу толково настроить задания для бэкапов, буду рад подсказкам как это лучше всего сделать.

А это самая широкая тема для творчества... Отталкиваться нужно от бизнес требований. А дальше пилить конфигу. :) Я к примеру использую скрипты и т.д. - Если не забуду, могу скинуть примеров. Но в целом, ты подумай сам свою модель сперва.

Хочу сделать один полный бэкап в неделю, а все остальные дифферинциальные, что б по дате можно было восстановить. Еще нужно с Volumes как то разобраться, а то если новую создаю, то она на все свободное место создается.

Посмотри вот сюда: http://blog.bacula.org/whitepapers/CommunityDiskBackup.pdf

Для bareos, вестимо подходит.

Хочу сделать один полный бэкап в неделю, а все остальные дифферинциальные

Я для каждого сервера на storage, выделил своё хранилище. В каждом хранилище X томов, где X - нужная мне глубина. Далее, у меня написан скриптец простейший, который, после каждого удачного Full backup, ставит пометку USED на весь том. Если будет не удачный Full или Incremental (например сервер был в down, или был обрыв связи) - backup будет повторен с неудавшимся уровнем.

Например:

• Воскресенье 20час. 10 мин:
• FullBackup.
• Том №1, после первого Full backup - сразу становится Used (если bacukp был удачным!).

• Понедельник-Воскресенье: 10час. 10 мин.
• IncrementalBackup: пишутся в том №2.

• Воскресенье 20час. 10 мин:
• FullBackup.
• Том №2, после Full backup - сразу становится Used (если bacukp был удачным!).

• Понедельник-Воскресенье: 10час. 10 мин.
• IncrementalBackup: пишутся в том №3.

• Воскресенье 20час. 10 мин:
• FullBackup.
• Том №3, после Full backup - сразу становится Used (если bacukp был удачным!).

• Понедельник-Воскресенье: 10час. 10 мин.
• bareos, обнаруживает, что нету более свободных томов.
• Делает очистку данных из базы для том №1.
• Сжимает до 0 байт том №1
• IncrementalBackup: пишутся в том №1.

Таким образом, я гарантированно, могу иметь: один Full+Increment, Full. Добавив ещё том, уже буду иметь: два Full+Increment, Full. И т.д.

Я сделал так. Но это не панацея, каждый выбирает сам.

Неудачное повторение

Доброго времени суток, сообщество.

Два года назад настраивал baculu на серваке 14.04.+ 80 Windows клиентов. Работало не везде однозначно хорошо - периодически слетали машины под Windows XP, насколько понял - из-за коряво работающего VSS + Касперский. После замены на DrWeb слетать машины стали реже.

Но вот в этом году сделал сначала апгрейд сервака на 16.04 и Bacula перестала работать, а теперь никак не могу установить её по новой, поднял уже отдельно новый Линевый сервак и мучаюсь на нём, кое-как засунул базу в Мускул, через dpkg-reconfigure не проходит, пришлось скриптами правленными ставить. База создалась (хотя при этом были ошибки о создании таблиц),проверял конфиги fd, sd b directora - всё путём, но вот запустить bconsole не получается. Думает и отваливается. В списке служб есть такое:

root@ubuntu:/usr/share/bacula-director# ps aux | grep bacula

bacula 1394 0.0 0.2 202744 3916 ? Ssl сен26 0:00 /usr/sbin/bacula-sd -c /etc/bacula/bacula-sd.conf -u bacula -g tape

root 1408 0.0 0.1 196456 2416 ? Ssl сен26 0:00 /usr/sbin/bacula-fd -c /etc/bacula/bacula-fd.conf

root 6204 0.0 0.0 14164 928 pts/1 S+ 16:38 0:00 grep --color=auto bacula

root@ubuntu:/usr/share/bacula-director#

Голову сломал - куда копать

Чего-то ты заморочился. Я делал очень просто. Ставлю debian stable, чистый, минимальный делаю apt-get install mysql-server делаю bareos.sh с содержимым:

#
# define parameter
#

DIST=Debian_8.0
# or
# DIST=Debian_7.0
# DIST=xUbuntu_14.04
# DIST=xUbuntu_12.04

DATABASE=mysql
# or
# DATABASE=mysql

URL=http://download.bareos.org/bareos/release/latest/$DIST/

# add the Bareos repository
printf "deb $URL /\n" > /etc/apt/sources.list.d/bareos.list

# add package key
wget -q $URL/Release.key -O- | apt-key add -

# install Bareos packages
apt-get update
apt-get install bareos bareos-database-$DATABASE

При установке запросит пасс от sql Профит, работает прямо из коробки. Для удобства меняем пароли на свои, загоняем клиентов, делаем файлсеты и лейблы. Ну еще и расписание. Если нужно, могу свой конфиг кинуть.

bareos

Просто самый доступный и понятный на тот момент для меня Bacula показался.

А Bareos тоже работает под Windows как системная служба? У меня просто AD поднята, как под юзверями себя ведёт?

В любом случае - кинь на мыло, что посчитаешь нужным g a v собака a m o y r . r u - надо всё попробовать, глядишь и выберу что-то лучшее. Спасибо заранее

P.S. Мне коммерческое предложение прислали на Enterprise - то что я ручками сделал бесплатно мне предложили за полтора ляма, коммерсы недоделанные

bacula console - Не пускает - TLS

Доброго времени суток. Повторю вопрос

После полной переустановки сервера ошибка стала более изощренной -

root@ubuntu-server:/home/grandz# bconsole

Connecting to Director localhost:9101

Director authorization problem.

Most likely the passwords do not agree.

If you are using TLS, there may have been a certificate validation error during the TLS handshake.
Please see http://www.bacula.org/en/rel-manual/Bacula_Freque_Asked_Questi.html#SECTION00... for help.

Конфиги настроены в соответствии с маном - все имена и пассы совпадают, имена DirName менял по всякому - не коннектится. Помогите, люди добрые. Трабл под сервером Ubuntu 16.04

Про директора на windows ни чего сказать не могу, директор на дебиане в lxc крутиться, чего и тебе советую. Только клиенты на win машинах стоят как служба, из коробки. До этого пробовал bacula, она не корректно работает с русскими именами файлов.

Конфу сейчас закину.

Конфиг уже должен быть у тебя на почте, можешь поправить в сответвии с моим. Еще вижу что оно вроде как хочет еще сертификаты, убери из конфига любые напоминания о TLS. Ну еще одна очевидная весчь, bconsole.conf редактируй тоже, и вноси актуальные пароли. Я его сейчас тоже тебе кину.

TLS

Всё получил, спасибо, но пока хочу добить Bacula - никак не всеку, толи я туплю, толи это новые приколы от 16.04

Поставлено всё по дефолту. Пасы и конфиги перепроверны не один раз. Но эта сука упорно говорит, что у меня лажа с TLS. Кстати на моей bacula траблов с русскими именами не было. Архивы по 100 гигов с рабочей станции и хранил и восстанавливал.

Моя конфигурация проста -

1. Сервак под Ubuntu - на нём директор и хранилище (+Apache,MySQL,PHP)

2. Клиенты на Windows и Linux машинах

3. Сеть под AD, управление было из-под webacula

Вот мои конфиги

Director { # define myself

Name = ubuntu-server-dir

DIRport = 9101 # where we listen for UA connections

QueryFile = «/etc/bacula/scripts/query.sql»

WorkingDirectory = «/var/lib/bacula»

PidDirectory = «/var/run/bacula»

Maximum Concurrent Jobs = 20

Password = «Qolp13u1YuevbFT4eKHVDW_AYmHoipAL-» # Console password

Messages = Daemon

DirAddress = localhost #(ставил и IP и DNS имя по барабану) }

# Console {

Name = ubuntu-server-mon

Password = «8yZfTnT8KyA5NhzE2JPdJS25yCv2i4p5S»

CommandACL = status, .status

} @|«sh -c 'for f in /etc/bacula/client-conf/*-dir.conf ; do echo @${f} ; done'»

И вот

# # Bacula User Agent (or Console) Configuration File #

Director { Name = ubuntu-server-dir DIRport = 9101 address = localhost Password = "Qolp13u1YuevbFT4eKHVDW_AYmHoipAL-" }

bareos new

Доброго времени суток. Не могу никак создать таблицы в MySQL для bareos

Уже поставил myphpadmin в нём в консоли SQL скрипт выполняю, не нравится ему половина переменных. В результате создаёт не все таблицы и как следствие:

JobId 0: Fatal error: sql_create.c:97
Create DB $25-янв 16:10 ubuntu-server-dir JobId 0:
Fatal error: sql_create.c:97 Create DB Job record INSERT INTO Job
(Job,Name,Type,Level,JobStatus,SchedTime,JobTDate,ClientId,Comment)
VALUES ('BackupCatalog.2017-01-25_16.10.00_21',
'BackupCatalog','B','F','C','2017-01-25 >16:10:00',1485342600,2,")
failed. ERR=Unknown column 'SchedTime' in 'field list'