LINUX.ORG.RU
решено ФорумAdmin

Планирование реализации Backup'а

 , ,


0

1

Есть десяток серверов, нуждающихся в резервировании данных, немного сглажу ситуацию для простоты понимания проблемы, общей для всех серверов.

Дано:
- 2 сервера: бекап и боевой.
- Бекап сервер - bacula, 20 Tb HDD, 40 Mbps.
- Боевой сервер - 500 Gb данных, 15M файлов, RAID10 (HDD-SATA3), 100 Mbps, iostat в «небекапящемся» состоянии показывает около 70-90 tps для каждого винта (среднее значение за 1 min).

Необходимо:
- Ежемесячный полный бекап.
- Еженедельный дифференциальный бекап.
- Ежедневный инкрементальный бекап.

Суть проблемы - инкрементальный бекап выполяется 6 часов, затык в скорости чтения с HDD. Может кто-что посоветует, кроме самых неприемлемых вариантов - замены HDD или изменения частоты бекапов? На некоторых серверах вообще RAID1, там все еще хуже. Ну и само собой надо нулевые затраты, хотя в сложившейся ситуации, думаю, это нереализуемо без модернизации чего-либо.

какая fs, кто отвечает за запись, контроллер или os и её fs?что мешает делать репликации?

erzent ☆☆
()
Ответ на: комментарий от erzent

ФС - ext4

кто отвечает за запись

не совсем понял, но пусть будет софтовый рейд :)

что мешает делать репликации?

в смысле снимать бекапы уже с реплики? Надо подумать над этим.

Alternating_Current
() автор топика
Ответ на: комментарий от Alternating_Current

это единственный выход для нагруженных серверов,снимать с реплики бэкапы. Если есть возможность, смени fs на btrfs либо на xfs, ext4 особенно с xen это ужас, тк дисковые массивы тупят очень сильно. А так же разори начальство на рейд контроллер, хотя бы тыс за 20,софтовый рейд подходит разве что для Ad+файл серверы.

erzent ☆☆
()
Последнее исправление: erzent (всего исправлений: 1)
Ответ на: комментарий от Alternating_Current

тогда меняй на btrfs файловую систему, делай репликацию и снимай с неё бэкапы, и в любом случае рейд лучше делать железный.

erzent ☆☆
()

Может кто-что посоветует

Уменьшить пропускную способность в сети между твоими серверами так, чтобы она стала узким местом, а не дисковая система. Делается на маршрутизаторе или средствами linux. Один из самых простых бекапов - зеркало по lftp, а на vsftpd ограничиваешь скорость, но ты используешь средство покруче - bacula.

andrew667 ★★★★★
()
Последнее исправление: andrew667 (всего исправлений: 1)
Ответ на: комментарий от andrew667

Проблема не в ширине канала, а в том что 15М файлов с HDD долго проверяются из-за загруженности дисковой подсистемы. При этом немного замедляется общий отклик системы. LA ~20 из-за iowait (E3-1240v3). Так то все 40Mbps редко полностью забиты.

Alternating_Current
() автор топика
Ответ на: комментарий от Alternating_Current

это из-за ext4 отчасти , ну не подходит она под базы данных и нагрузки, она сделана для домашнего потребления.

erzent ☆☆
()
Ответ на: комментарий от Alternating_Current

начни сначала с перехода с ext4 на btrfs, если нету бесперебойника мин на 6 часов работы, если он есть, тогда xfs, возможно тебе этого хватит на данный момент.

erzent ☆☆
()
Ответ на: комментарий от erzent

БД на отдельных SSD, такие дела. Я пробовал журналирование отключать, становится намного легче, но у меня мурашки по коже бегают от такого режима работы.

Alternating_Current
() автор топика
Ответ на: комментарий от Alternating_Current

так я не предлагаю журналирование отключать, эти файловые системы обе журналируемые, и обе работают куда лучше ext4, хотя сейчас уже вообще не понятен смысл с ext4,в федоре,арче и опенсусе вообще ext советуют не юзать, из-за её проблем с производительностью.

erzent ☆☆
()
Ответ на: комментарий от Alternating_Current

Проблема не в ширине канала, а в том что 15М файлов с HDD долго проверяются

Ну раз проверка файлов обязательна, то надо тюнить дисковую систему. Самый действенный вариант без затрат - RAID0 на большом числе дисков на боевом сервере. Насколько у тебя крепкие памперсы на случай дохлого винта - решай сам. Я бы этим вариантом не пользовался. Тебе тут уже все посоветовали. Еще можно конечно делать снепшот LVM, его забирать, и уже из него данные выковыривать.

Так то все 40Mbps редко полностью забиты.

Поставь меньше (20 или 10) и посмотри как будет, хотя наверное бесполезно если у тебя сперва проверка идет, которая укладывает сервер.

andrew667 ★★★★★
()
Ответ на: комментарий от Xegai

в основном рекомендуют сейчас btrfs, особенно в сусе.

erzent ☆☆
()
Ответ на: комментарий от petav

какие преимущества у софтового рейда до 60 тыс в год за лицензию, перед рейд контроллером тысяч за 40-60?

erzent ☆☆
()

посмотри в сторону ZOL, zfs умеет и массивы десятки и снапшоты мгновенные, снапшоты lvm поставят раком всю систему надолго, btrfs - еще сыра, на данный момент лучше zfs ничего нет.

vxzvxz ★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.