LINUX.ORG.RU
ФорумAdmin

FS под тонны бекапов?

 , ,


2

4

Здарова, парни. Че то задолбало меня с бекапами помойки ковыряться: создаются 2 дня, открываются поганой вендой по 6 часов, папочка вытаскивается еще 6 часов. Ни сна, ни покоя.

В общем, в задницу tar, rsync всем и каждому!
Конечно, надо купить диски и пересобрать текущий бекап-сервер с нуля, т.к. он тоже под ведром работает. Казалось бы, флаг в руки, иди и делай. Но сквозь лень пробивается временами дотошность. И это качество ухватилось за выбор ФС.

Вот чем меня наградили в качестве бекапника:
Intel G630, 2Gb DDR3 (так сказать «vkontakt edition»)
2Tb SATA3 sda, 3Tb SATA3 sdb ~ 7200rpm 64Mb
2.53Tb *.tar.gz архивов - одна полная копия всего файлового добра, следовательно без сжатия все это занимает в районе 3Тб 4Тб (это он на 15% сжимал самые жирные юзерские персональные папки) с учетом небольшого запаса.

Smb-шары размером 600-900Гб + более мелкие размером до 90Гб.<br> Смотрим свойства некоторых из них:

680 559 файлов в 65336 папках занимают 910Гб. Средний размер файла: 1,37Мб
651 836 файлов в 109328 папках занимают 695Гб. Средний размер файла: 1,09Мб 
41 616 файлов в 6381 папках занимают 58,5Гб. Средний размер: 1,43Мб
7 901 файлов в 836 папках занимают 16,6Гб. Средний размер: 2,15Мб
Глаза же говорят, что больше всего там файлов из категорий 200Кб и 4Мб
Если я хранить хочу 4 недельных копии, то надо минимум 12Тб. Ок, беру еще 3 диска по 3Тб и делаю LVM.
Выполнять процесс бекапа будет rsnapshot.

Собрав все в кучу, получаю следующие требования к фс:

  • Приличная производительность при работе с небольшими файлами
  • Возможность расширения/сжатия под lvm
  • Поддержка acl и возможность лазить по фс через smb.
  • Поддержка длиннющих путей
  • Мало-мальская надежность при сбоях питания
  • Настроить и забыть (о фрагментации, fsck, etc)
    Казалось бы, проще поставить ext3, но он съест под себя дохренища места, ext4 туда же, xfs и btrfs довольно посредственны при множественной записи. Я в смятении.


Последнее исправление: mrPresedent (всего исправлений: 2)

Не используй tar, если тебе часто нужны «отдельные папочки или файлики». zip или non-solid rar твой выбор. Или вообще squashfs.

kawaii_neko ★★★★
()

Настрой Bareos (Bacula) и не занимайся ерундой с tar.gz и rsync. XFS в этом случае идеально подойдет.

Поддержка acl и возможность лазить по фс через smb.

Это еще зачем?

Black_Roland ★★★★
()
Последнее исправление: Black_Roland (всего исправлений: 1)

Неверный инструмент

В общем, в задницу tar, rsync всем и каждому!

До-о, если инструмент для архивирования попытаться применить для резервного копирования, то он, внезапно, не подходит. Вот сюрприз.

Таки вы хотите резервное копирование или архивирование?

Camel ★★★★★
()
Ответ на: комментарий от Black_Roland

Доступ по smb нужен что б ковыряться в этих самых бекапах сидя из под заботливо купленной работодателем венды. ACL может пригодиться ради сохранения прав на файл (хотя в этом вопросе я могу щас здорово затупить).

Добавлено требование к поддержке длинных путей. У меня они бывают ну прямо ооооочень длинными. По большому счету, у меня в шарах такие длинные пути, что я перед девками хвастаюсь.

В конечном итоге мне необходимо резервное копирование. Основанный на rsync rsnapshot мне более чем подходит, потому что времени на разностную копию уходит очень мало, не надо заморачиваться с поиском конкретного файла, т.к. он делает хард-линки, и главное все работает без лишней головоломки.

mrPresedent
() автор топика
Ответ на: комментарий от mrPresedent

Основанный на rsync rsnapshot

Обязательно настрой exclude для кэшей браузеров и подобного хлама.

anonymous
()

Переходи на zfs, чо. Там тебе и мухи, и котлеты. Разве что со скоростью могло быть лучше, особенно если тебя даже btrfs и xfs не устраивают. Впрочем, у тебя всё равно в CPU всё упирается, если сжимать хочешь.

melkor217 ★★★★★
()
Последнее исправление: melkor217 (всего исправлений: 1)

насколько вижу узкое место это диски, а точнее время доступа и скорость дисков.

как часто дергаются(и сколько клиентов) данные из хранилища?

Если решать в лоб, то теоретическая скорость записи одного бэкапа по времени ~ 10 часов.

Для увеличения скорости можно использовать mdraid(0,10,50) или, если есть бюджет, железный рэйд.

anonymous
()
Ответ на: комментарий от melkor217

и насколько помню по требованиям zfs нужно море оперативки(как и всем :) ) а у топикстартера только 2Gb DDR3

anonymous
()

xfs — самое ок, только её уменьшать нельзя и надо сперва почитать про неё перед mkfs

доступ по смб должен быть исключён, ибо бекапы не просто так отчуждаются

anonymous
()
Ответ на: комментарий от anonymous

Ох да, про это я не подумал.

«2Гб хватит. Но лучше 4 поставить. А если есть возможность, то все 8. Короче, чем больше, тем лучше.» - вольный перевод среднего высказывания разработчиков zfs о требовании к памяти.

p.s. я сам тестил с памятью не меньше 8Gb. может взлетит, а может и нет :)

melkor217 ★★★★★
()
Ответ на: комментарий от mrPresedent

Доступ по smb нужен что б ковыряться в этих самых бекапах сидя из под заботливо купленной работодателем венды. ACL может пригодиться ради сохранения прав на файл (хотя в этом вопросе я могу щас здорово затупить).

Настрой bacula и не занимайся херней. Подключиться к серверу бекапов через putty.exe, запустить bconsole и положить из бекапа нужные файлы на файлопомойку для последующего ковыряния — дело на 3 минуты. В качестве ФС ext4 на lvm, примонтированный с noatime. Ну или xfs, если не боишься, что электричество отключат во время записи.

Deleted
()
Ответ на: Неверный инструмент от Camel

если инструмент для архивирования попытаться применить для резервного копирования

In computing, tar is a computer software utility for collecting many files into one archive file for distribution or backup purposes.

...

Собственно, долгие годы бэкап на ленту был единственным разумным бэкапом. И tar — способ разместить данные на ленту.

KRoN73 ★★★★★
()
Ответ на: комментарий от Deleted

если дисковый массив не справляется с нагрузкой, думаю что изменением архитектурного решения быкапов(бакулой и др.) что то изменится.

anonymous
()
Ответ на: комментарий от anonymous

Диски я лучше в LVM засуну, нежели в mdraid, так мне будет гораздо проще увеличивать объем группы.

Скорость чтения на дисках совсем не критична. Данные с копий нужны бывают раз в месяц и далеко не всегда. Спасает recycle+crossrename с отдельными 2Тб под корзину. Скорость записи желательно конечно иметь поболее, потому что 120Мб/с это не дело при гигабитном соединении.

Самбе однозначно быть, по ряду причин:

  • на помойке koi8-r и положить туда файл через cp значить исковеркать его название (вот хз почему так получается, даже если копировать из utf-8)
  • со мной еще двое работают и дальше mc они не продвигаются
  • закрывать архивы конечно круто, но есть host allow/force user

    Память докинуть не проблема, 4Гб можно поставить, а вот G630 там навсегда.

    Просмотрев графики производительности файловый систем, смотрю в ufs, ext3 и jfs, хотя дико пугает фрагментация.

    XFS мне пригодилась бы для хранения этих самых tar-ов, но в конечном итоге у меня будет тупо потоком записываться куча мелких файлов, которые на зло не настолько мелкие, что б смотреть в сторону raiserFS

mrPresedent
() автор топика
Ответ на: комментарий от mrPresedent

когда вантузный шифровальщик пошифрует тебе все вантузы и все бекапы, тогда паяльник в заднице напомнит тебе о моих словах об отчуждении бекапов

рейзер никем больше не поддерживается, а хфс лучше остальных осиливает параллельный доступ

anonymous
()
Ответ на: комментарий от manntes-live

backuppc, как и bacula хранит все добро в БД, это не удобно для меня в плане «достать инфу, когда всему армагеддец». Не хочу ни разу больше руками править базы данных. Я знаю насколько эти утилиты шикарны, вытягивай что хочешь централизовано с одного клика и т.п. Однако, мой вопрос не о выборе инструмента для резервного копирования.

Вот какая фс быстрее справится с записью 2 миллионов файлов размером 1Мб, при этом выживает при хардхалте и ресайзе? Лично мне на ум приходит ext2/3/4 и интимная cephfs (которая в контексте задачи не актуальна). С другими я попросту лично не работал.

mrPresedent
() автор топика
Ответ на: комментарий от mrPresedent

не хранит ничего в бд backuppc

anonymous
()
Ответ на: комментарий от anonymous

xfs давно уже не боится сбоев питания

Круто. Надо попробовать.

Deleted
()
Ответ на: комментарий от mrPresedent

Диски я лучше в LVM засуну, нежели в mdraid, так мне будет гораздо проще увеличивать объем группы.

Одно другому не мешает, можно сделать pv поверх mdraid. К тому же у mdraid можно подкрутить stripe_cache_size и перенести на отдельный диск (или вообще отключить) bitmap, и скорость увеличится до двух раз. И это далеко не полный список того, что можно с ним сделать, в гугле полно информации.

Deleted
()
Ответ на: комментарий от andrew667

Ок, сегодня к обеду приедут 3 диска, соберу группу и просто протестирую скорость работы rsync на предложенных файловых системах.

mrPresedent
() автор топика
Ответ на: комментарий от mrPresedent

Если клиентов по самбе будешь подключать много, то советую настроить autofs. xfs - рекомендованная файловая система по умолчанию в RHEL.

andrew667 ★★★★★
()
Ответ на: комментарий от andrew667

Да клиента то будет 3 админа + сервер 1С, складывающий в шару свои архивы.
До 23:00 проторчал в пятницу, подкручивая все это дело. Из-за элементарного отсутствия нужного количества SATA-портов, пришлось использовать лежавший без дела Core Quad 8400 с 3Gb DDR3. В итоге до тестов не добрался. Накатив первым делом на lv ext4 потерял 174Мб. Полный бекап занял меньше 12 часов, сожрав 2.1Тб благодаря exclude. Подобный расклад меня более чем устраивает. Таким образом, благодаря механизмам rsync я могу хранить данные за месяцы вплоть до года, в зависимости от интенсивности вносимых изменений. Единственный неприятный момент заключается в правах: несмотря на атрибуты -urltpog, для копируемых rsync'ом директорий назначаются права 700.

В любом случае, мне интересно продолжить эксперименты. Накидаю валяющиеся винты в бесполезный g630 и посмотрим, что выдаст лучшие результаты.

mrPresedent
() автор топика
Ответ на: комментарий от mrPresedent

складывающий в шару свои архивы

паяльник купи и начальнику отдай

anonymous
()
6 января 2016 г.
20 января 2017 г.
Ответ на: комментарий от Deathstalker

Используются Unix системы. NTFS не подходит для linux систем. FAT том не может превышать 128 гб, в BSD работает, в linux даже не пробовал.

Разворачиваю FreeNas, в целом он отвечает Вашим требованиям. Файловая система zfs позволяет поддерживать версионность файлов, имеет скрытую корзину и снапшоты, raid, интеграцию с AD. Для пущей надежности rsnapshot-ом отливать бекапы на отдельные диски.

anonymous
()

zfs со сжатием lz4 и ничего не сжимать на стороне клиента.

King_Carlo ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.