подскажите со способом архивирования файлов

dd

два вопроса:
1. где описание текущей схемы
2. почему не tar

1. где описание текущей схемы

да, неподумал... сейчас tar и используется. и именно на него уходит почти все время. на сжатие полученного тарболла уходит приблизительно 8 процентов времени относительно времени создания тарболла.

RAID же!

для меня это сложно. никогда не использовал RAID. как думаете, при использовании RAID, на сколько получится сократить время бэкапирования?

Ты слишко расплывчато пишешь. Так что история успеха.

Хост: debian stable. Куча виртуалок ~120Гб.

В 00 паковались все образы. tar+gzip паковал медленно. Пришлось использовать 7zip. Выиграл час.

как думаете, при использовании RAID, на сколько получится сократить время бэкапирования?

На 0 150МБ/сек.

2 миллиона * 1кб = 1Gbyte

Выделить отдельный раздел (lvm, чтобы можно было нарастить по мере надобности) для этих файлов и бэкапить его через dd (снапшот)

Если нет lvm, то сделать ФС в файле (losetup или mount -o loop) и бэкапить этот файл-ФС

лень гуглить, но, как мне помнится 7zip не рекомендован для продакшена

Там проблемы с правами доступа. А так рулит.

2 миллиона * 1кб = 2Gbyte

А почему бы не воспользоваться tmpfs?

7z не для бекапов.

А почему бы не воспользоваться tmpfs?

Ты о чем?

Ну, держать эти файлы в памяти. Или, что даже удобнее, использовать squashfs и/или aufs.

Если пара независимых хранилищ, и есть root права, чтобы сменить юзера, то рулит. А вообще ты прав: даже в man'е так написано.

Они же не временные, а постоянные, надо будет при загрузке в память перекидывать и постоянно с диском синхронизировать. Не нужно. Достаточно вынести их с основной ФС (привет тем кому достаточно /, /home и swap и кому не нужен LVM), на выделенный logical volume (partition) и бэкапить весь раздел (dd)

Ну, всё-таки такие бекапы сложно назвать гибкими. А сквош и обновить можно.

такие бекапы сложно назвать гибкими

Речь не о гибкости, а о времени (скорости).

ты как на допросе прям.
показывай уж всю схему полностью, вариантов много бывает, вот пример

Это почему нельзя назвать гибкими? Можно и назад примаунтить..

Смонтировать - допустим, но не изменить же.

ушел просвещаться...

показывай уж всю схему полностью

какие еще моменты интересуют? не описывать же все и полностью =)

такая еще подсказка, вдруг важно: файлы не удаляются. только добавляются и изменяются.

команду которой таришь покажи
это понятно, что не все твои тысячи миллионов разные между бэкапами, поэтому инкрементальный бэкап или использование append у tar'а могут дать большой выигрыш

Смонтировать - допустим, но не изменить же.

Изменить что? Бэкап? Зачем его менять то?

поэтому инкрементальный бэкап

по метаданным пройтись и занимает массу времени. попробуй ls -l на таком кол-ве файлов.

да я не спорю, что dd будет быстрее, но если нет возможности сделать отдельный раздел, то надо перебирать варианты

по метаданным пройтись и занимает массу времени.

именно. я же об этом в топике написал.

А почему нет? Или я что-то не понимаю?

Идея - взять создать с помощью dd файл на 2-3 гб , создать там fs, примонтировать, записать все эти миллионы файлов туда, отмнонтировать и переместить файл в директорию с бекапами (можно сжать).

создать там fs, примонтировать, записать все эти миллионы файлов туда, отмнонтировать и переместить файл в директорию с бекапами (можно сжать).
записать все эти миллионы файлов туда, отмнонтировать и переместить файл в директорию
записать ... отмнонтировать ... переместить

И в чем выгода? Каждый день будете гонять в файл-ФС миллионы файлов? Вы все неправильно поняли. Файлы надо перенести на небольшую фс один раз, а в бэкап лить один большой файл — образ файловой системы.

Каждый день будете гонять в файл-ФС миллионы файлов

а если rsync?
миллионы файлов то будет только в первый раз, дальше - легче

Не. rsync все-равно должен каждый раз просмотреть размер и дату каждого файла и в худшем случае еще и посчитать контр.сумму по содержимому.

Файлы надо перенести на небольшую фс один раз, а в бэкап лить один большой файл — образ файловой системы.

так и сделаю. спасибо. вопрос закрыт.

Может тогда лучше SSD? Не придется заливать каждый раз в оперативку.

а вот для таких задач рулит ZFS =) и снапшоты.