Архивирование больших папок
папок

WinRAR

Есть же ionice. Еще можно планировщик ввода-вывода переключить на deadline — в теории тоже должно помочь.

edited

Спасибо за инфу, очень интересно

http://www.opennet.ru/tips/info/1684.shtml

LVM?

ну вот зачем? дирикторий, как бы не лучше )))

Я думаю проще было бы установить квоту на работу с диском, например на контейнер.

Написано плохо.

спасибо

ценный пример, спасибо

LVM, не слышал, но тема интересная, спасибо

1) Т.к. /bin/bash, то тесты лучше брать в двойные квадратные скобки.

2) «echo `curtime` …» лучше сделать функцией.

3) «if !(dpkg-query -W pv)» лучше заменить [[ ! -x `which pv` ]]

4) В cat $CUR_DIR/$LIST_FILE | awk '{ print $3 }' | sed "s|^|$SUBDIR/|" много лишнего, начиная с cat.

Больше ничего особо криминального не увидел.

пока не понимаю о чем идет речь, перечитаю через пол часа

остановлюсь на мысли, что всем не угодишь

не слышал, но тема интересная, спасибо

LVM позволяет снапшоты, а это залог неизменности данных в момент копирования.

Грамотно писать по-твоему - «всем не угодишь?»

все понял, внесу исправления и сделаю зарубки. Прошу учесть в личном деле, что я на этом скрипте учился писать на баше

LVM, не слышал, но тема интересная

каким боком она интересная, тормозными снапшотами?

Архивирование больших дирикторий (миллионы файлов)

а почему не использовать ФС со встроенным сжатием данных на лету?

ionice не работает. Совсем. Пруф: https://gist.github.com/apinstein/1067664
Нужно cgroups юзать

LVM позволяет снапшоты, а это залог неизменности данных

в моем случае я не админю тот сервак, такие глобальные изменения мне не доступны, но про существование такого инструмента знать конечно стоит, спасибо еще раз. К слову, моем случае вопрос изменения данных не особо стоит, файлы только создаются, не меняются и я создаю список файлов за месяц или год, обязательно прошедший, а потом по нему иду.

это и есть big data?

каким боком она интересная, тормозными снапшотами?

интересна лично мне, не обязательно для конкретного случая

а почему не использовать ФС со встроенным сжатием данных на лету?

использование другой файловой системы мне не доступно, да я и не вижу для себя какого-то выигрыша перед tar.gz

[[ ! -x `which pv` ]]

не-не, зачем так? и еще сообщение об ошибке на stderr. я проверяю так: function execs { type "$1" > /dev/null 2>&1; }. компактно, надежно, без лишнего вывода.

это и есть big data?

это big bad datа

PPS: Если кто скажет, на каком ресурсе еще можно засветить подобный стаф, буду премного благодарен. Ну и здорово вообще услышать какой-нибудь отзыв от знающих людей

Подобный стафф, заключающийся в одной осмысленной строчке кода - не нужен. Есть масса нормальных решений на все случаи жизни, но ведь поискать их сложнее, чем наваять своё, да.

не вижу для себя какого-то выигрыша перед tar.gz

т.е. получение мгновенной сжатой копии ваших данных, без нагрузок на железо это не выигрыш?

+1 за cgroups как ограничивалку. Нормальная ограничивалка ставит приоритет, а не жестко лимитит MB/sec. По скрипту - можно же и скорость листинга тоже ограничить. Кроме того, ls жуткий тормоз по сравнению с find, который, кстати, сам умеет сравнивать даты файлов.

Но чем это все лучше dump-а файловой системы? Dump и инкременты поддерживает, и сжатие. man dump.

Подобный стафф, заключающийся в одной осмысленной строчке кода - не нужен

точка зрения засчитана

Есть масса нормальных решений на все случаи жизни, но ведь поискать их сложнее, чем наваять своё, да.

не может быть, мы наверно считаете, что я не искал. Теперь, да, я вижу, что кое о чем я не подумал при поиске.

И навоять свое иногда полезно, не так уж много я и навоял) Кстати говоря, в скрипте есть кое-какой интерактив, одной строчкой такое не сделать

крутая штука, посмотрим, спасибо

Нормальная ограничивалка ставит приоритет, а не жестко лимитит MB/sec

да, приоритет здесь лучше подходит, если будет третья версия, то лимит уберу. Правда нужность версии такой под вопросом пока, впрочем как и ненужность)

По скрипту - можно же и скорость листинга тоже ограничить.

знать бы как ее ограницивать еще

Кроме того, ls жуткий тормоз по сравнению с find, который, кстати, сам умеет сравнивать даты файлов.

ls -U работает достаточно быстро, правда процесс получает статус D и не откликается. c find-ом я не доэкспериментировал, он не сортирует файлы перед выводом?

Но чем это все лучше dump-а файловой системы?

у меня в этих папка непрерывный поток файлом и я их по крону раз в месяц пакую. Дамп мне тут не друг. Да и не доступен он мне счас, как и рут, если говорить на чистоту.

man ionice

для таких задач тебе уже посоветовали взять специальную ФС.

отображает прогресс бар, что является неоценимой пользой, поскольку процесс архивации может занимать несколько дней.

мне тебя жаль...

Кстати говоря, в скрипте есть кое-какой интерактив, одной строчкой такое не сделать

при создании бекапа может быть только один «интерактив»: уведомление администратора об аварии.

получение мгновенной сжатой копии ваших данных, без нагрузок на железо это не выигрыш?

скажу сразу, что я мало знаю про сжатые файловые системы, но какой алгоритм сжатия информации в этой файловой системе, про которую вы говорите?

taronto скрипт не читал, но имею вопрос - твой волшебний скрипт использует lock файл для предотвращения двойного запуска?

66 if !(dpkg-query -W pv)

епрст! а как же CentOS openSUSE ну и Gentoo вконце концов?

да, это оно, но говорят, что не работает

Izjb, gzip, zle, Iz4

на выбор

скрипт не читал, но имею вопрос - твой волшебний скрипт использует lock файл для предотвращения двойного запуска?

никак нет, но там есть проверка на существование целевого файла-архива, достаточно ж я думаю

66 if !(dpkg-query -W pv)

епрст! а как же CentOS openSUSE ну и Gentoo вконце концов?

уже предложены альтернативы для этой строчки, будет исправлено

достаточно ж я думаю

Этого не достаточно. вот пример - у меня почтовый сервак делает срез почты используя LVM 22 часа. И может возникнуть ошибка копирования. И что бы исключить повторный запуск резервирования автоматизированного используется lock файл. который сигнализирует о запущенном или аварийно остановленном предидущем запуске.

дириктории

Директории же.

lock файл

да, о неудачных попытках скрипт не сигнализирует таким образом, может и стоит сделать. Поизучаю вопрос

Поизучаю вопрос

у тебя скрипт по крону работает ?

Директории же.

да, к моему сожалению

у тебя скрипт по крону работает ?

ну да, планируется по крону использоваться

ну да, планируется по крону использоваться

тогда всячески рекомендую задуматься о файле блокировок и реакции на него.

у меня сервера месяцами работают сами и их анализом я занимаюсь через систему мониторинга ибо много серверов. и скрипт резервирования должен уметь общаться с системой мониторинга. Например делать пометку в лог о удачном завершении резервирования. или о неудачном =) А вот уже агент мониторинга обрабатывая логи за сутки принимает решение - удачно все или нет. А запрет повторного запуска после ошибки позволит исключить еще больше фейлов. Как и два одновременно запущенных скрипта резервирования могу делов наделать =)

Если есть время, рекомендую http://tech.yandex.ru/education/kit/4/talks/1553/

всячески рекомендую задуматься о файле блокировок

да, отличная техника походу, и я скорее всего воспользуюсь вашим советом. Только сделаю эту функцию отключаемой, а то вдруг кто захочет запустить несколько экземпляров.