Я так понимаю нужно более быстрое железо

Архивируется чем?

tar --bzip2

использовать инкрементальные бэкапы 6 дней в неделю (пн-сб) плюс полный раз в неделю (вс)

Ну как минимум можешь использовать gzip - он в два раза быстрее, а архив потолстеет всего на 5-10 Гб. И погугли, умеет ли tar в многопоточность.

А что дальше происходит с этими 73GB ежедневными архивами?

Размер архива - 73Gb.

Гм. Чем не устраивает инкрементальный бэкап?

И погугли, умеет ли tar в многопоточность

AMD Athlon(tm) 64 Processor 3000+

Память: 1.5 Gb DDR2

если я не путаю, на этом реликте может быть двухканальная память (опционально). если не секрет, какие модули образуют 1.5 гига и работают ли 2 канала.

а архив потолстеет всего на 5-10 Гб

Смелое заявление. Впрочем, bzip2 не нужен в любом случае.

Смени на gzip, станет намного веселей. И да, инкрементальные архивы рулят.

если я не путаю, на этом реликте может быть двухканальная память

Если _тс_ не путает насчёт DDR2, то это Athlon 64 3000+ для AM2 на ядре Orleans, в котором, разумеется, двухканальность поддерживается.
http://www.cpu-world.com/CPUs/K8/AMD-Athlon 64 3000 - ADA3000IAA4CN (ADA3000...

Поддерживается не значит, что настроено и работает. 1.5 гигов меня смутили. должно быть 2х1 или 0.5х2 Собственно, вопрос в том, чтобы при загрузке компа на выводе БИОС посмотреть наличие строки «memory channels 2 of 2» (что то вроде этого) и по тестам сравнить.

Поддерживается не значит, что настроено и работает

Явно не работает, раз 1.5 гига. Это у интелов была частичная двухканальность, когда в схеме 1+0.5 1гиг двухканальный, а оставшиеся 0.5 - одноканальный.

Может быть и не АМ2, а 939. На котором, впрочем, то же может быть двухканальность.

Там от материнки вроде зависело больше, чем от сокета. Впрочем, я уже точно не помню, так как давно с ним не работал.

*сейчас кто-нибудь встрянет с темой «Да вы зажрались, я на таком сейчас сижу»)

939 не умел DDR2. Двухканальный DDR умел, а DDR2 нет. Чипсетов не было, поддержка DDR2 появилась только в процессорах, минуя мост.

Двухканальность даст прирост производительности в пару % на синтетических тестах.

У меня на работе большинство десктопов слабее :)

И да, посмотреть в чем затык не судьба ?

939 не умел DDR2. Двухканальный DDR умел, а DDR2 нет. Чипсетов не было, поддержка DDR2 появилась только в процессорах, минуя мост.

Ээээ, NForce4 ?

Да вы зажрались, я на таком сейчас сижу. Точнее работаю пятый год. Ничего не тормозит.

Так проще поставить двуядерник нормальный.

Связи между памятью и чипсетами никакой. Контроллер в процессоре.

И погугли, умеет ли tar в многопоточность.

От tar оно не зависит, он выполняет обычные однопоточные bzip2/gzip. Можно сделать tar c bla | pbzip2 -c, например.

Точняк :) Про контроллер в проце я и забыл :)

От tar оно не зависит, он выполняет обычные однопоточные bzip2/gzip. Можно сделать tar c bla | pbzip2 -c, например.

Я tar и имел ввиду. Он же тоже часть времени перед архивированием занимет. И возможно даже немалую.

lzop еще быстрее

Я фигею, 28 ответов и не одного дельного.

Можно ли как сделать, чтобы архивация выполнялась побыстрее?
процессор: AMD Athlon(tm) 64 Processor 3000+

ДА ! И дело - в железе. Купи Ive Bridge и ощути прирост скорости. Раза 4 мимнимум я тебе гарантирую.

нЕ одного дельного.

Хотел вас занести в игнор, но вы там обитаете чуть ли не с первого дня.

Ive Bridge прирост скорости. Раза 4

ТС не надо раза в 4, ему надо чтобы бэкапы делалась за ночь, то есть вместо 13 часов, скажем, часов 7. Это вполне реально без траты денег.

Я фигею, 28 ответов и не одного дельного.

Да ладно. Я уже несколько советов принял к сведению. Заменить bzip2 на gzip, платформу с двухядерным процессором и двухканальным режимом работы пямяти. Это легко сделать, потому как железо судя по советом не серверное, а обычное десктопное. Дисковую подсистему на RAID с четырьмя SAS никто не советовал и то хорошо. Несколько эспертов к нам на работу приходили, все потом предлагали купить у них сервер с SAS.

Ещё если не требуется часто лазить внутрь бэкап-ов, м.б. стоит сменить 'tar --bzip2' на 'tar | ... > file.tar{bz2|gz}'. И проверить на досуге, сколько занимает tar ... > /dev/null. Т.е. если узкое место в I/O, то поможет только вынесение приемника на другой диск или в сеть.

Да ладно. Я уже несколько советов принял к сведению. Заменить bzip2 на gzip, платформу с двухядерным процессором и двухканальным режимом работы пямяти

Принять к сведению эти советы ты волен, но дельными от этого они не станут. gzip даст процентов 50 прироста скорости, и столько же приоста заархивированного объёма, а двухканальный режим не даст вообще ничего. Вообще.

вообще ничего. Вообще.

Надо было пять раз сказать «вообще», может бы кого-нибудь и убедили. Предлагаю ознакомиться с бенчмарком, в котором 939 двухканальный сокет на треть обыгрывает одноканальный 754 даже с более высокой частотой.

http://www.3dnews.ru/documents/10701/21-sandra-memory.gif

Да, ТС забыл сказать, что если вы цепляли новый винт к старому компу, нужно было проверить, поменяли ли шлейфы (иногда их тупо к старым разъемам подключают), не проседает ли скорость. С винтом таким были проблемы, смотри в гуглу по запросу" ST3250410AS тормозит"

На 939 и DDR и DDR2 были «в процессоре». Так, в порядке занудства.

Насколько я помню, в реальных приложениях (не в тестах) на одном сокете разница между одно- и двухканальным режимом была очень небольшой. Разные сокеты сравнивать некорректно, даже если формально они отличаются только одно- и двухканальным режимом.

Да ладно. Я уже несколько советов принял к сведению.

Ну, вот ещё один совет. Ты же хочешь ускорения так, чтоб прямо на глаз видно было?

Сделай схему с двумя серверами.

1. Первым сервером остаётся твой файловый сервер без изменений.
2. На втором (чисто архивном) сервере скорость процессора не важна, главное чтобы дисковое хранилище было больше по объёму чем на первом. На втором сервере делаешь файловую систему btrfs со сжатием.
3. Между серверами делаешь в полночь синхронизацию через rsync без сжатия.
4. После окончания синхронизации на втором сервера делаешь snapshot средствами btrfs за несколько секунд.

Можешь с секундомером померить производительность данного решения.

P.S. Никто ещё не завёл речь о всенепременном применении системы Bacula. Может в твоём случае это и overkill решение. Но как вариант.

тему не читаю - сразу отвечаю - диск-то живой утя? скока seek error rate? 13.5ч для 73 гигов - чот дофига даже для 3000+.

ну и закажи ps axuw

вот еще вариант http://bzip2-cuda.github.com/

Это даже для celeron 300 очень долго.

Можно использовать squashfs (lz или gz), он и дубли убьёт, и чтение можно выполять без архивирования. Если будет занимать больше 2 часов - значит дело в софте или текущее железо совсем испортилось. :(

Я фигею с вас господа. Вместо лечения причины - лечат внешнее проявления, даже не разобравшись в проблеме.

ТС, что за данные, чего хочешь от бэкапов?

Размар swap-раздела: 4 Gb
Жесткий диск: Seagate Barracuda ST3250410AS

И сколько диск живёт уже? Готовь новый (и бекап перед смертью).

Когда я задавал этот вопрос на готове уже был другой сервер.
Конфигурация:
processor 0: AMD Athlon II X2 240 Processor
processor 1: AMD Athlon II X2 240 Processor
Память: 4 Gb DDR2
Размер swap-раздела: 8 Gb
Жесткий диск: Seagate Barracuda ST1000DM003-9YN162 (1Тбайт и 64Мбайт кэша)
Метод сжатия - gzip

Архивация заняла всего 1.5 часа