А что ты ещё ожидал от rsync'а? У тебя же объём передающихся метаданных (имена и атрибуты файлов) получится такой же, как и суммарный объём самих файлов, если не больше. А другого способа сравнить удалённо файлы, кроме как передача этого всего, не существует. Либо существует, но очень сильно зависит от внутренней структуры всей этой файлосвалки.

Могу подсказать отказаться от такой структуры данных. Либо писать свою утилиту для синхронизации, заточенную именно под вашу файлосвалку.

>много 1-2 килобайтного файла общей емкостью больше 500 Гб.

250-500 миллионов файлов в одной директории? А не врешь?

инкрементальный tar не спасет?

там несколько тыщ субдиректорий

drbd, inotify или какую-либо кластерную фс тебе надо, чтобы изменения «синкались» онлайн, а не раз в 15 минут шерстить все файлы.

щас стоит gluster - но он сука глючный. не смог победить

Налицо ужасная, добрая внутри.

Bacula не хочется трогать - оно страшное и гиморное

Страшное, но вполне логичное.

> Bacula не хочется трогать - оно страшное и гиморное

пункт 4.2
нарушаем, нарушаем. ваши документики пожалуйста :)

сам бекаплю бакулой терабайты разновсяческой инфы - все красиво.

Некрасиво.

сам бекаплю бакулой терабайты разновсяческой инфы - все красиво.

Какие версии демонов? А то у меня проблема, бэкапится всё нормально, но вот восстанавливаются только небольшие job'ы. Recovery на десяток мегабайтов проходит нормально, а на пару сотен гигов запускается, но зависает в состоянии waiting on Storage File (File это мой storage).

bacula-server-3.0.3
bacula-client-3.0.3

для пущей инфы включаем на директоре:
Messages {
Name = Daemon
console = all, !skipped, !saved, !restored
append = «/var/log/bacula.log» = all, !skipped, !saved, !restored
}

и это же самое - в конфиг bacula-sd. интересно что на сторадже в этот момент происходит.
ну и покажи конфиги стореджа, девайса, пула.

самое простое, это самому строить список новых/изменённых файлов что-то вроде такого : [code] find $dir -type f -newer $flist | tee $flist | tar -cT- | ssh $user@$host tar -x [/code]

>find $dir -type f -newer $flist

Когда же вы, млять, включите мозги? У него >250 миллионов файлов, даже просто пройтись по их метаданным (взять mtime) занимает >40 минут.

Бакула те же яйца только в профиль.

Зависает.

Похоже дело в FD. На гентушный хост восстанавливает, на убунтовый с самосборным FD не хочет. В консоли такие вот штуки, после этого тишина.

11-Окт 16:32 corny-dir JobId 1190: Start Restore Job restore-black-pub.2010-10-11_16.32.19_06
11-Окт 16:32 corny-dir JobId 1190: Using Device "File"
11-Окт 16:32 white-sd JobId 1190: Ready to read from volume "Volume-03" on device "File" (/mnt/bacula).
11-Окт 16:32 white-sd JobId 1190: Forward spacing Volume "Volume-03" to file:block 123:3346996928.

Да-да..тут один товарищ который завел себе бакулу - тоже сказал что бакула такое к-во мелкого файла не сьет - будет запор у него.

а status storage что говорит?

Сраная Bacula рулит.

Да-да..тут один товарищ который завел себе бакулу - тоже сказал что бакула такое к-во мелкого файла не сьет - будет запор у него.

Запор не запор, а выбора порой нет.

bacula cможет сделать инкрементальный 15 минутый бекап ?

В 15 минут не уложиться.

bacula cможет сделать инкрементальный 15 минутый бекап ?

Не сможет. Для каждого файла хранится контрольная сумма, если она изменилась, то файл бэкапится. Насколько я понимаю в данном случае за 15 минут никаким образом не посчитать контрольные суммы такой прорвы файлов. Это раз.

Второй аспект, что планировщик Bacul'ы подобен vixie-cron'у, но не anacron'у. То есть можно назначить бэкапы на 0.00, 0.15, 0.30 и так далее, но не на каждые 15 минут аптайма. Но это решаемо с помощью anacron'а (а лучше fcron'а) и bconsole.

В общем Bacul'а неплоха, но возможности её не безграничны.