проще всего будет сделать один тар, порезать его на куски и каждому rsync-у отдать свой кусок.

утилита для разрезания и собирания блобов не помню как называется, но она точно есть.

split, cat, нет?

В этом нет необходимости, так как скопировать нужно много больших файлов размером примерно по 1 ГБ, имеющих в имени уникальный номер. То есть всё уже порезано и собрано.

почему rsync, а не ftp?
так ли необходимо шифрование?

Доступ только через ssh. Шифрование не тормозит процесс вообще.

Кстати, подумалось, что lftp многопоточный и может sftp, так что хоть и не rsync, но имеет смысл попробовать.

да, split

scp

http://www.psc.edu/index.php/hpn-ssh

http://lists.samba.org/archive/rsync/2009-October/024051.html

Q: Are there any plans that would allow one to set a parameter, like 'number_of_threads' and rsync will ship multiple files at the same time?

A: Not at present. That would be a pretty big protocol change, and is probably something that would be best left to a new-protocol rewrite. It would be quite interesting to have separate connections for the hierarchy traversal code versus one or more file transfer connections that were controlled by the traversal process, but that is not something that I'm working on, nor have I heard about anyone else doing that.

Wayne Davison - rsync developer, 2009-October

rsync+ssl,rsync+ipsec. Скорее всего таки тормоза из-за ssh, если их в параллель куча работает быстрее.

Либо в сети и не позволяет быстро один поток выдавать.

Самолетом быстрее будет на порядок.

Очень смешно. Бэкап — не разовая процедура.

И тем не менее...

Ну и если уж по сети, непонятно зачем здесь rsync, когда оптимально копировать простым ftp.

И в Вашем случае нужно тюнить tcp, чтобы анонсируемое окно было побольше. Тогда в сети одновременно будет находиться больше переданных, неподтвержденных данных. Это снимет вашу проблему с 0.5Мбайт/сек.

xargs же:

$ cat send.sh
#!/bin/bash
куда="$1"
shift
exec rsync -Rtp... "$@" "$куда"

$ find $откуда -type f -print0 | xargs -r0 -P $многопотоков -n 1 ./send.sh $куда/

Ещё раз: а) есть только ssh и больше ничего; б) проблема не в канале — ситуация далека от его наcыщения

Безусловно я могу размножить число запущенных процессов, но следить за множеством процессов сложнее, чем за одним.

А что ты называешь «следить»? Ошибки обнаруживать - cron пришлёт, или добавь 2>>error.log ; test -s error.log && mail себе <$_ && rm $_

Ошибки исправлять - добавь --partial --inplace --append(если повезёт и файлы не меняются) и гоняй его в вечном цикле.

Весёлые картинки рисовать - добавь --progress, 2>>$TMPDIR/progress.$$.log и выполнив в терминале watch «cat $TMPDIR/progress.*.log» (может и сработать, не проверял)

pssh

Как подобное изобразить на коленке я знаю, но я недаром в исходном посте написал, что предпочёл бы готовое решение.

Интересно — возможно решение, причём из коробки.

Выше анон процитировал мейнтейнера rsync, что многопотоковая передача идёт в разрез с существующим протоколом rsync и требует его значительной переработки

Если я правильно понял, то это немного не то: pssh копирует один файл на много хостов, а мне нужно много файлов на один хост.

2009 г. Я потому и спрашивал на предмет: нет ли лекарства? :)

Если возникает потребность, то внезапно некоторые проблемы разрешаются.

Например, как разрешилась моя конкретная, обсуждаемая здесь, проблема: внезапно выяснилось, что есть годное хранилище данных под боком, а не в Москве, и до него линк в 10 Гбит.

Видимо, pssh

=) уже упоминалось: http://www.theether.org/pssh

---------------

This package provides parallel versions of the openssh tools. Included in the distribution: Parallel ssh (pssh)

Parallel scp (pscp)

Parallel rsync (prsync)

Parallel nuke (pnuke)

Parallel slurp (pslurp)

А, ну да. Тогда собирай файлы tar'ом без компрессии и через пайп отправляй по scp/rsync.

Ну так напиши в рассылку rsync Wayne'y Davison'y - он текущий мейнтейнер rsync, кому как не ему знать. Или прямо ему на почту. Или на #rsync

А мне уже не надо :)

Это не то. Там один файл во много мест, а мне было нужно много файлов в одно место.

Ну узнай, чё тебе сложно в рассылку письмецо написать?

А мне уже не надо

Ну и где решение? Я негодую

Нашлось хранилище поближе — туда NFS можно экспортировать :)

Будь ты проклят, ты всех нас предал