rsync медленая передача

Попробуй понизить MTU до уровня 1360 на принимающей стороне.

конкретные используемые команды покажи

rsync -avu admin@xxx.xx.xxx.xx::test /test/

Два варианта:

1. Много мелких файлов

2. ssh как транспорт тормозит (у тебя)

Где-то регулирутеся пропускная способность по признаку ssh? Шейпинг?

так rsync передает не по 22 порту, а по 38ххх. Файлов много мелких согласен, но на другой сервер передает rsync со скоростью порядка 700мегабит. А тут запустил 6 rsync закачек и все ровно по 8 мегабит передают, буд-то что-то ограничивает макс скорость передачи каждой закачке

rsync -avu admin@xxx.xx.xxx.xx::test /test/

так rsync передает не по 22 порту, а по 38ххх

Ты ошибаешься

А пардон разглядел таки ::

на другой сервер передает rsync со скоростью порядка 700мегабит

тот же набор файлов?

вот скрин собственно

все ровно по 8 мегабит передают, буд-то что-то ограничивает макс скорость передачи каждой закачке

rsync имеет опцию bwlimit может она где-то неявно задана

да да, все тоже самое. Но он в UA стоит. Что и натолкнуло на мысль торможения из-за пинга. Но wget качает под 1G, и когда запускаю много закачек rsync, скорость сумарная увеличивается, а вот каждая закачка 8 мегабит ровно держится.

bwlimit вроде указывается при скачке, но я ведь rsync -avu admin@xxx.xx.xxx.xx::test /test/ вот так запускаю

ну на скрине другие порты используются, версия с ssh есть, меня файлы с другого сервера sshd_config и ssh_config, не помогло. Службу ssh перезапустил, но ребут не делал, мб ребут необходим.

не смысла сравнивать wget и rsync — разные протоколы

проверь передачу файлов по scp (ssh) и если она будет больше 8М, то запусти rsync over ssh

Я правильно понял ситуацию
твой хост -----rsync-------> server1 = скорость 8Mbps
твой хост ------wget-------> server1 = скорость 700Mbps

твой хост -----rsync-------> server2 = скорость 700Mbps
твой хост ------wget-------> server2 = скорость 700Mbps

?

да, тут rsync тормозит передачу, каждая задача как видно на скрине ограничивается 8 мегабит, хоть одну, хоть десяток их запусти все по 8 мегабит будут. Тоесть вариант что не хватает канала отпадает. Думаю проблема с авторизацией по ssh тормозит, вариантов больше не имею

Авторизация это первый шаг, она может влиять только на скорость установления соединения, а не на скорость передачи.
При этом, судя по команде, ssh вообще не используется
Что в iptables на обеих сторонах?

iptables на сервере в RU чист пока что, на хосте откуда скачиваю стоит граничение к портам 1500, 21,3306 и лимит конектов с одного ip к порту 80. Но это врядли влияет на передачу. К тому же полтергейст состоит в том, что не важно сколько передач rsync запустить, все ограничиваются 8 мегабит передачей.

может ли влиять настройки php? там вроде всегда какие-то ограничения 8 мегабайт были

Макс. размер запроса 8 Мб вижу стоит

нет
посмотри вывод tc qdisc show и попробуй rsync over ssh как аноним советовал

ты не различаешь объём и скорость, это тревожный симптом

qdisc pfifo_fast 0: dev eth0 root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1

rsync over ssh можно подробней, что с этим делать, тут не понял

да это уже нервы и не опытность в Linux)

так не пошло, ключики стоят. Сейчас ознакомлюсь по scp (ssh)

в случае авторизации по ключам нет никакой разницы с scp
если же ключ не прописан в .ssh/config, то можно указать его явно
-e 'ssh -i /path/to/id_rsa'

rsync -avz

угу, и упереться в скорость архивирования. Замечательный способ проверить.

rsync -avvP -e ssh

лучше

озвучь же этот предел скорее, чтобы мы предметно говорили, а не балаболили

Предметно говорили? То есть, тебе известны конфигурации используемых им машин. Ок. Что там у него?

Так нечестно, я первый спросил

x5650 железки, что-то я не верно указал, не хочет ключ хватать

rsync -avvP -e 'ssh -i /root/.ssh/id_rsa'  /srv/ admin@xx.xx.xxx.xxx:/host/f500

не хочет ключ хватать

в чём это выражается?

как ходите на тот сервер по ssh, как именно выглядят команды?

да с домашнего пк по ключам, а вот rsync через открытый порт передавал, там файлы если и вытащат в них ничего важного нету поэтому не прятал.

да с домашнего пк по ключам

как именно указывается ключ при этом?

пропиши в ~/.ssh/config
Host xx.xx.xxx.xxx
User admin
IdentityFile /root/.ssh/id_rsa

тогда rsync'у ничего не надо будет указывать вручную

Да скопируй ты уже нормально ssh ключи, в конце-то концов. Что за извращения ты делаешь? Генеришь юзеру ключи ssh-keygen, копируешь на удалённый хост ssh-copy-id, потом проверяшь автоматический логин по ssh, потому уже пробуешь rsync over ssh. Зачем всё делать через жопу?

давайте я с вами свяжусь в скайпе к примеру, да за вознаграждение быстренько проверим и все. Я чуть не понял куда вписывать, в сервер который скачивает или который отдает файлы и какой ip давать ему, мозг уже кипит.

запутался в край. На сервере который отдает, стоит ключ с паролем. Второй сервер который принимает, имеет ключ без пароля. Получается если я хочу со второго сервера подключиться на первый, надо ключ и пароль указать.

ключ который я использую для подключения к первому серверу через putty наверное же не подойдет для авторизации с другого сервера.

http://habrahabr.ru/post/122445/ читай, всё просто.

ключ который я использую для подключения к первому серверу через putty наверное же не подойдет для авторизации с другого сервера.

чего???

Пробовал только что с другого сервера который в той же стойке, в том же дц стоит, скорость 60мегабит, серевер такой же, файлы те же.

Вот полтергейст. В одной стойке стоят 2 одинаковых сервера, запустил 2 rsync закачки, с одного 8 мегабит как и было, со второго валит за сотку. скрин

scp затесть для начала

rsync -avu admin@xxx.xx.xxx.xx::test /test/
wget скачивает почти гигабит

ета для чистоты экперименту вгетом и рсинком все на один и тот же диск сбрасывается?

Проблема в загрузке и кол-ве CPU на медленном серваке !!!(100%)

хоть одну, хоть десяток их запусти все по 8 мегабит будут.

Проблема в загрузке и кол-ве CPU на медленном серваке !!!(100%)

Мимо, болезный. Десяток rsync'ов, каждый дающий по 8 мегабит откуда CPU берут? Из астрала?

также ещё смотри не откуда льеш,а куда льеш, ну и последнее у тя доступ к свитчам есть ? если нету тогда забудь - если есть смотри настройки портов.

отключенные фрагментированные пакеты в дц могут повлиять на это?