rsync

syncthing - демон, висит в памяти, отслеживает команды записи через inotify и сразу же перечитывает файл, отправляя изменения подключенным пирам. передача подтверждается хешом, потерь не будет. плюс диф.изменения, плюс пиринговая система и т.д.

считай rsync на стероидах.

Каждая минута - это фигня. Может даже тормозной syncthing справится.

Файлы обновляются целиком или частично? Может больше подлйдут распределенные блочные устройства и кластерная обвязка.

никаких небольших «изменений» в файлах в моем случае не будет, будет полное обновление. да и демон не нужен- не стоит задача всегда иметь локально файлы синхронизированные с vps. понадобилось - дернул руками. то есть запустил команду

Файлы обновляются целиком или частично? Это csv файлы с большим количеством по сути случайных (сжимаются очень плохо) данных. то есть да, обновляются целиком кластер для таких объемов это оверкилл мне кажется. нет задачи иметь синхронизированную копию файлов с vps, есть задача «аналитику ставят задачу - он дернул файлы и проанализировал»

«Может больше подлйдут распределенные блочные устройства и кластерная обвязка.»

А данные в один проход используются? Если да, то можно опубликовать с vps через nfs или iscsi. Иначе наоборот. На целевом опубликовать пустое место, а со стороны vps протолкнуть. Обвязку можно сделать на скриптах с ssh. Но во втором случае нужно ждать, пока не закончится или отслеживать прогресс.

Если рисковый, то можно через netcat гнать. Но наверняка есть потоковые библиотеки надежнее.

Это csv плохо сжимается? Обычно там кодирование ее сложней base64 в полях, а это 75%.

демон не мешает. висит себе в фоне и проц не грузит, пока файл не обновится. один раз включил и все.
as you wish master :)

https://aria2.github.io ?

если не нравится rsync то есть unison

Данные особой ценности не представляют- можно качать «не шифруя».

uftp. UDP, без шифрования, даже скорость по умолчанию вручную выбирается. Если нет потерь пакетов, а скорость выбрана оптимально, перегнать его будет очень трудно.

Многопоточность не поможет: скорее упрётесь в пропускную способность канала VPS. Она только помогала в прошлом, когда было модно искусственно ограничивать скорость одной загрузки, но можно было запустить их много.

см parallel

будет полное обновление

Интересно, сервер будет держать файл старым качальщикам (пока они не переподключатся, конечно) или разорвет соединение? В линуксе файл физически не удаляется, пока его используют.
Например, если слушать онлайн радио и скорость просядет, у тебя будет сдвиг по времени. То есть, сервер буферизует у себя отставание, чтобы у тебя не было разрывов. Но скорее всего этот буфер не бесконечен.

Или бывает так, что ссылка с файлобменника протухает, но пока соединение держится, ты продолжаешь качать.

когда безопасность неважна делаю так netcat

destination:

nc -l 4000 | pv | tar -xpf -

source из директории, где файлы:

tar -cf - * | pv | nc ip_destination 4000

получается шустро