Копирование (а точнее перемещение) файлов в условиях нестабильной связи и еще через гуй

syncthing
После синка удаляешь.

простое решение

rsync

Сообщение читайте полностью плиз. Написал же гуй, mac os x и т.д... и все равно же вбросят rsync. :(

Или я что-то путаю или... «и по необходимости забирать их из архива» тут не сработает...

Чё-нибудь с докачкой, кажется rsync так умеет. Хотя возможно лучше со скачиванием блоками (и проверкой чексумм) типа торрента, tcp конечно вроде как инкапсулирует валидность пакетов в себе, а вот udp нет. Судя по описанию, тебе нужен как раз торрент.

Написал же гуй, mac os x и т.д... и все равно же вбросят rsync. :(

Так к нему же есть гуй и даже для mac, и даже не один: grsync (есть в homebrew), arrsync.

Второй уже нашел, но не тестировал... А в целом спасибо за начальную подсказку, она то меня позже и натолкнула на мысль что может гуй для rsync существует...

В продорлжение:

grsync

Похоже все-таки лучше, хотя не сказать что бы прям идеально для конкретного клиента. Но во всяком случае поставил его, подожду «отзывов» :)
Спасибо еще раз!
ЗЫ Надеюсь кто-то еще какие-нибудь мысли подкинет.

По поводу копирования больших файлов или большого количества файлов:

Ночью в конторе идут перекрестные бакапы с разных серваков. Файлы могут быть размером до 20GB. Периодически архивы копировались битыми. Хороших программ под Win по копированию с проверкой так и не нашел, поэтому пришлось написал утилитку по копированию с проверкой контрольных сумм источника и приемника.

Теперь возникла необходимость бакапить архивы с Linux сервера на Win. Воспользовался rsync -c, через некоторое время подловил расхождение контрольных сумм у источника и приемника. Плюнул, пока копирую так:

#!/bin/sh

fin="Входной файл"
fou="Выходной файл"

MAX_COUNT=10
COUNT=1

while (( ($COUNT <= $MAX_COUNT) )); do
  # Удалим файл на приемнике
  rm -f "$fou"
  # Копирование файла
  cp "$fin" "$fou"

  # Расчет контрольных сумм
  MD1=$(md5sum -b "$fin"|awk '{print$1}')
  MD2=$(md5sum -b "$fou"|awk '{print$1}')

  if [ $MD1 == $MD2 ]; then
    echo $(date '+%Y-%m-%d %H:%M:%S') "Файл $fin скопирован, попыток [$COUNT]" >> /var/log/backup.log
    exit 0
  fi
  let "COUNT+=1"
done
echo $(date '+%Y-%m-%d %H:%M:%S') "Файл $fin не удалось скопировать" >> /var/log/backup.log

bittorrent

tottent

Там же-ж можно гуем галочки ставить, что копировать, а что нет.

Для описанной мной задачи он точно не подходит. :) Но покритикую, вы файлики два раза гоняете.
И второе, это что же за системы где файлики прилетают битыми? Или может вы не смотрите на код возврата того же rsync/cp/scp/что-то-еще ? Я не случайно задал этот вопрос, у меня где-то лет десять работала система передача данных (периодичность раз в два часа) с удаленных объектов (24 штуки) в виде копирования файликов, через ооочень плохую модемную связь (модем, этот тот самый который занимал телефонную линию, не путайте с adsl/etc) с некоторых из обьектов из-за плохой/сбоев связи файлик в 200к мог прилететь только часа через три. Ниразу не было случая что бы в результате файл прилетел битый. А я в процессе эксплуатации много чего перепробовал. Да, и еще вспомнил, один из этих объектов первые два года работал вообще через nokia 22 (те самые 9600, никаких gprs в той глуши небыло и работало только с направленной антеной)

Да, данный метод копирует файл, пока тот не скопируется правильно или не произойдет превышение количества попыток...

Я про то, что вы его сначала пишите в место назначения, а потом читаете оттуда.

Т.е. например у вас cp могла отработать нормально, но при копировании назад мог произойти сбой и вы начнете все сначала.
Повторю свой вопрос, вам что кода возврата не хватало?

Я не понял вопроса: Копирую один раз, проверяю контрольные суммы источника приемника, если совпадают выхожу, если не совпадают - тогда да - копирую снова...

Давайте вместе подумаем, что нужно для того что бы посчитать контрольную сумму скопированного файла? Правильно прочитать его.

rsync