Чем (и как) правильно синхронизиоровать 1М (4гб) мелких файлов?

BitTorrent можно попробовать.

UPD: А если синхронизировать часто, то btsync.

Хм. Мысль.

А не подскажешь что нужно установить на мой дебиан?)
И консольное. (или конфигурируемое через вебмин).

А накладные расходы как в случае с фтп не будут? (Постоянная инициализация нового соединения)

Синхронизировать редко. По сути лишь раз закачать. И может быть, когда-нибудь, обновить часть файлов.

Из консольного rtorrent знаю. На счет вебмина не скажу, но rtorrent можно настраивать через RCP, может и для вебмина что-то сделали. Новое соединение каждый раз вроде не устанавливается и передается чанками, а не файлами, так что должно быстро получиться.

становка пакетов с помощью команды apt-get -y --force-yes -f install rtorrent ..

dpkg: dependency problems prevent configuration of mysql-server-5.1:
 mysql-server-5.1 depends on mysql-server-core-5.1 (= 5.1.63-0+squeeze1); however:
  Version of mysql-server-core-5.1 on system is 5.1.66-0+squeeze1.
dpkg: error processing mysql-server-5.1 (--configure):
 dependency problems - leaving unconfigured
Errors were encountered while processing:
 mysql-server-5.1
Reading package lists...
Building dependency tree...
Reading state information...
You might want to run 'apt-get -f install' to correct these:
The following packages have unmet dependencies:
 mysql-server-5.1 : Depends: mysql-server-core-5.1 (= 5.1.63-0+squeeze1) but 5.1.66-0+squeeze1 is to be installed
 rtorrent : Depends: libcurl3 (>= 7.16.2-1) but it is not going to be installed
            Depends: libtorrent11 but it is not going to be installed
            Depends: libxmlrpc-c3 but it is not going to be installed
E: Unmet dependencies. Try 'apt-get -f install' with no packages (or specify a solution).

.. ошибка при установке!

Хм. Что-то стремно мне мускуль ставить.

btsync

Причем мускуль тоже не ставится. Матерится на конфликт чего-то там.

О_о
btsync
No packages matching your search were found.

Оно проприетарное.

Странный этот дебиан :) Даже предположить не могу, зачем ему мускул. ctorrent еще есть, но его в репах мне кажется не найти вообще. Можно и transmission-daemon + transmission-cli поставить (ну или вебмордой трансмишна пользоваться).

а чо нетак с rsync и ssh под венду?

Погуглил, пишут, мол нестабильно на больших объемах мелких файлов. А у меня как раз оно.

Ну и не нашел простой клиент (под венду) с кнопкой «сделать зашибись». Я же гуманитарий.

У него уже сломаны пакеты без rtorrent. Самое главное - один способ решения этой проблемы ему уже написали.

Вообще я тут вспомнил главное правило: «не работать без бэкапов». И купил еще один впс для этих тестов. Буду тайлы хостить на нем и подгружать отдельно.

Сижу пока ковыряю. Еще вопросами помучаю, наверное. Спасибо за помощь.

не нашел

а он есть, ищи, ссылок не дам

Bacula?

dd if=/dev/раздел + netcat

Сервер на линуксе, клиент (откуда закачать и с чем синкать) на венде. Почитал про rsync под венду, но что-то стремно мне.

http://www.cis.upenn.edu/~bcpierce/unison/

И получить неконсистентный бакап. Сначала нужно снапшот.

Через яндодиск какой-нибудь.

Так мне на хостинг же. Хотя... смонтировать фусе?

Ага. А между ним и постоянкой — rsync.

А чем rsync не катит? Под винду же есть. Но сначала я рекомендовал бы загрузить и разархивировать tar.gz, так будет куда быстрее. А ещё можно http://blog.bravi.org/?p=259 http://unix.stackexchange.com/questions/10026/how-can-i-best-copy-large-numbe...

Про cygwin не забывай также.
А ещё есть git с кучей гуй-клиентов под винду.

камшот, умник, никто не говорит о полной целостности, субд, например, без блокировки транзакций ты и снапшотом не перенесёшь, а просто журналируемую фс можно прямо на ходу содрать и даже загрузиться с неё потом получится

субд, например, без блокировки транзакций ты и снапшотом не перенесёшь

да что ты говоришь

то что тебе удаётся перенести мускуль локалхоста не говорит о переносе нормальных рабочих субд. Такой ничего не делающий мускуль и dd диска на ходу переживает без проблем

да что ты говоришь

я бы либо rsync попробовал, либо (если rsync медленно) в базу кинул (mysql) и синхронизировал сколько влезет, благо размеры не гиганские. настроил бы репликацию да и всё.

Синхронизировать редко. По сути лишь раз закачать. И может быть, когда-нибудь, обновить часть файлов.

rsync скорее всего лучший выбор в данном случае.

Скажи что под вендой поставить?)
Я не смог уверенно_выбрать из многообразия.

А то яндекс.диск под это как-то тупо. Да и жалко аккуаунт на 240гб на это дело. А дефолтных 10 не хватит.

слушай, ну если редко - запакуй в tar (без сжатия), кинь по фтп, распакуй. скопируй файлы файловым менеджером, выбери «заменять если отличается размер». чего там думать, профит-же!

?

а вообще пробуй rsync. если заработает нормально, то не суетись да и всё. я юзаю его часто, проблем с ним не видел, но я под линуксом.

если rsync не будет работать, тогда будешь искать более альтернативные решения.

Я так и делал все эти годы.
Просто на «залей тар и распаку» в пике нужно место в 2 раза больше. У меня уже аж два впс из-за этого.

tar + netcat

Я бы тарил без сжатия и синхронизировал rsync'ом со сжатием. Если нужно синкать только изменения, то tar пропустить. А в чём проблема с rsync'ом под виндой?

Я искал простой клиент под венду (ну или не клиент, софтина под венду короче), типа яндекс.диска. Которая бы просто все синкала с указанной дерикторей на сервере. Не осилил найти простое решение )

цигвин не пугает, но я хз че в него ставить

Я искал простой клиент под венду (ну или не клиент, софтина под венду короче), типа яндекс.диска. Которая бы просто все синкала с указанной дерикторей на сервере.

rsync + любой планировщик, что там в винде вместо них.

цигвин не пугает, но я хз че в него ставить

Там всё примитивно, запускаем инсталлятор, расставляем галочки на нужном софте, далее, далее, готово. Зависимости оно само разрулит.

ужаснулся от к-ва аргументов рсинка консаольного :(
а гуевого чего нет?)

Да ладно, rsync -avz --progress хватит для всех.

git-annex должен подойти.