Автомагическая синхронизация данных

Я слышал про Syncthing

Чуть ли не единственная программа, удовлетворяющая этому набору запросов.

но вдруг есть другие истории успеха.

Я побаиваюсь полностью автоматической синхронизации (с моей точки зрения, так можно наплодить конфликтов, которые потом долго разгребать), поэтому использую Unison поверх SSH, чтобы явно запускать акт синхронизации. Из недостатков можно отметить жёсткое требование одной и той же версии Unison на всех машинах. По ощущениям, ест меньше ресурсов, чем Syncthing + веб-интерфейс, но в наши дни это не так важно.

Я побаиваюсь полностью автоматической синхронизации (с моей точки зрения, так можно наплодить конфликтов, которые потом долго разгребать),

Я вот тоже этого побаиваюсь, анон. В моём идеальном видении, если есть конфликты, то я хочу получить об этом уведомление. Как минимум, штука не должна пытаться заменить более новые файлы.

поэтому использую Unison поверх SSH, чтобы явно запускать акт синхронизации. Из недостатков можно отметить жёсткое требование одной и той же версии Unison на всех машинах.

Спасибо, я посмотрю.

rsync

Я слышал про Syncthing

А я им даже пользуюсь. Теперь даже на/с Ведро/а кидаю через него. Отличная вещь. Немножко неочевидная настройка, но после все работает потрясающе. Изменил файл – через несколько секунд изменение на Ведре.

А у него есть возможность работать без веб-интерфейса? В моём идеальном мире, я хочу это руками запускать.

Я слышал про Syncthing

По моему опыту, перепробовал все решения синхронизации, удобней и внятней Syncthing не встречал.

комп+лептоп+телефон(андроид)+nas.

Если вдруг у вас есть более удобное решение, напишите тут.

Они самоотверженно сражаются с расизмом в самом его эпицентре - в Швеции https://forum.syncthing.net/t/the-syncthing-foundation-stands-against-racism/15158

Я бы поостерёгся использовать такое без регулярных бэкапов. Не исключено, что они поборются как с фотками афро-скандинавцев, так и с файлами в ветках master

есть коммерческий ресилио, с которого срисовывали синхфинг.
отличие, чисто для меня, адекватно работающий клиент для андроида. оболочка синхфинга под андроид работала у меня работала очень коряво, хотя есть куча народа которому все норм.
пока влезаю в лимиты бесплатного варианта ресилио.
для синхронизации файлов самое-то.

внутрь твоего личного облака никто влезть не сможет, хоть что там гоняй. а так, заявления автора это просто заявления автора.

к логопеду

Меня не интересует ведроед, у меня его нет. Меня интересует локальное решение для локальной сети. С большой вероятностью, я буду подключать ноутбук к компу через Thunderbolt.

На самом деле, моя влажная фантазия – это пойти ещё дальше и сделать сравнительно бесшовный перенос сессии между компами: открыть редактор с того же места, вкладки в браузере и так далее. Но для начала надо разобраться с переносом файлов.

Я бы поостерёгся использовать такое без регулярных бэкапов.

само собой

Меня не интересует ведроед, у меня его нет.

андроид. Синкаются 4 девайса.

я буду подключать ноутбук к компу через Thunderbolt.

насчет Thunderbolt не вкурсе, у меня реализовано по wifi+медь.

насчет Thunderbolt не вкурсе, у меня реализовано по wifi+медь.

Есть IP over Thunderbolt. Считай, та же медь, только пропускает 40 гигабит и 100W для зарядки.

андроид

ведроед

rsync/osync

ведроед

прикола не понял в ковырянии слов, если тебе норм, ну да ладно.

Из недостатков у Syncthing, он создает в корне папки папку с именем .stfolder что не очень комильфо.

osync

спасибо. Похоже он подзаброшен

Из недостатков у Syncthing, он создает в корне папки папку с именем .stfolder что не очень комильфо.

На это как раз пофиг. Где-то жеж он должен своё состояние хранить.

синхфинг работает по сети, сиречъ по ip.
thunderbolt сколь знаю не умеет внутрь прокидывать сетевые подключения устройств. т.е. подключенный ноутбук не отобразится на компе как сетевое устройство.
на домашнем wifi (гигабит и 5ггц все никак не проложу :( ) вполне себе гоняло файлики до 5 мбАйт/с.

Я побаиваюсь полностью автоматической синхронизации (с моей точки зрения, так можно наплодить конфликтов, которые потом долго разгребать)

Аналогично, после неудачного опыта с конфликтами перешёл на ручную синхронизацию через rsync.

Мой совет: или осознанно запускай rsync (предварительно с --dry-run) перед/после работы и синхронизируй то, что нужно, или работай только на одном ноутбуке (с док-станцией на рабочем месте).

о, а что у тебя вместо телефона?
неужели всё ещё старое блекберри на BBOS10?

буду подключать ноутбук к компу через Thunderbolt

Huh?

На самом деле, моя влажная фантазия – это пойти ещё дальше и сделать сравнительно бесшовный перенос сессии между компами: открыть редактор с того же места, вкладки в браузере и так далее. Но для начала надо разобраться с переносом файлов.

Работать только с ноутбука через док, или работать только на ПК, используя ноутбук в качестве тонкого клиента.

ляптоп

К ЛОГОПЕДУ, БЫДЛО

синхфинг

К ЛОГОПЕДУ, БЫДЛО

На самом деле, моя влажная фантазия – это пойти ещё дальше и сделать …

What would be your dream setup?

[Russ Cox:] The thing I miss most about Plan 9 was the way that no matter which computer you sat down at, you had the same environment. Because we were working off a shared file server - there were no local disks on the Plan 9 workstations - you could go home and log in and all your work was there waiting. Of course, it only worked because we had good, fast connectivity to the file server, and only file state - not application state - transferred, but it was still a huge win.

Today it’s taken for granted that everyone has local files on disk and you need programs like Unison or Dropbox (or for the power users, Mercurial or Git) to synchronize them, but what we had in Plan 9 was completely effortless, and my dream is to return to that kind of environment. I want to be working on my home desktop, realize what time it is, run out the door to catch my train, open my laptop on the train, continue right where I left off, close the laptop, hop off the train, sit down at work, and have all my state sitting there on the monitor on my desk, all without even thinking about it.

https://usesthis.com/interviews/russ.cox/

жди Фантом от Завалишина с набортной персистентностью :) авось там снимки состояния ос сделают не привязанными к машине.

после неудачного опыта с конфликтам

А-ха-ха. Однажды, когда Яндекс решил забанить rclone, я попробовал их официальный клиент. Даже будучи суровой программой без GUI, это чудо попыталось мне всё привести к наилучшему состоянию. «Всё» — это две разные версии репозитория borgbackup. К счастью, скоро они одумались и разбанили rclone, а я больше никогда не прикасался к «умной» синхронизации (не считая контактов в Google, но там скорее в одном направлении).

не считая контактов в Google, но там скорее в одном направлении

Давно перенес контакты и календарь на собственный Cal/CardDAV сервер, т.к. Google портил мои данные: вставлял ссылки на Google Plus, произвольно переформатировал поля (имя, адрес). Это было как раз когда они активно навязывали Google Plus.

Аналогично, после неудачного опыта с конфликтами перешёл на ручную синхронизацию через rsync.

Мне кажется, вы путаете синхронизацию и копирование.

Мой совет: или осознанно запускай rsync (предварительно с –dry-run) перед/после работы и синхронизируй то, что нужно, или работай только на одном ноутбуке (с док-станцией на рабочем месте).

Странно, прелесть компьютеров в том, что отпадает необходимость:

• запонимать, засинхронены файлы или нет, это сделает автомат за меня.
• работать за одним девайсом.

Из недостатков у Syncthing #2

Была проблема при синхроне больших файлов, вроде бы больше 2 гиг. Незнаю, решена ли она сейчас, не проверял.

По-моему, rsync - это «копировальщик» файлов с проверкой их на целостностность + удаленный перенос. Все.

Кто-то давно написал что это «синхронизатор» файлов, мне кажется это ошибка. rsync - неумеет лить в обе стороны. Если я ошибаюсь, покажите где.

собственный Cal/CardDAV сервер

Время от времени задумываюсь об этом, но гугл вроде ничего не портит, да и контактов у меня сравнительно немного. Изредка делаю экспорт в файл руками на всякий случай. Возможно, дойдут руки завести свой Nextcloud.

По-моему, rsync - это «копировальщик» файлов с проверкой их на целостностность + удаленный перенос. Все.

rsync умеет копировать файлы только если таймстемп нового файла свежее. И при этом использовать умный алгоритм. Особо хорошо заметно на больших файлах: если такой обновился, то rsync не будет полностью передавать новый файл, а только изменения, т.е. он синхронизирует.

На самом деле, моя влажная фантазия – это пойти ещё дальше и сделать сравнительно бесшовный перенос сессии между компами: открыть редактор с того же места, вкладки в браузере и так далее. Но для начала надо разобраться с переносом файлов.

А деды для этого терминальные сессии использовали и тонкие клиенты

на ручную синхронизацию через rsync

Тоже им пользуюсь, но только для однонаправленной передачи данных. Если на компьютере А файла нет, а на компьютере Б файл есть, то для того, чтобы понять, удалять его из Б, или передавать с Б на А, нужно иметь какое-то сохранённое состояние с прошлой синхронизации. Зная, например, что файл был на А, но потом его удалили, можно предложить пользователю удалить его и на Б тоже.

запонимать, засинхронены файлы или нет, это сделает автомат за меня.

С момента, когда между машинами в последний раз была связь, в один файл и соответствующий ему на другой машине были независимо внесены разные изменения. Твои действия?

По-моему, rsync - это «копировальщик» файлов с проверкой их на целостностность

Именно.

rsync - неумеет лить в обе стороны

Потому что ненужно.

rsync умеет копировать файлы только если таймстемп нового файла свежее

rsync умеет проверять контрольные суммы, если использование времени модификации по тем или иным причинам не подходит.

Да, но т.к. это долго (HDD, куча файлов), такой вариант для частого повседневного использования я не особо рассматривал.

Не помню в чем именно дело было, но при использовании rsync на Android (в Termux) мне приходилось сравнивать файлы по контрольным суммам.

Файлы лежали на ext4 или fat32 (exfat?) sd-карточке? Ещё, если в NDK не объявили поддержку наносекундных временных отпечатков, могли быть проблемы. И включена ли была поддержка в rsync.

ну дык и синхфинг тоже самое что рсинк только в две стороны :) плюс онлайн-слежение за файлами.
есть конечно rsyncd и онлайн-надстройка над рсинком lsyncd. и чтото еще…
но имхо синхфинг удобнее и сплоченнее в плане функций.

гонял и образы двд и фильмы большие все ок.
а так, вот и такие облака создавались Как вы организовали бекапы на своих компьютерах? (комментарий)

п.с. рсинк растянуть на 15 машин в п2п уже будет геморно, это уже сильно не его целевая функция…

Я подробностей не помню, но направление проблемы ты уловил.

Автомагическая

А маны то хватит?

В nextcloud это стандартная вещь, но нужен сервер. Другие решения уже озвучивались.

rsync по крону

А деды для этого терминальные сессии использовали и тонкие клиенты

На ноутбуке без интернета терминальную сессию. Угу. Отличная идея!

С момента, когда между машинами в последний раз была связь, в один файл и соответствующий ему на другой машине были независимо внесены разные изменения. Твои действия?

Мои лично действия: увидеть на экране красивое окошечко, которое предложит либо выбрать нужную мне версию файла, либо оставить всё как есть. Не вижу здесь вообще никакой проблемы. Ну кроме того, что rsync и штуки на его основе это вряд ли умеют.

неужели всё ещё старое блекберри на BBOS10?

Кстати, Blackberry Passport лежит и правда где-то в ящике. Но сейчас у меня ойфон. Хотя я им пользуюсь только как звонилкой, мессенжером и модемом.

Хорошо, усложним задачу. Файл был ошибочно модифицирован или удален на одной машине и это изменение было прозрачно для тебя синхронизировано на другие машины. Твои действия?

После твоего ответа про извлечение файла из резервной копии, я сразу замечу, что:

1. Не у всех файлов могут быть резервные копии. Например, у файлов очень большого размера.
2. До того момента, как ты осознаешь, что произошло деструктивное изменение, может пройти немало времени и данное изменение может вызвать множество побочных эффектов.

Мои лично действия: увидеть на экране красивое окошечко, которое предложить либо выбрать нужную мне версию файла, либо оставить всё как есть.

А мои действия - проанализировать ситуацию перед синхронизацией.

TL;DR для фотографий с телефона или музыки с торрентов отлично подойдет Syncthing. Для дорогих данных, где нужно думать головой (и отвечать ей же), нужны более деликатные инструменты. Осознанное использование rsync с ключом --dry-run относится ко второй группе.

Файл был ошибочно модифицирован или удален на одной машине и это изменение было прозрачно для тебя синхронизировано на другие машины. Твои действия?

Для этого у меня уже есть автоматические снапшоты в ZFS.

А мои действия - проанализировать ситуацию перед синхронизацией.

Ну блин, чувак, ты можешь обанализироваться хоть по самые гланды. Кто же тебе мешает-то? Я тут спрашиваю про штуку под свои нужды. Твои нужды меня вообще не интересуют (:

Ты можешь делать что тебе вздумается. Но раз уж ты пришел на публичный форум с

Как это я себе представляю: прихожу я домой, втыкаю ляптоп в сеть, ляптоп видит мой домашний комп, они сверяют ключи и дальше сами синхронизируют последние версии файлов из выбранных директорий.

Я слышал про Syncthing, но вдруг есть другие истории успеха. Спасибо, ЛОР!

то я бы прислушался к мнению чувака, который такое практиковал сначала через bittorrent sync (ныне resilio sync), а позже через syncthing. И если этот чувак тебе говорит, что не все так гладко, то стоит, как минимум, это иметь в виду.

я бы прислушался к мнению чувака, который такое практиковал сначала через bittorrent sync (ныне resilio sync), а позже через syncthing. И если этот чувак тебе говорит, что не все так гладко, то стоит, как минимум, это иметь в виду.

Я понимаю, что всё не гладко. Я понимаю, что поддерживать одинаковое состояние на двух машинах – это тот ещё геморрой, и что он чреват потерей данных. Для меня это допустимый риск, который частично перекрывается бэкапами. Решение, которое при конфликте «версий» уведомит меня об этом и позволит выбрать нужный вариант файла, мне кажется более чем достаточным.

Потому что если говорить о штуках, которые покрывают ну вообще почти совсем наверняка все возможные варианты, то мне сходу представляется ClearCase какой-нибудь. Или его младший собрат по хтоническому ужосу Subversion. Потому что их, да внезапно, используют в том числе и для организации вот такого. Но для меня это явный перебор.

Такой ответ тебя устроит?

Я понимаю, что всё не гладко. Я понимаю, что поддерживать одинаковое состояние на двух машинах – это тот ещё геморрой, и что он чреват потерей данных. Для меня это допустимый риск, который частично перекрывается бэкапами.

Ну так если все понимашь, то пробуй и корректируй решение по ситуации. Темболее, ты со стартового поста назвал правильное ключевое слово. Или ты думаешь, что найдется кто-то, знающий оптимальное решение для конкретно твоего сценария использования? О смежных технологиях ты, вроде, осведомлен.

Самое беспроблемное решение я тебе назвал в одном из ранних сообщений - работа с одного ноутбука через док. Все остальное будет с нюансами.

У меня данные резервируются и двигаются между машинами комбинацией из btrfs subvolume snapshot + btrfs send, borg, rsync и syncthing.

Ну так если все понимашь, то пробуй и корректируй решение по ситуации. Темболее, ты со стартового поста назвал правильное ключевое слово. Или ты думаешь, что найдется кто-то, знающий оптимальное решение для конкретно твоего сценария использования? О смежных технологиях ты, вроде, осведомлен.

Ты про термин «история успеха» слышал? Вот это примерно то, что я хочу видеть в этом треде.