сравнение 2-х каталогов

meld?

Спасибо, но это питонячее поделие слишком много хочет (Django, django-sekizai, django-classy-tag).

слишком много хочет

stat+md5sum+sort.

Написать свое - это последний вариант.

На один раз можно имхо и глаза закрыть.

Есть ещё https://kaleidoscope.app/ – но оно под мак и платное.

Что это за странный дистрибутив?

apt-cache depends meld
meld
  Зависит: <python3:any>
    python3
 |Зависит: dconf-gsettings-backend
  Зависит: <gsettings-backend>
    dconf-gsettings-backend
    gconf-gsettings-backend
  Зависит: libgtk-3-0
  Зависит: python3-gi
  Зависит: python3-gi-cairo
  Зависит: libgtksourceview-3.0-1
  Зависит: gir1.2-gtksource-3.0
  Зависит: python3-cairo
  Зависит: libcanberra-gtk3-module
  Зависит: patch
  Рекомендует: yelp

stat+md5sum+sort.

Написать свое - это последний вариант.

Ты переписывать эти тулзы собрался? Зачем? Они же хорошо работают, не?

Старая слака. но 3-й питон там есть.

Нихрена себе зависимости! Нафиг нафиг это чудо с gtk!

Мне cli only нужно.

Ничего не понял, но

$ diff -u -rN olddir newdir

Кто бы сомневался, что они работают.

оно изменение ctime/mtime,маску прав, uid, gid умеет отслеживать?

Задача содержимое первого каталога превратить во второй.

Лол, скопировать первый во второй с заменой не судьба?

ой нарборот

скопировать первый во второй с заменой не судьба?

Только rm второго вначале не забыть.

шутник

шутник

Никаких шуток. Лишнего во втором быть не должно.

Задача содержимое первого каталога превратить во второй.

rsync то чем не подходит?

оно изменение ctime/mtime,маску прав, uid, gid умеет отслеживать?

Нет. Тебя не понять - толи нужны «атрибуты», толи нет.

Можно смотреть в сторону rsync --dry-run <и другие опции> чтобы посмотреть список, что он будет делать.

Нихрена себе зависимости! Нафиг нафиг это чудо с gtk!

meld гуишный на gtk, да.

Повторяю еще раз!

Второй каталого это фaйловая система overlayfs (или aufs)

rsync/rdiff-backup тут ничем не помогут.

Повторяю еще раз!

3.1

3.1

4.7 (https://www.linux.org.ru/help/rules.md)

Что не так с overlayfs применительно к файловым операциям? Почему на нем не работает rsync у тебя?

про «rsync -b» я сразу вспомнил.

но вот отпарсить лог rsync не совсем тривиальная проблема.

Нельзя копировать из второго каталога в первый пока смонтирована overlayfs, а если ее отмонтировать, то не определить изменения :)

Мне нужно изменения сделанные в верхнем слое перенести в нижний.

На гитхабе есть такая утиль, но она не дописана. Ковырять ее дальше нет смысла.

Если сделать утиль, которая будет определять разницу, то можно будет объединять слои независимо от FS (aufs,overlayfs)

• diff -urN dirA dirB > diff.patch
• umount
• patch -p1 < diff.patch

Покопайся в мане rsync: –verbose, –info, –itemize-changes, –out-format.

diff не подходит - там двоичные данные.

Покопавшись тут и там, нашёл вот https://github.com/kmxz/overlayfs-tools и http://aufs.sourceforge.net/aufs2/brsync/README.txt на этом у меня идеи заканчиваются.

Первое - неработоспособно. С нее я начал. там diff работает, а merge уже нет.

Второе - shell script (производительность). И оно специфическое для aufs.

Хочется более универсального решения.

diff не подходит - там двоичные данные.

xdelta3?

Спасибо. Посмотрел, но парсить это сложнее, чем самому сравнить.

Не использовал, но … может стоит посмотреть

https://github.com/trapexit/mergerfs

https://github.com/trapexit/mergerfs-tools

Предупреждаю, FUSE, а не ядерный модуль.

Было бы интересно, но в продакшен я такое не поставлю.

Думаю, там более продакшн, чем будут твои костыли со слиянием. Можно налету файлы перекидывать, например, судя по описанию.

Можно налету файлы перекидывать, например, судя по описанию.

На заборе тоже много «интересного» написано.

На заборе тоже много «интересного» написано.

На твоем-то без сомнения.

На твоем-то без сомнения.

У меня нет забора.

А почему вы не попробуете rsync c опцией -n или —dry-run (тестовый прогон без фактической синхронизации)? Иногда из-за удобства даже копирую только ей.

Примеры:
https://vds-admin.ru/unix-toolbox/rsync
https://www.alexeykopytko.com/2017/rsync-howto/
https://itproffi.ru/utilita-rsync-sinhronizatsiya-fajlov-v-linux/

Пробовал.

«rsync -n -b --backup-dir=tmp --dry-run –itemize-changes ...»

выдает достаточно подробный лог, но парсить его не тривиально.

Я пользуюсь таким скриптом, откуда-то из инета:

rsync -rin --ignore-existing  $L_DIR/ $R_DIR/ | sed -e 's/^[^ ]* /L /'     
rsync -rin --ignore-existing $R_DIR/ $L_DIR/ | sed -e 's/^[^ ]* /R /'
rsync -rin --existing $L_DIR/ $R_DIR/ | sed -e 's/^/X /'

Но c переводами строк и пр. в именах файлов будет сложно.

Сделать свой велосипед оказалось проще.

Самое сложное было создать сценарии всех возможных изменений данных.

Как ни странно, но c aufs оно тоже заработало.

Пока результат сравнения сделан в виде скрипта, запустив который все изменения применяются к нижнему уровню.

Если реализовать самому копирование файла (не каталога и не симлинка), chmod, chown, chgrp и 'touch -r', то программа станет полностью самодостаточной.

Будет время - выложу на гитхаб.

еще один вариант использовать каменный топор по имени tar.
в него вкрутили инкрементальные архивы, не докрутили до конца, но вродеб работает.

принцип примерно таков:
в начале создаешь файл с образом состояний файлов, архив не нужен поэтому сливаешь его в унитаз
tar -c -g /path/to/tar_image /path/to/lower/dir > /dev/null
потом пользуясь имаджем делаешь дополнящий архив
tar -c -g /path/to/tar_image /path/to/assembled/dir > /path/archive_incremental.tar
в архиве будут лежать отличающиеся файлы (сжатие по вкусу стандартными опциями).
изменения файлов допишутся в /path/to/tar_image. по ману есть даже опция поддержки уровней вложенности имаджей, но это не доделано.

Про «tar -g» я знаю, но там есть косяк с одинаковыми inode каталогов (сталкивался до версии 1.30). Ситуация, когда удаляется каталог, потом создается с тем же именем и той же inode (да, ситуция редкая) tar отрабатывает некорректно.

Минус решения с таром - это дублирование измененных файлов, которые и так есть в rw-layer aufs/overlayfs.

Третий день стесняюсь спросить - разве BSD’шный mtree не про это?

Где же ты раньше был! Да, mtree (из порта) выдает подходящий результат.

Жаль, что оно не умеет отличать файлы с разным содержимым

$ md5sum ofs/dir1/dir1_file1 ofs-ro/dir1/dir1_file1
c8d502494a213e6c2313353ad37435b9  ofs/dir1/dir1_file1
7c50ad9e1800dd63e73d9d38ef274167  ofs-ro/dir1/dir1_file1
$ md5sum ofs/dir1/dir1_file2 ofs-ro/dir1/dir1_file2
edd390c15ceaef3a700993be02039e06  ofs/dir1/dir1_file2
edd390c15ceaef3a700993be02039e06  ofs-ro/dir1/dir1_file2

dir1/dir1_file1 changed
        modification time expected Sun Feb 29 16:00:00 2004 found Thu Dec 24 23:53:30 2020
dir1/dir1_file2 changed
        modification time expected Mon Dec 29 12:00:00 2008 found Sun Dec 20 11:12:13 2020