Есть диск А на который за долгие годы наваливалось всякое
Есть диск Б, куда хотца перенести всё это
На диске А довольно много дубликатов ибо многое наваливалось не по одному разу, при этом диск А не шибко быстрый и шибко здоровый - не хотелось бы терять ночь на скан всех файлов до копирования - наверняка же есть готовое решение чтоб копировать одновременно с гроханьем дубликатов?
п.с. идея «писать скриптом мд5 для каждого файла в условный файлик и если такой мд5 уже в файлике был то не копировать явную копию» это хорошо, но вдруг есть готовое решение с оптимизированным «файликом»
п.п.с идея писать сразу на фс с дедупликацией не катит, нужно чтоб потом с диска Б можно было забрать копию сразу без дублей