Как скопировать большой объём данных (сотни гигабайт и ~200 000 мелких файлов), чтобы данные были в формате как ваш / допустим, а не большим .iso или .bin файле?

Не распарсил. Можно подробнее?

чтобы данные были в обычном, не бинарном формате?

На бумажку переписать, будут аналоговыми. Можно ещё на квантовый компьютер перекинуть, там вроде как не бинарное, или вот ещё были какие-то наработки с троичной логикой, правда вроде не производилось массово такое.

Если не подходит, то переведи на русский, что ты имеешь в виду под «обычным а не бинарным форматом».

И вообще заново весь вопрос задай, если он не философский (сейчас выглядит именно таковым), а практическим. Откуда и куда скопировать, по каким каналам это требуется сделать, что там за канитель с форматом (самое непонятное)?

Файловая система?

Возможно, поможет rsync.

Vsevolod-linuxoid Psych218 чтобы данные были в формате как ваш корень(директории в них файлы) допустим, а не большим .iso, или .bin файле?

Файлы копируются командой cp или например rsync.

rsync

Готовься к тому, что не всё сможет записаться ввиду ограничения на длину названия файлов.

rsync?

а вообще вопрос-претендент на победу в номинации «наиглупейшим образом заданный на этой неделе».

Ты просто эталон непонятности, блин. Ты хочешь скопировать директорию со всем содержимым? —

cp -r

Или у тебя куча образов дисков в формате .iso, и ты их хочешь извлечь из них файлы?

С чего быстрей-то на холодную? Но таки докачка спасет если что, это да.

Ты хочешь скопировать директорию со всем содержимым?

Директорию и всё-всё-всё. .iso образов у меня нет, только небольшое количество архивов.

Ну cp или rsync, синтаксис команд в манах прочтешь.

tar

tarим (если место позволяет), копируем одним куском. Много мелких файлов это будет ооооочччеееннннььььь долго

dump/restore?

Готовься к тому, что не всё сможет записаться ввиду ограничения на длину названия файлов.

Скажите, а rsync меня от этого сможет спасти?

Много мелких файлов это будет ооооочччеееннннььььь долго

Разве rsync не предназначено и для этого —

Важным отличием rsync от многих других программ/протоколов является то, что зеркалирование осуществляется одним потоком в каждом направлении (а не по одному или несколько потоков на каждый файл). — https://ru.wikipedia.org/wiki/Rsync

Хотя... https://aweirdimagination.net/2015/02/03/transferring-many-small-files/

нет.

Разве rsync не предназначено и для этого

rsync работает медленнее, чем tar

Предназначен, но ты явно не понимаешь сути проблемы мелких файлов или альтернативы в виде архива из этих файлов (можно даже без сжатия). Даю подсказку - среда распространения, в нашем случае USB, файловая система, в нашем случае NTFS в EXT4. Предлагаю тебе посчитать накладные и ужаснуться (:

Ну и побуду вангой, бэкапы мы походу еще не пробовали (:

Хотелось бы чтобы это не заняло вечность. Скопировать нужно с внешнего HDD по usb 2.0

если загвоздка именно в скорости usb2.0 (и кучи мелких файлов), то предлагаю считать образ внешнего веника, примонтировать и скопировать что нужно.

Скопировать нужно с внешнего HDD по usb 2.0

Сбегать в магазин и купить коробку с usb3, перекинуть диск в новую коробку, скопировать быстро. У компьютера-то usb3 есть?

[trolomode]

https://ipmsg.org/tools/fastcopy.html.en для оффтопика

over MAX_PATH (260 characters) file pathnames.

Reading/Writing are processed with no OS cache, as such other applications do not become slow.

It automatically selects different methods according to whether Source and DestDir are in the same or different HDD(or SSD).

It can achieve Reading/Writing performance that is close to device limit.

GPL ver3 license.

[/trolomode]

rsync или cp. Но создание мелких файлов по-любому замедлит процесс - чтобы создать inode и сделать запись в каталоге так или иначе понадобится пара seek'ов и скорость копирования в мб/с просядет относительно максимальной. Этого не избежать вообще никак, если назначение - файловая система на НЖМД. Писать в tar/iso/и т.п. конечно, быстрее.

Впрочем, если ты копируешь пару терабайт по юсб 2.0 то это в любом случае займёт вечность. Если так, то я бы выковырнул диск из коробочки и подключил по сата.

Не займёт не преувеличивай. Лил давным давно фильмы по блютусу - 2-3 гига, вполне терпимо.

rsync не работает корректно с не линоуксовыми fs, какжись проблема с несоответствием форматов дат файлов, а синхронизировать по контрольным суммам очень долго (проверялось при синхронизации без клиент сервера)

Поэтому либо по кускам копированием, либо попробовать unison или что там есть, вдруг оно корректно сможет работать

Но все портит usb2, скорость никакая

Сбегать в магазин и купить коробку с usb3, перекинуть диск в новую коробку, скопировать быстро. У компьютера-то usb3 есть?

В материнской плате моего компьютера нет usb 3.0. Внешний диск поддерживает usb 3.0, но работает как usb 2.0 в связке с моей материнской платой/процессором

Тогда вытащить диск и прицепить к к контроллеру на материнке. Или это ноутбук?

200k файлов в одном каталоге - это медленно

Все вменяемые люди разбивают их на каталоги

наиболее распространённый вариант - взять хэш от имени, и от хэша взять небольшие куски под имена каталогов

$ touch test.txt
$ echo -n 'test.txt' | md5sum
dd18bf3a8e0a2a3e53e2661c7fb53534  -
$ mkdir -p dd/18
$ mv test.txt dd/18/

а уже после этого копируй куда хочешь rsync'ом

Тогда вытащить диск и прицепить к к контроллеру на материнке. Или это ноутбук?

В этом внешнем диске нет sata

Сбегать в магазин и купить коробку с usb3, перекинуть диск в новую коробку, скопировать быстро.

Кстати, я как-то раз сделал именно так. Сначала думал оставить копироваться по USB 2, но потом прикинул, сколько это займёт времени, и сколько времени займёт поход до магазина и обратно с последующим копированием через USB 3. Второй вариант оказался быстрее.

Сбегать в магазин и купить USB3 контроллер.

Сбегать в магазин и купить USB3 контроллер.

Мне кажется у меня процессор usb3.0 не поддерживает

200k файлов в одном каталоге - это медленно

Все вменяемые люди разбивают их на каталоги

У меня каталоги, в которых каталоги, в которых файлы..

наиболее распространённый вариант - взять хэш от имени, и от хэша взять небольшие куски под имена каталогов
а уже после этого копируй куда хочешь rsync'ом

Я не знаю что такое хэши. Что это даст, ничего не поломается?

Процессор тут не при чём.

Если у тебя не SoC без PCI-E.

Бывают переходника pata-sata.

У него нет sata разъёма на внешнем диске. Распаян контроллер sata-usb прямо на плате. WD так делает.

У него нет sata разъёма на внешнем диске. Распаян контроллер sata-usb прямо на плате. WD так делает.

Так и есть (WD my passport)

Если нельзя sata3 контроллер засунуть в комп, то тогда только страдать.

usb3 контроллер, хотел ты сказать

Да, ты прав.

200k файлов в одном каталоге - это медленно

Ерунда. Во всех нормальных фс (а также в ntfs) каталоги - это бинарные деревья с логарифмическим временем поиска. Я проверял.

Ерунда. Во всех нормальных фс (а также в ntfs) каталоги - это бинарные деревья с логарифмическим временем поиска. Я проверял.

А я видел 1М файлов в одном каталоге и крайне медленную скорость работы с ним ( ls -1 -f или find )

Я тоже видел. Не намного медленнее, чем 1000 каталогов по 1000 файлов. Миллион - это всё-таки много, как ни крути. Если у вас так много файлов ls не нужен. А fopen норм работает.