Как разбить по разным каталогам содержимое одного в 8000 файлов?

почему вывод ls через find кривой и как это исправить?

видимо, никак

Unusual characters are always escaped

Во-первых, тебе -ls тут не нужно. Парсить выхлоп ls (настоящего или его имитации от find) - плохая практика.

Во-вторых, если выхлоп упростить, то его проще парсить:

find -printf '%TY %p\n' |
    while read -r year fname; do
        printf '[%s] [%s]\n' "$year" "$fname"
        ls "$fname"
        # mv "$fname" "$year"/
    done

$ ls
'back\slash'  'dollar $sign'  'double  space'  'space space'   кириллица
$ find -type f -printf '%TY %p\n' | while read -r year fname; do printf '[%s] [%s]\n' "$year" "$fname"; ls "$fname"; done
[2020] [./кириллица]
./кириллица
[2020] [./double  space]
'./double  space'
[2020] [./back\slash]
'./back\slash'
[2020] [./dollar $sign]
'./dollar $sign'
[2020] [./space space]
'./space space'

Спасибо за хороший тон с # перед mv, оценил.
Вариант опробую, но переделаю в решение в одну строку, чтобы в history хранился.
Мне мой вариант вывода заданного диапазона тоже понравился, подскажите, на что заменить -ls , чтобы не игнорил киррилицу? Ман прочитал, но без примеров не получается.

Вариант опробую, но переделаю в решение в одну строку, чтобы в history хранился.

Он хранится, если его ввести как у меня. Пока done не введёшь пайплайн считается не введённым и исполняться не начнёт.

Мне мой вариант вывода заданного диапазона тоже понравился

Место . и критерий поиска -mindepth 1 -newermt '2011-01-01 00:00' ! -newermt '2012-01-01 00:00' можно вставить туда же, перед -printf.

С find -printf '%TY %p\n' (без | и всего после) можно спокойно экспериментировать, разберёшься.

PS Не запутайся, тут два разных printf, один встроенный в find, другой команда.

Я пробовал, не получается...

$ find . -mindepth 1 -newermt '2011-03-29 00:00' ! -newermt '2011-03-30 00:00' -printf
find: отсутствует аргумент у «-printf»

Он хранится, если его ввести как у меня.

Не вариант, я периодически чищу $HISTFILE от дублей, часто это сопряжено с сортировкой, обязательно потеряется что-то.

Кажется нашёл: не -printf -fprint -fprintf, не -ok, а просто print:

find . -newermt '2011-03-29 00:00' ! -newermt '2011-03-30 00:00' -print

printf требует формат вывода, на то он и f

Понятно. Я так глубоко find не изучал. Для примера, как ему этот формат подать?

Не вариант, я периодически чищу $HISTFILE от дублей

HISTCONTROL=erasedups разве не сделает лучше?

Пробовал, но какие-то глюки начались, поэтому закомментил

export HISTFILESIZE=999999
export HISTSIZE=999999
# export HISTCONTROL=ignoreboth:erasedups
# export HISTIGNORE="ls:ps:history"
PROMPT_COMMAND="history -a; history -n"

А как-то можно без цикла вместо перечисления указать диапазон для группового создания директорий?
mkdir ./{2011,2020}

Спасибо) А то я нагородил: mkdir ./$(for x in {2011..2014};do echo $x;done)

А насчёт формата printf не подскажите? А то хочу вывести с сортировкой по дате:

find . -mindepth 1 -newermt '2019-01-01' ! -newermt $(date +%Y-%m-%d) -print

то его проще парсить:

Это сломается, если файл будет начинаться или заканчиваться пробелом.

while true; do IFS= read -r -d '' y; IFS= read -r -d '' f; [[ -z $y ]] && break; [[ $f = . ]] && continue; ls "$f"; done  < <(find -printf '%TY\0%p\0'; printf '\0\0')

Вы не поясните ваш скрипт? В чём соль?

Я тут свой вариант пробую, вроде бы всё скопировал, но почему-то cp ругается на каждой строчке: один и тот же файл

y=2011; find . -mindepth 1 -newermt $y+'-01-01 00:00' ! -newermt $y+'-12-31 23:59' -exec cp -p {} $y \;

решение в одну строку

find . -maxdepth 1 -type f -printf 'mkdir "%h/%TY"; mv "%P" "$_"\n' | bash 2>&1 | sort | uniq

Вы не поясните ваш скрипт? В чём соль?

Там всё придельно прозрачно.

Он находит директорию 2011. Надо её исключить, например добавив -type f.

В какое место его поместить? Я всюду перепробовал, но если помещаю в начало после точки, то find: warning: you have specified the global option -mindepth after the argument -type, перед или после -print то cp: не удалось выполнить stat.

cp: не удалось выполнить stat.

Это уже другая ошибка, cp не видит файл, который нашел find. Что-то ты напутал.

А если папки уже существуют, будет просто ошибка создания, или скрипт прервётся? 2>&1 это перенаправление stderr в stdout? А без этого он разве не выведется?
Где бы почитать понятным языком о параметрах printf в find?

Вот вставил. Работает, копирует, но с теми же ошибками, что и без -type f

 y=2011; find . -mindepth 1 -type f -newermt $y+'-01-01 00:00' ! -newermt $y+'-12-31 23:59' -exec cp -p {} $y \;

cp: './2011/filename' и '2011/filename' - один и тот же файл

Если папки существуют, то просто выведется ошибка и команда продолжит выполняться. 2>&1 — да, это перенаправление stderr в stdout, это сделано для того, чтобы убрать дубликаты сообщений об ошибках через sort | uniq.

В man find расписаны все опции printf.

можно взять python и набросать небольшой скрипт

Спасибо, теперь про 2>&1 понятно.
Маны очень тяжело читать, тем более на малознакомом языке. Я уже его прошерстил насчёт -ls, ещё раз не смогу, мозги закипят. Поэтому и спросил, нет ли где по-русски живым языком с примерами почитать?

cp: ‘./2011/filename’ и ‘2011/filename’ - один и тот же файл

Логично. Надо эти папки в исключения добавить. Например, ограничив максимальную глубину поиска через -maxdepth 1 или каждый год дописать в условие поиска с отрицанием: -not -path './2011/*'…

Но это нужно только для порядка и для чистоты вы выхлопе.

А маны надо читать, тут ничего не поделаешь. Можно поискать на опеннете, там есть какие-то переведённые маны.

На, доделал. Обзываешь директорию с твоими фотками например FOTO.
Стартуешь скрипт c параметром = путь к этой директории.
!!! Осторожно: cкрипт переместит все файлы из указанной директории ${NAME} и её поддиректорий в директории ${NAME}_${year}. !!!

#!/bin/bash

USAGE() {
echo "Use: $(basename $0) path-to-directory";
return 0;
}

DO() {
find "${1}" -type f -printf '%TY %p\n' |
while read -r year fname; do
        printf '[%s] [%s]\n' "$year" "$fname"
	td="${1}_${year}/"
	mkdir -p "${td}"
	#cp --backup=numbered --preserve "${fname}" "${td}"
	mv --backup=numbered "${fname}" "${td}"
done
}

if [ $# -eq 0 ]; then
    USAGE;
    exit 0
fi

echo "Source dir.: $1"
echo "Press 'y' for continue..."
read -s -n 1 key

case $key in
[y,Y])
DO "${1}"
exit 0
;;
*) 
exit 1
esac

$ ls -a1
.
..
'Я и Маша.jpg'
'Я и Маша.jpg.~1~'
'Я и Маша.jpg.~2~'
'Я на лыжах.jpg'
'Я на лыжах.jpg.~1~'
'Я на лыжах.jpg.~2~'

-maxdepth 1 помог. Я почти дописал свой вариант скрипта, но не удаётся впендюрить проверку наличия каталога в рамках конструкции find ... -exec:

$ for y in {2011..2020}; do find . -maxdepth 1 -newermt $y+'-01-01 00:00' ! -newermt $y+'-12-31 23:59' -exec if ! [ -d ./$y ]; then mkdir $y ; fi ; cp -p {} $y \ ; ; done

Спасибо, изучу ваш вариант, интересный, не пропадёт. Оказывается в баше есть ( USAGE() {} ) что-то вроде функций? Но я хочу в рамках однострочника. Теперь столкнулся с проблемой описанный выше в пред. сбщ.. Почти получилось)

Точки с запятой в команде, передаваемой find в качестве -exec необходимо заэкранировать: \;

Спасибо! Но всё равно что-то не так:

for y in {2011..2020}; do find . -maxdepth 1 -newermt $y+'-01-01 00:00' ! -newermt $y+'-12-31 23:59' -exec if ! [ -d ./$y ] \; then mkdir $y \; fi \; cp -p {} $y \; ; done
find: paths must precede expression: `then'

Но я хочу в рамках однострочника.

Думаю, что смысла нет в однострочнике. И к тому-же занятие сие м.б. чревато - можно случайно наперемещать того чего не ожидал. А в скрипте можно всё перепроверить и переспросить.
Помести его в /usr/local/bin/ и вызывай в «однострочнике» своём.

-exec command ; Execute command; true if 0 status is returned. All following arguments to find are taken to be arguments to the command until an argument consisting of `;’ is encountered.

until an argument consisting of `;’ is encountered

Поставь условие создания папки перед find. Типа for y in {2011..2020}; do if ! [ -e ./$y ]; then mkdir $y; fi; find ... done.

Так работает, но логичнее было бы осуществлять проверку непосредственно перед записью в папку. Хотелось бы разобраться, что за ограничения в этом поле -exec \; ; ?

for y in {2011..2020}; do if ! [ -d ./$y ] ; then mkdir $y ; fi ; find . -maxdepth 1 -newermt $y+'-01-01 00:00' ! -newermt $y+'-12-31 23:59' -exec cp -p {} $y \; ; done

C ! -path не сработало, ведь cp нет дела до ключей find:

for y in {2011..2020}; do if ! [ -d ./$y ] ; then mkdir $y ; fi ; find . -maxdepth 1 -newermt $y+'-01-01 00:00' ! -newermt $y+'-12-31 23:59' ! -path ./$y -exec cp -p {} $y \; ; done

cp: не указан -r; пропускается каталог './2015'

! -path ./$y

/* куда дел? Надо исключить файлы внутри 2011… а не только саму папку 2011.

Программа find ничего не знает ни про какие if then (про них знает шелл). После -exec идёт одна команда с аргументами.

Вы правы, но это не спасает, он всё равно находит в них файлы и исполняет после -exec:

for y in {2011..2020}; do if ! [ -d ./$y ] ; then mkdir $y ; fi ; find . -maxdepth 1 -newermt $y+'-01-01 00:00' ! -newermt $y+'-12-31 23:59' ! -path ./$y/* -exec cp -p {} $y \; ; done
cp: не указан -r; пропускается каталог '.'
cp: не указан -r; пропускается каталог './2015'

Вместо того, чтобы написать простенький скрипт на питоне, люди возятся с шелом целый тред)

! -path ./$y/*

Кавычки потерял, поэтому звёздочку раскрывает шелл. Используй ! -path "./$y/*"

Ну и начальную директорию . надо уже наконец-то исключить, через -type f, -mindepth 1 или ! -name .

Питон как то защитит от ошибок ‘копируем файл в себя’?

На питоне я могу, но надо развиваться.

Используй ! -path "./$y/*"

Попробовал, без разницы.

Ну и начальную директорию . надо уже наконец-то исключить

Тогда где find вообще будет искать? Он из неё файлы берёт. Исключать что-то в cp хз как. Тем паче, что там может быть и не cp, а mv, rsync. Хотя варианты с последними не заработали вообще или странно заглючили.

Используй ! -path «./$y/*»

Попробовал, без разницы.

Что-то не так делаешь, значит. Ну или вместо «./» надо поставить путь поиска, который ты find первым аргументом передаёшь.

Тогда где find вообще будет искать?

Искать будет везде где сказано, находить то, что соответствует поисковому запросу. Убираешь -exec и проверяешь, это легко. Вообще-то прежде чем совать cp стоило бы довести до ума работу с find.

простенький скрипт на питоне

Давай, напиши. Я бы посмотрел.

Тебе всё равно придётся перемещать каждый файл поэтому возня с find лишня. Пишу с мобилы поэтому не гарантирую что скрипт будет рабочий

for FILE in $(ls *); do YEAR=$(stat -c%y $FILE | awk -F'-' {print $1}); mkdir -p .. /$YEAR; mv $FILE ../$YEAR; done

for FILE in $(ls *)

лицоладонь

А точнее?

touch ' ну вот такой "$%& файлик как пойдёт?'

Призовой вопрос - в чём разница между $(ls *) и *?