Как организовывать файлы на компьютере?

точно. tl;dr

нужен порядок?

find / -exec mv '{}' $(uuidgen) \;

несколько раз из-под рута и будет очень ровно.

удалить всё.

я закидываю в confluence. FS призвана работать быстро.

Были бы теги, сохранил бы например в

хардлинков наделай... все эти идеи с тегированием в фс - больное порождение маркетологов мс.

Ты затронул очень важную тему, но у основной массы пользователей

а еще у некоторых просто денег нет и они всякие велосипеды изобретают. я че-то такое изобретал-изобретал, в итоге плюнул и просто арендовал 6 тб для бекапов. и никаких гугл-яндекс-кремляндекс сториджей.

я тоже по бекапам могу подсказать. у меня бекапится одним (! заменить, не кучей, как у тебя) целый том. бекапятся только дифы. инкрементально. за сколько хочешь, за столько и хранишь. доступ мгновенный - зашел удаленно и получил старую копию.

Очень просто

1) Разделяешь на категории как ты и предлагал изначально, при этом разделение должно быть как в хомяке так и в внешнем хранилище
2) Переносишь в внешнее хранилище те файлы, которые не искал и не пользовался в течении года

Результат:

1) Минимальные трудозатраты на организацию и уборку
2) Относительно чистый хомяк
3) Бардак в хранилище, но всё равно ты в нём будешь орудовать исключительно поиском а не ручками

нужны две папки: порево и непорево. все. естественно порево на ссд, потому что важен быстрый отклик. непорево на хдд.

Наоборот же, удовольствие нужно растягивать.

Заинтересованный в чём? В том, чтобы другие прочитали, или в том, чтобы себе сохранить? Ты предлагаешь надеяться на то, чтобы а) кто-то захотел сохранить публичный доступ к важной для тебя информации, б) кто-то другой захотел её проиндексировать и организовать тебе интерфейс к своей базе? А это ещё не говоря о том, что госкомнадзор тебе в любой момент может доступ порезать к нужному ресурсу. А ты смешной)

Если вручную добавлять каждую директорию в список для резервной копии, то есть риск того, что в какой-то момент можно забыть забекапить нужную папку.

man флаг nodump.

Для старых юниксов существовал строгий стандарт где что должно лежать. Теоретически ничего не мешает пользоваться им и сейчас, но это же устарело, надо всё переместить из /bin в /usr/bin или /usr/lib/share/bin или ещё куда...

https://ru.wikipedia.org/wiki/FHS

Но кажется это уже «доработанная версия» с двойным хаосом.

/home и /opt имеют принципиально разные типы данных, даже если высосать ситуацию когда перенос всё же нужен, копирование данных будет допустимым.

В линуксе отвечают куда более чётко: вот твоя папка, а если хочешь другие диски то они в /media, а вот сюда и сюда будь добр файлы не совать.

Один скрипт на запаковку, на распаковку, на проверку контрольных сумм и на все другие 5 хранилищ? Ну да, ну да...

Инкрементно, сжато, и с мгновенным доступом к файлам? Это что за зверь такой?

Не покажешь общепринятый стандарт на организацию ~/?

…/bin в /usr/bin…

Ты хоть читаешь то, на что отвечаешь?

Вместо /opt может быть любая флешка\внешний диск и т.п.

Т. е. вместо тегирования, ты предлагаешь забивать диск дубликатами данных? Забавно.

А мамку куда дел? И почему про папку ты говоришь в женском роде, тебя две лесбиянки вырастили?

Имхо, фс плохо подходит как способ организации информации.

Какой-то ты плохой ганс. Нужны костыли для порядка.

https://superuser.com/questions/81563/whats-a-good-solution-for-file-tagging-...

+ были ещё во времена DOS файлы descript.ion

я же, говорю, я вообще не понимаю, зачем ты придумал всю эту свистопляску. мне твой алгоритм кажется дурацким. я не зипую так, как ты, а храню эффективнее, чем ты.

«на все другие 5 хранилищ» - еще что-то слабопостижимое. расшифруй что ли.

он плохой Гейтс. это при гейтсе пытались создать такую ФС.

Это не я предлагаю распихивать документы по системным разделам, вынесенным на флешку.

нужны две папки: порево и непорево. все. естественно порево на ссд, потому что важен быстрый отклик. непорево на хдд.

нет-нет, погодите! вы все делаете неправильно! порево на хдд, а непорево на ссд! плеер должен быстро запускаться, а порево он по кусочкам подтянет. ну а в остальном все верно.

Ну, ты то точно не читаешь, потому что мы корневую ФС обсуждаем и хаос в ней. Но тильду ты здорово замаскировал, это да...

А хомяк каждый себе сам организует. За исключением ~/.config, ~/.local и подобных.

никак

забей

старое не особо нужно

Проблема с ними та, что их надо вручную создавать несколькими командами, что заметно труднее, чем если бы прям сразу добавить. К тому же они и поломаться могут при копированиях.

а ты хотел, чтобы они автоматически AI создавались? или вычитывались из мета-тегов странички? нет, ты просто хочешь сказать, что нет удобного интерфейса к программам для создания этих метатегов. на самом деле вся эта идея дурацкая.

Ссылки. Придумай для себя систему, согласно которой ты будешь определять единственое основное место хранения файла, а в остальные места добавляй символьные или жесткие ссылки.

Понятно, что ссылки, но их создание таки требует дополнительного времени, а симлинки еще и навернуться могут после копирования.

Потом можно запросто искать это через какой-нибудь fzf (при условии быстрого SSD или регулярного индексирования).

Есть еще всякие системы управления документами типа Zotero

Спасибо, как-то даже не слышал ранее этих названий. Не факт, что буду использовать, но интересно стало.

на самом деле вся эта идея дурацкая.

Есть такой юзкейс - файлопомойка из постепенно сохраняемых страничек и прочих файлов. Под него было бы неплохо.

Я закидываю в Devonthink и он уже индексирует и каталогизирует.

А, это for Mac, но все же тоже интересно.

уже ответил выше. специальный юзкейс - специальное решение. я использую confluence, он умеет версии одного документа, теги и многое-многое другое. не говорю уже о том, что работает под мак.

Нет. Получается, её надо сохранить в каталог внутри каталога «статьи», на который сделать ссылки из каталогов «документация на оборудование », «про coreboot», и «фамилии».

Тоже подход, наверное даже правильнее.

Всё очень просто:

* Всякие заметки и прочие вещи ведёшь в том, что не спрашивает о файлах лишний раз. То же самое с менеджером паролей.

* Кодинг и прочие вещи — клонируешь куда-нибудь, дальше твоё IDE само откроет недавно пользуемое.

* Остальное (музыка, видео) — складываешь в помойку. Ищешь поиском. Не нашёл — гугль найдёт. Кончится место — можешь снести хоть всю помойку либо отсортировать по дате создания и снести старьё.

А для уменьшения нужности бэкапов — облака же. Если ты кодер — github/gitlab для практически всей работы. Мелочи вроде заметок и менеджера паролей — тупо шифровать и весь контейнер бэкапить в рандомное облако, они все на таком объёме одинаковы, включая твоё личное.

И да, чтобы на телефоне не возникал вопрос о файлах — попробуй ябблофоны. Всё, что они не умеют — не нужно.

ты решил, что найденное в интернете уникально и больше никто об этом ничего и нигде не написал? ох лiл.
значит найденное - 99% хлам. это очевидно.

Даже завидую, по моим ощущениям примерный, так сказать, «период полураспада» в интернете - где-то в среднем 5-8 лет. Это то время за которое протухает половина ссылок. И хорошо еще, если просто адресация поменялась (как на LOR допустим). Конечно, есть сайты, где ссылки сохранились даже с 90-х годов (некоторые западные университетские обычно), но таких очень мало.

Далее, если инфа ценная, ты считаешь, что ее кто-то где-то озаботился все же скопировать и перепостить у себя на сайте. В принципе где-то даже верно, если что-то действительно очень популярное, но закладываться на это довольно странно. Вообще полно информации, которая в лету канула. Даже драйверов для старого оборудования не всегда можно найти, если это не мейнстрим был.

Обзор моей системы бэкапов. Инструменты описаны выше, держится всё на скриптах и хроне. Если удобство распаковки уровня плинтуса, то эффективность хранения чуть чуть ниже чем профессиональных систем.

rrr@raspberrypi:~$ cd /media/data/backup/
rrr@raspberrypi:/media/data/backup$ ls
home_zback           nvflash.tar.7z          raspbian_190210.tar.7z  windata_141025.7z
ac100.img.lzma    hphome_zback         piboot.img.bz2          repack_backup.log       windata_141203.7z
check_backup.log  icons_svgcrystal.7z  pigentoo_zback          vbox                    win_zback
dosbox.conf.lzma  make                 raspbian_180415.tar.7z  vbox_zback              zback_tmp
gentoo_zback      make_zback           raspbian_181110.tar.7z  win
rrr@raspberrypi:/media/data/backup$ ls home_zback/backups/
home_161126.tar    pihome_180806.tar  pihome_190110.tar  pihome_190220.tar  pihome_190304.tar  pihome_190321.tar
home_161230.tar    pihome_180910.tar  pihome_190130.tar  pihome_190224.tar  pihome_190307.tar  pihome_190323.tar
pihome_180216.tar  pihome_181010.tar  pihome_190209.tar  pihome_190227.tar  pihome_190310.tar  pihome_190325.tar
pihome_180415.tar  pihome_181114.tar  pihome_190216.tar  pihome_190228.tar  pihome_190317.tar
pihome_180604.tar  pihome_181214.tar  pihome_190219.tar  pihome_190302.tar  pihome_190319.tar
rrr@raspberrypi:/media/data/backup$

home_zback - здесь хранится хомяк с основного компа и спервого ноута (он сейчас не используется, храню на всякий случай)
hphome_zback - а здесь со второго ноута. Дубликация данных с пишкой нулевая.
pigentoo_zback - история моих экспериментов
win_zback - а там образы винды с первого ноута
vbox_zback - тут виртуалки под разные игрушки и полезные проги вроде мс офиса.
make_zback - архив свалки софта с первого ноута, устарело.
gentoo_zback - эксперименты по генте на первом ноуте, устарело.
Хз что здесь можно было бы запихать в одно хранилище и чем это могло бы помочь.

Эти 28 бэкапов хомяка это после чистки мусора около месяца назад. Хранилище home_zback весит 25Гб, а в /home сейчас использовано 17,5 Гб, большая часть это видео и музыка.

Да, и после того как всё было создано и настроено, сам процесс бэкапа сводится к нажатию кнопки на панели. Распаковка несколько сложнее, надо подать 1 команду и дождаться её выполнения...

Если удобство распаковки уровня плинтуса, то эффективность хранения чуть чуть ниже чем профессиональных систем.

ты, видимо, очень гордишься своим огородом. так что, говоришь, какие действия надо проделать, чтобы достать какой-то файл из ... ох, ты еще и сжимаешь по-разному... ну скажем windata_141025.7z?

и ты забыл показать размеры файлов.

ls -l home_zback/backups/

бекап инкрементальный? в каком месте у нас dedup происходит?

Ни и бардак…

Вот моя система бекапов:

ssh user@host ls                
digital-ocean.borg
latitude.borg
vultr-fr.borg
xps9343.borg
xps9350.borg
xps9370.borg

ZBackup 1.0

Вот в этом месте происходит dedup вместе со сжатием lzma.

какие действия надо проделать, чтобы достать какой-то файл

Шаг первый: zbackup restore ... > ...
Шаг второй: в любимом файлменеджере тыкаем в архив tar и вытаскиваем нужное. Несжатые .tar кстати не требуется прочитывать полностью.
Разумеется это не относится к тем хранилищам, которые хранят образы а не архивы.

ну скажем windata_141025.7z?

А это вообще другой разговор. Конкретно там пачка сэйвов за 2014 год. Не помню что я ещё недопрошёл, но если лежит значит что то недопрошёл. И да, почему вы удмвляетесь, что кроме хранилищь для регулярных бэкапов у меня лежат единичные архивы?

По крайней мере я помню что там лежит и наберу команду восстановления меньше чем за минуту.

ты, видимо, очень гордишься своим огородом.

Конечно я им горжусь. Он работает, доказал свою работоспособность, крутится на RPi3 в фоновом режиме, использует только те инструменты, которые доступны в репе дебиан 8+ и я огородил его сам.

У меня есть идея разработки удобного утиля для тегированной файловой системы с поддержкой разных бэкэндов - sqlite база данных для тегов и путей к файлом а также на базе user_xattr (пишу, вдруг идею кто-то подхватит).

Пока проект на стадии - есть projects.org (org-mode файл) и в нём проекты и куча ссылок на другие org-файлы, в которых тоже могут быть ссылки на другие org-файлы. Таким образом вся эта сеть охватывает всё что я делаю на своей машине. В org-файлах по-русски описаны все файлохранилища и файлы нужные для конкретных дел и много комментариев как со свалкой нужно работать. Есть временные свалки - к примеру ~/Downloads/, которые я периодически стараюсь просматриваю начиная с самого залежавшегося файла и пытаюсь включить в сеть.

На систему, описанную в последнем абзаце, меня сподвигла книга Дорофеева «Джедайские техники».

как дедуп выполняется, если у тебя уже файлы пожаты зипом? а если не пожаты, то относительно какого файла он делает дедуп и как потом считает промежуточные архивы? у этой системы есть один недостаток - высчитываение дельты (дедуп) в этом решение ресурсоемкое, выполняется каждый раз и грузит основную рабочую машину. у тебя бекапчики по сколько гигобайт, если не секрет? если я тебя попрошу бекапить таким образом пару террабайт, твоя машинка просто умрет.

«да, у меня пачка скриптов, но когда все настроишь... Шаг первый, шаг второй... ой, а это совсем другой разговор... а какой я не помню...»

вот, граждане, вы видите нагляный пример, как делать не стоит.

знаешь, как я открываю, свои бекапы? захожу на удаленную машину и mount образа делаю. и все.

размеры бекапов скажи?

а также на базе user_xattr

было уже. одно неверное движение и вы запортачили ФС. делай, делай...

гейосный dstore уже затрахался удалять из разных архивов

Сжатие bz2, gz, 7z я использую для промежуточного хранения и передачи по локалке. Потом хрон перепаковывает в хранилище zbackup. Ему соответственно скармливаются несжатые данные, он их хеширует, дедуплицирует, хз, я не лез ему под капот и про технологию хранения данных в B-tree читал поверхностно. В итоге он хранит кучу фрагментов, а фрагменты жмёт через lzma с использованием порядка 150М памяти (для меня приемлимо). Да, операции тяжёлые. На пишке архивы перепаковываются со скоростями порядка 1,5-2 Мб/сек (примерно соответствует быстрому lzma или pbzip2 на 4-х ядрах), дедупликация может прыгать до 15 Мб/сек. Это имеет небольшое значение т.к. операции выполняется ночью с низким приоритетом i/o, торрентам и мне не мешает, до утра успеет при любом раскладе. Если что то пойдёт не так - запись в лог и ничего не удаляется.

захожу на удаленную машину и mount образа делаю. и все.

Очень даже любопытно как.

Размеры бэкапов, не всех:
Образы раздела винды, 20Гб - 9 шт, первый 13.04.2017, последний 22.08.2018, суммарный объём 26,4Гб
Образы витруалок, размер образа 1,9-2Гб - 27 штук, первый 23.05.2018, последний 25.03.2019, в сумме 865Мб.
Домашняя папка второго ноута, вчерашний бэкап, пожатый gzip'ом, 750Мб. Сколько там несжатого и в каких пределах скачет - хз. Суммарный объём 27,9Гб, 66 штук, первый 06.07.2017, последний вчера.

Сжатие bz2, gz, 7z я использую для промежуточного хранения и передачи по локалке.

ну отлично, мы задавили нагрузкой рабочую машину и заняли временно место на диске.

Потом хрон перепаковывает в хранилище zbackup.

отлично, мы теперь их распаковываем...

он их хеширует, дедуплицирует, хз,

ок, мы в третий раз интенсивно нагружаем сервер

Образы раздела винды, 20Гб - 9 шт, первый 13.04.2017, последний 22.08.2018, суммарный объём 26,4Гб

ок, мы делаем бекап реже, чем в месяц

Образы витруалок, размер образа

ок, два раза в месяц

66 штук, первый 06.07.2017

а теперь еще раз. я делаю бекап 2 Тб. бекаплю все. без вот этих твоих случайных: это так запакуем, это эдак. это раз в месяц, это раз в две недели...

я бекаплю 2 раз в неделю, 2 Тб. все без разбора. и имею мгновенный доступ. без вот этой твоей муйни с кучей скриптов.

чувствуешь разницу?

ах да, и у меня система во время бекапа остается рабочей, а не стоит колом.

Потом хрон

он не хрон и не, прости, хрен. а просто крон.

а теперь еще раз. я делаю бекап 2 Тб. бекаплю все. без вот этих твоих случайных: это так запакуем, это эдак. это раз в месяц, это раз в две недели...

я бекаплю 2 раз в неделю, 2 Тб. все без разбора. и имею мгновенный доступ. без вот этой твоей муйни с кучей скриптов.

а чем бекапите, borg backup ?

Лучший способ - то что не использовалось год-два-три идет в /dev/null/

музыка и фильмы идут туда сразу после прсомотра

мы корневую ФС обсуждаем и хаос в ней.

Давно у нас музыка, видео и прочие документы в корне храниться стали? ОП:

В общем, надоел мне беспорядок…
Первая идея, естественно, распределить всё по категориям. Видео, музыка, документы, проекты…

Но тильду ты здорово замаскировал, это да...

Ты столько ошибок во фразе «я читаю через слово» сделал.