LINUX.ORG.RU

Хранение всего и вся

 ,


0

3

Приветствую. После недавнего инцидента решил реорганизовать свою файлопомойку. Интересуют свежие (а не за начало нулевых) примеры «best practice» в организации хранения данных.

Пример: у меня был раздел на ~500GiB под btrfs в качестве /home, в котором были всё: музыка, фильмы, код etc (не то /etc, которое должно быть в корне). Теперь хочется сделать следующее: вынести медиа на отдельный раздел (посоветуйте фс), который будет монтироваться в /media/hdd0, а в /home будут создаваться симлинки. Что делать с «текстовыми» данными (кодом, книгами и прочим)? Отправить их туда же, оставить в /home или выделить свой раздел (опять же, какую фс лучше использовать)?

Как организовать свою электронную библиотеку преимущественно из научной литературы в pdf/djvu?

Также видел, что /var выносится на отдельный раздел, который форматируется в reiserfs для лучшей скорости. Есть ли в этом смысл?

Интересует как Вы организуете свои данные. Принцип «дефолт работает — не трогаю» не интересует.

P.S. Если важен дистрибутив, то это будет либо Arch, либо NixOS.

P.P.S. Чуть не забыл: раньше был контейнер dm-crypt, в котором в lvm2 была вся система, кроме /boot. Отказываться от шифрования не планирую.

Hardware: ноутбук HP dv6-6c05er с hdd на 700Gb, телефон Meizu MX3 (android 4.4.4)



Последнее исправление: vanzef (всего исправлений: 2)

RAID на NAS'е, ну и бесперебойник купи тоже.

Электронная библиотека - через myrulib или calibre, /var выносить имеет смысл только если ты сам знаешь, зачем; прирост в скорости даст хранение корня и хомяка на разных физических дисках, использование более совершенных устройств или закрузка фс в оперативную память.

Файловая система по вкусу, но ориентируйся больше на надёжность и возможность восстановления данных штатными средствами.

Bfgeshka ★★★★★
()
Ответ на: комментарий от Bfgeshka

RAID на NAS'е, ну и бесперебойник купи тоже.

К сожалению, я бедный студент, поэтому аппаратные средства мне не подходят. Да и объемы с ценностью пока не такие большие.

Электронная библиотека - через myrulib или calibre

Забыл написать, что пробовал обе, но: одна из них, емнип, только для fb2, и обе — guiшные. Нет ли консольных «организаторов» библиотеки?

закрузка фс в оперативную память

Я делал так только для /tmp, потому что «его не жалко», что ещё можно/имеет смысл выносить?

Файловая система по вкусу, но ориентируйся больше на надёжность и возможность восстановления данных штатными средствами.

Вот про это и был вопрос. «Вкуса», а если быть точным, то опыта, пока что ещё нет.

vanzef
() автор топика
Ответ на: комментарий от vanzef

«Вкуса», а если быть точным, то опыта, пока что ещё нет.

Тогда особо не парься и бери ext4. Дефолтно, но зато косяки разрулятся «если что».

Для корректного гадания по посту на лоре приложи данные об имеющихся устройствах.

Bfgeshka ★★★★★
()

Я использую схему, похожую на то, что ты описал. Есть файлопомойка на mini-ITX с несколькими HDD (все механические жесткие диски в доме переехали туда). На основном компе остались только SSD (что положительно сказалось на шумовыделении). Дрочем с файловыми системами я не занимался, поэтому ext4 во все поля (и на сервере и на десктопе). Файлопомойка раздает данные через samba (так проще оказалось подцеплять разношерстные устройства), монтируется все это дело на десктопе в /mnt/data. В хомяке создаются симлинки на поддиректории /mnt/data/{music,video,torrents, и т.п.}. Все вышеперечисленное используется в режиме read-only в целях защиты от случайной модификации (это своего рода коллекция-библиотека). Если нужно что-то поменять, делаю это непосредственно с сервера по ssh. Кроме того на сервере установлен seafile, помощью которого я осуществляю синхронизацию прочих нужных файлов со всеми своими устройствами: документация (книги, мануалы, отрендеренные в pdf веб-страницы, и подобное), проекты в начальной стадии (которые еще не удостоились чести быть помещенными в git), личные данные (база keepass, заметки и т.п.), прочая нужная мелочевка. Важные данные бекапятся по расписанию на одтельный HDD. В целом я такой схемой вполне доволен, за исключением того, что по сути почти все мои данные находятся в одной корзине (на физически единственном сервере). Есть копии некоторых файлов на десктопе и на компьютере на работе (как раз за счет seafile), что уменьшает возможность их утери, но музыка и видео, например, в единственном экземпляре.
Ах да, на всех вышеописанных машинах используется Arch Linux.

m0rph ★★★★★
()
Ответ на: комментарий от m0rph

Спасибо за развёрнутый ответ! Но у меня нет внешних носителей кроме пары флешек и телефона, так что пока интересует организация только в рамках одного ноутбука.

vanzef
() автор топика
Ответ на: комментарий от m0rph

Что-то я сразу не сообразил. А как наилучшим способом синхронизировать телефон (библиотеку и музыку (идеально — по некоторому списку)) и ноут? Как лучше расшарить ноут для телефона?

vanzef
() автор топика
Ответ на: комментарий от vanzef

У тебя база техническая вообще маленькая, никакого смысла в дроблении на разделы не вижу.

Что необходимо - разгрести срач, распихать содержимое в каталоги по типу или категориям (фильмы, музыка, документы и код решительно далеко друг от друга, в аккуратно поименованных каталогах с добавлением их в избранное/закладки в твоём любимом ФМ; а также старанием не именовать их кириллицей), вычистить контент сомнительной ценности, автоматизировать сортировку новых файлов, разгрести завал в корне хомяка - в том числе и скрытых.

Bfgeshka ★★★★★
()
Ответ на: комментарий от Bfgeshka

Вы очень хорошо описали то, о чем я спрашиваю)

Меня как раз и интересует, кто как автоматизирует сортировку, именует файлы (может найду идеальный вариант).

Например: есть ли torrent клиент, который умеет определять содержимое и распихивать всё по папкам сам?

vanzef
() автор топика
Ответ на: комментарий от vanzef

Насчет удобства синхронизации все зависит от требований. Я перепробовал массу всего, начиная от производных rsync'а и заканчивая говнCloud. говнCloud довольно удобен, но слишком тормозной: сотню мелких текстовых файлов (исходники) заливал на сервер больше минуты. Syncthing элементарно не умеет inotify (хотя есть то ли патч, то ли аддон как раз добавляющий это), что делает его использование не очень удобным. Seafile для меня оказался самым подходящим вариантом, т.к. умеет почти все, что нужно. Правда писали его похоже все же инопланетяне. Но я с его помощью синхронизирую архив документации и некоторые «рабочие» файлы. Библиоткека музыки слишком большая, чтобы ее куда-то еще заливать.
В твоем случае (если используется один ноут и телефон) я вообще сомневаюсь в целесообразности каких-то сложных схем. Делай регулярные бекапы важных данных на съемный носитель, синхронизируй рабочие файлы через какой-нибудь dropbox, да и пожалуй и все. Хотя может я тебя не так понял.

m0rph ★★★★★
()
Ответ на: комментарий от vanzef

Меня как раз и интересует, кто как автоматизирует сортировку, именует файлы (может найду идеальный вариант).


Я до сих пор до конца не могу разгрести скопившийся лет за десять срач из файлов, которые вроде бы не нужны, но в тоже время выкинуть их жалко. Сейчас весь этот срач у меня в отдельной директории, которую я разбираю, когда есть свободное время.
Практика показала, что если не соблюдать правила работы с данными, срач всегда будет только расти. Поэтому для себя я решил всю работу с файлами производить строго в одной директории (использую для этой цели ~/desktop). В эту же директорию производится загрузка файлов (не торренты). Таким образом, я всегда вовремя замечаю и подчищаю лишние файлы. Когда же у меня была отдельная директория ~/downloads, за полгода там разводился жуткий бардак: скачаешь файл, распакуешь и бросишь валяться в таком виде.
Остальные директории в хомяке в основном служат библиотеками различных данных: документация, музыка, видео, изображения, проекты, личные данные и т.п. Некоторые из этих библиотек выборочно синхронизируются через seafile. Таким образом у меня на всех устройствах, например, доступна одна и та же подборка документации, что чрезвычайно удобно.
А сортирую информацию сейчас вообще вручную. Это не сложно, потому что все уже отсортированно. Все новое поступает сразу же в директорию назначения.

m0rph ★★★★★
()
Последнее исправление: m0rph (всего исправлений: 2)
Ответ на: комментарий от m0rph

Видимо, отсортировать первый раз всё руками — единственный способ. Спасибо за советы, попробую.

vanzef
() автор топика

У меня везде ext4 во все поля.

/ — ssd
/home — hdd полностью
/mnt/media — другой hdd, коллекция музыки, архив фотографий

Наличие еще одного обусловлено тем, что собирался его выносить из десктопа

sehellion ★★★★★
()

отдельный раздел (посоветуйте фс)

JFS

Meyer ★★★★★
()

Немного по сабжу. Отформатировал 800 гиговый раздел в ext4, сожрало порядка 10 (sic!) гигов. Отформатировал в JFS, вышло ~260Мб. Плюс ко всему надежная ФС и мало нагружает процессор.

Meyer ★★★★★
()

Также видел, что /var выносится на отдельный раздел, который форматируется в reiserfs для лучшей скорости. Есть ли в этом смысл?

при чём тут скорость?

emulek
()

Организовывай как хочешь, главное бэкапы.

bubblecore ★★★★
()
Ответ на: комментарий от vanzef

именует файлы

Для музыки так: %artist%\%year% - %album%\%track% - %title%
Правда в альбомах очень ограниченное количество исполнителей, остальное по трекам в одной папке %artist% - %title%

afterlanding ★★
()

какую фс лучше использовать

ext4

Также видел, что /var выносится на отдельный раздел, который форматируется в reiserfs для лучшей скорости. Есть ли в этом смысл?

Держал такой конфиг до тех пор пока после одного обновления раздел не начал дико тупить. Ковыряться не стал, просто пересел на ext4.

ya-betmen ★★★★★
()
Ответ на: комментарий от Meyer

надёжная ФС

4.2
2 раза было, что после перебоя питания менялись права корня. с ext4 такого не было

teod0r ★★★★★
()
Ответ на: комментарий от vanzef

Разве /var не часто дергается pacman'ом или чем-то ещё?

дык ты разберись сначала, в чём проблема.

emulek
()

Интересуют свежие (а не за начало нулевых) примеры «best practice» в организации хранения данных.

Ты удивишься. И больше чем 20 лет ничего не изменилось.
Куча разделов на одном диске не дает прироста скорости, наоборот голове больше носиться по диску + организация фс съедает место+может не хватить места в разделе и придется двигать. Сделай один / с ext4 во весь диск и не страдай.
Флешки/телефоны и пр. сами примонтируются куда в твоем дистре принято.

handbrake ★★★
()
Ответ на: комментарий от Meyer

Это из-за большого количества инодов и возможности ресайза. -O \^resize_inode -N 500000 поправит ситуацию.

ValdikSS ★★★★★
()

вынести медиа на отдельный раздел (посоветуйте фс)

XFS.

Что делать с «текстовыми» данными (кодом, книгами и прочим)?

Туда же.

или выделить свой раздел (опять же, какую фс лучше использовать)?

Если отдельно, то опять же XFS.

Также видел, что /var выносится на отдельный раздел, который форматируется в reiserfs для лучшей скорости. Есть ли в этом смысл?

Нет.

Интересует как Вы организуете свои данные.

Пока так:

/home/gotf % df; lsblk 
Filesystem        Size  Used Avail Use% Mounted on
/dev/mapper/root   40G   16G   25G  39% /
tmpfs             738M  720K  738M   1% /run
tmpfs             5.0M  4.0K  5.0M   1% /run/lock
tmpfs             1.5G  4.0K  1.5G   1% /run/shm
/dev/sda2        1014M  527M  488M  52% /boot
/dev/mapper/srv   932G  872G   60G  94% /srv
tmpfs             3.1G  2.2M  3.1G   1% /tmp
/dev/mapper/data  2.8T  2.4T  376G  87% /home/data
NAME     MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINT
sda        8:0    0  55.9G  0 disk  
├─sda1     8:1    0     8M  0 part  
├─sda2     8:2    0     1G  0 part  /boot
├─sda3     8:3    0    40G  0 part  
│ └─root 254:0    0    40G  0 crypt /
└─sda4     8:4    0     8G  0 part  
  └─swap 254:1    0     8G  0 crypt [SWAP]
sdb        8:16   0 931.5G  0 disk  
└─sdb1     8:17   0 931.5G  0 part  
  └─srv  254:2    0 931.5G  0 crypt /srv
sdc        8:32   0   2.7T  0 disk  
└─sdc1     8:33   0   2.7T  0 part  
  └─data 254:3    0   2.7T  0 crypt /home/data

Gotf ★★★
()
Ответ на: комментарий от Meyer

JFS
надежная ФС

У тебе опечатка.

сожрало порядка 10 (sic!) гигов

man mke2fs

Gotf ★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.