Файловая система внешнего HDD и её взаимодействие с linux

В ext4 и форматировать

ext2 и ext3 внимания вообще не стоят?

Нет

А на первый вопрос не ответишь? Он ключевой, ntfs-3g и exfat-utils работают в принципе-то.

Да.От многих факторов зависит.

По износу - это в основном парковки, само кручение слишком слабо.

То есть можешь по сути их не использовать, а каждый день будешь включать/выключать/засыпать/пробуждать компьютер, ну и они в пустую будут тыркаться.

Под линуксами с этим дела обычно хуже обстоят. Вон KDE только в 2018 году научилось безопасно извлекать USB HDD диски с отключением питания. То есть в Kubuntu 18.04 LTS такого и нет

https://bugs.kde.org/show_bug.cgi?id=270808

А для чего планируется использовать эти внешние hdd?

1. Обращений со стороны ОС к ним нет, если только сам не будешь дёргать, однако питание на них подаётся. Что там в фоне делает прошивка — одному производителю известно, да и то не факт.
2. Учитывая, что у тебя в качестве сервака ноутбук с хардами по USB, вопрос файловой системы тебя вообще волновать не должен.

А вот на что стоит обратить внимание — это дистрибутив. Для сервера очень неудачное решение, особенно если не хочешь каждый день тратить время на возню с обновлениями. Оставлять же арч без обновлений на длительный срок — идея тем хуже, чем больше времени прошло с момента её воплощения в жизнь

Идеальный режим для HDD - включиться, раскрутиться и работать 5-10 лет при постоянных температуре и влажности, без вибраций и перегрева (в USB-боксе надо это проконтролировать, если > 45 то лучше принять меры).

Линукс никак не трогает несмонтированные харды. На запись - точно никак, но может иногда перечитывать таблицу разделов, например при запуске gparted.

По износу - это в основном парковки, само кручение слишком слабо. То есть можешь по сути их не использовать, а каждый день будешь включать/выключать/засыпать/пробуждать компьютер, ну и они в пустую будут тыркаться.

Я правильно понял, что для сохранения ресурса хардов лучше их вообще не трогать, и только в случае необходимости вручную подключать в USB и mount’ить? Во всех остальных случаях харды будут изнашиваться из-за постоянного включения/выключения, верно?

А для чего планируется использовать эти внешние hdd?

Для хранения копий бекапа, который инкрементно обновляется каждые 2-3 дня, файлопомойка и примерно 200GB под некритичные в плане скорости работы виртуалки.

однако питание на них подаётся

Эта подача питания тратит абстрактный лимит использования харда? В сравнении с тем, как если бы хард просто лежал на полочоке.

Учитывая, что у тебя в качестве сервака ноутбук с хардами по USB, вопрос файловой системы тебя вообще волновать не должен.

Не согласен. В любом случае интересно, какая фс оптимальна для внешних носителей.

А вот на что стоит обратить внимание — это дистрибутив. Для сервера очень неудачное решение, особенно если не хочешь каждый день тратить время на возню с обновлениями.

Да ладно, какие проблемы, там правда кроме вима, докера, питона, опенссаша и пары-тройки либ нет ничего, обновления прилетают не так часто, если ядро поставить лтсное, что я сделаю, как только релизнётся новый лтс, то вообще никаких проблем. По крайней мере пока. А какой дистрибутив был бы опитимален для таких задач?

То есть, я правильно понял, что если мой ноут почти никогда не будет выключен, а оба харда постоянно к нему присоединены и смонтированны, то это будет лучше для его сохранности, чем постоянно их туда-сюда дёргать?

то это будет лучше для его сохранности, чем постоянно их туда-сюда дёргать?

Да. Конечно, это только моё мнение, сравнительных исследований никто по науке не делал. Но что есть - так это собиралась статистика в датацентрах по сроку жизни винтов - и винты, которым холодно (и жарко) жили меньше, чем винты при 30..40°C. У меня простые десктопные винты в таком хорошем режиме по 70 тысяч часов живут.

Кроме того, общеизвестно, что все машины во всех отраслях сильнее изнашиваются при переходных процессах - остановке и запуске. Это как-то связано с вязкостью смазки, вибрациями, многократными термическими расширениями-сжатиями деталей.

Для ежемесячного бекапа, наверное, стоило бы отключать диск (пока он отключен ему менее опасны удары и электропомехи). Если каждые два дня - я бы оставил непрерывную работу.

Эта подача питания тратит абстрактный лимит использования харда?

Сама по себе — сложно что-то утверждать, но не забывай, что есть ещё и прошивка, которая занимается неизвестно чем.

А какой дистрибутив был бы опитимален для таких задач?

Debian (Devuan) или CentOS

А какой дистрибутив был бы оптимален для таких задач?

Советую посмотреть на nixos.

То есть в Kubuntu 18.04 LTS такого и нет

Есть.

Линукс никак не трогает несмонтированные харды. На запись - точно никак, но может иногда перечитывать таблицу разделов, например при запуске gparted.

smartd из состава smartmontools опрашивает диски с какой-то периодичностью, от этого они могут просыпаться.

Ваши задачи требуют диаметрально противоположных подходов в отношении внешних дисков.

Для хранения копий бекапа, который инкрементно обновляется каждые 2-3 дня

Вот это требует не только отключения дисков после завершения бекапа, но и перенос их в физически другое место. Представьте, что будет, если у Вас в квартире случится протечка/пожар/еще какое-то бедствие, воры залезут, например. Вы останетесь и без ноута, и без бекапа.

Поэтому общим правилом является хранение бекапов удаленно.

под некритичные в плане скорости работы виртуалки.

А это, наоборот, требует постоянного подключения смонтированных дисков. Как Вы себе представляете запуск и работу виртулки с несмонтированного раздела?

Единственный вопрос при работe с любыми внешними накопителями в линуксе - кеширование. Закинул фильмец на флеху\usb-хард, и, если не сделал пляски с бубном вокруг sync && umount, скорее всего у тебя фильм будет битый. Т.е. всякие дельфино-наутилусы бодро отрапортуют, что копирование завершено, а по факту, оно там тошнится со скоростью 10МБ\сек еще минут 15, и это можно увидеть только по iotop. Никакие Eject из GUI отродясь нормально не работали.

износ

не самые удачные ФС

Так что, не о том ты печешься.

Никакие Eject из GUI отродясь нормально не работали

Это не так, апплет Plasma нормально работает - если ещё идёт запись на накопитель, то апплет рисует кружащуюся полосочку, и только по окончании записи рапортует, что накопитель можно вытащить.

Нет, там специально есть проверка на сон.

вмысле, не так? Открываю делфин, подключаю usb винт, открываю iotop рядом. кидаю 5GB mkv. Через полминуты внизу нотификация KDE "Finished`. iotop продолжает казать «Actual DISK WRITE» ~20МБ\сек.

Теперь сделал sync

$ time sync

real	1m6.625s
user	0m0.000s
sys	0m0.002s

т.е. еще минута на того, что бы реально записать данные на диск. Окей, нормально работает, для тестировщиков KDE, видимо, раз они такие дэбилы, что запили фичу, херящую данные юзера

вмысле, не так?

В прямом. Это твоё утверждение:

Никакие Eject из GUI отродясь нормально не работали

это ложь. Eject в апплете Плазмы нормально работает. Подозреваю, что и Unmount в Dolphin тоже нормально работает, но мне лень проверять.

да ты упорот, попробуй сам! нажал на Safety remove в дельфине после того, как нотификация сказала Finished. Он отмонтировал раздел, тогда как iotop еще шпарит. Замечательно, вытащите вашу флешку и получите битый файл

Он отмонтировал раздел, тогда как iotop еще шпарит

Видеопруф в студию

Линаксо-разработчикам просто в голову не приходит, что их поделия не работают, они на автомате не замечая вбивают в консоль sync и grep -E ‘^(Dirty|Writeback)’ /proc/meminfo, а воображают, что это их поделие всё само сделало.

Пруф того, что оно работает, должен быть от тебя. Подойдет ссылка на ручной или автоматический тест-кейз фичи от проекта KDE. Отсутствие чайника на орбите нельзя подтвердить, можно подтвердить только наличие.

Я повторил этот кейз у себя 2 раза сейчас, с видосами заморачиваться бред. Ты текст не понимаешь? Или тебе просто лень повторить приводимый юзкейз? Ну, теряй свои файлы на USB винтах дальше

с видосами заморачиваться бред

Ну конечно бред, как это я посмел попросить пруфов у непойми кого из интернета, лол.

Запилить скринкаст - дело 10 минут и 10 кликов мышью максимум.

Ты текст не понимаешь?

Сорян, мне плевать на фэнтезийные тексты. Сначала пруф, потом нормальное обсуждение. Тому що тут предостаточно кукареклоидов пасётся, и не хочется тратить на них время.

Я всю жизнь кидаю файлы от маленьких текстовиков до фильмов в десятки Гб на флешки и usb-hdd, и тут ты выходишь на сцену с заявлениями, что отмонтирование переносных накопителей сломано. Как мне прикажешь относиться к таким словам, хех?

Я вот прямо сейчас проверил - воткнул флешку и скинул на неё фильм. Во-первых, пока файл реально не скопировался, уведомление не рапортовало об окончании, а всё висело с почти завершённым прогрессбаром. Во-вторых, когда я невзирая на уведомление нажал «Safety remove» в Dolphin, он мне написал в красной рамочке, что накопитель занят, отмонтирование невозможно.

Так что либо видеопруфы своих прохладных историй (и потом уже будем разбираться в проблеме), либо гуляй, уася.

Ты большой файл кинь, на Safety remove нажми, после того как прогресс-бар завершится. Индикация прогресс-бара показывает погоду на Марсе, после его завершения данные еще не записали, но Safety remove «отмонтирует» фс (я не знаю как он это делает, т.к. umount в это же время не проходит, а ждет синхронизации)

Ну, 3 Гб - достаточно большой файл?

после того как прогресс-бар завершится

Именно так и сделал после того, как уведомление отрапортовало о завершении. Всё нормально отмонтировалось. Вот щас воткнул флешку обратно, октрыл фильм, потыкал в разные места бегунка плеера - ничего не повреждено.

Индикация прогресс-бара показывает погоду на Марсе

Да, показывает. Это известная проблема. Но чтобы апплет писал «finished», пока запись реально идёт - такого нет. Он просто сначала фигачит с большой скоростью, а под конец начинает висеть, пока файл реально не запишется.

3 Гб

ну да, ок

Он просто сначала фигачит с большой скоростью, а под конец начинает висеть, пока файл реально не запишется.

это понятно, известный эффект. Но у меня он рапортует finished. А Safety remove выполняет отмонтирование ( из mount пропадает). При этом лампочка на диске продолжает яростно мигать.

iotop запусти у себя плиз. Посмотри на него, после того как Finished. У меня он еще шпарит минуту

Какой процесс у тебя шпарит в iotop?

Ты пробовал сразу после отмонтирования отсоединить накопитель, потом снова подрубить и проверить целостность файла?

[kworker] что-то там flush

Ты пробовал сразу после отмонтирования отсоединить накопитель, потом снова подрубить и проверить целостность файла?

Да, пробовал. Ничего хорошего. И это у меня наблюдает на куча машин и много лет, на gnome и KDE. Я просто использую sync && umount , т.к. гуй глючное дерьмо всегда был

Позже может запишу видос, раз уж такое дело.

[kworker] что-то там flush

С чего ты взял, что это имеет отношение к переносному накопителю? Этот kworker постоянно что-то пишет мелкими порциями

Вообще, как может ядро или любая другая прога писать на раздел после его отмонтирования? Это невозможно в принципе

[kworker...flush], [jbd2...sdb1] - вот эти два процесса шпарят. Когда данные реально записаны через минуту, ничего не шпарит.

как может ядро или любая другая прога писать на раздел после его отмонтирования?

на блочное устройство легко. Ясно, что раз отмонтирование произошло, ФС буфера снинуло. Там другие буфера у блочных устройст, видимо. Их то гуйня в расчет и не берет.

у немцев в линуксоидном журнале недавно была маленькая статья на проблему износа hdd. Тк у меня малина в качестве сервака 24/7 в году эта тема тоже интересует. Их совет был

hdparm -S 180 /dev/sda

пробовать spindown каждые 15 минут при неактивности диска. Правда при активном сидировании торрента не имеет смысла + надо сильно минимировать журналирование и логгирование всего и вся. Ибо жесткач всегда будут дергать

Ясно, что раз отмонтирование произошло, ФС буфера снинуло. Там другие буфера у блочных устройст, видимо. Их то гуйня в расчет и не берет

Ты понимаешь, что gui дёргают те же самые sync и umount, которые ты вводишь в консоли? И что если всё как ты описываешь, то безопасное отмонтирование сломано на уровне ядра, а не каких-то gui? Что вообще выглядит невероятным, потому что миллионы людей монтируют-отмонтируют накопители без проблем

проверил копирование 32.2 гб файлов на внешний жёсткий диск. Сразу отмонтировал. Отсоединил диск. Присоединил диск. С файлами всё ок. Видео-музыка играется, картинки-документы открываются, архивы открываются.

Kubuntu 18.04.3.
Может как-то по особому надо проверить?

рад за вас :)

Может у вас что-то с USB разъемом? Он уже круглый, или ещё овальный?

В ядре ничего не сломано, sync && umount завершаются ровно тогда, когда все данные записаны. Гуйня сломана, потому что макаки дергают, не понимая что.

Мне можете говорить, что вода сухая сколько угодно, но у меня сроду в линуксе отмонтирование из гуйни не работало. Ну, может во времена молодости на ubuntu 8.04, не помню

Сейчас подумал, может это из-за luks. У меня всегда везде установлен cryptsetup.

Но когда у других всё нормально работает, а у тебя всё сломано, то кто реально макака, надёргавшая непонятно что? XD

Уел

Вот это требует не только отключения дисков после завершения бекапа, но и перенос их в физически другое место. Представьте, что будет, если у Вас в квартире случится протечка/пожар/еще какое-то бедствие, воры залезут, например. Вы останетесь и без ноута, и без бекапа.

Я это понимаю, однако мой способ делать бекапы спасает от ситуации, когда хард умирает и какие-то данные не спасти после такого. Даже если он и умрёт, ничего страшного, 2-3х-дневная копия лежит ещё в двух местах, то есть сильно сокращается время, которое требуется на возврат рабочего ноута в строй в случае замены его основного накопителя. А если ко мне залезут воры/пожар/цунами/роскомнадзор - боюсь проблемы будут чуть посерьёзнее, чем пропажа старого ноута и двух хардов.

А это, наоборот, требует постоянного подключения смонтированных дисков. Как Вы себе представляете запуск и работу виртулки с несмонтированного раздела?

Очень легко представляю, у меня есть для личных целей две виртуалки, одна с седьмой виндой, другая с XP, запускаются они от силы раз в неделю, за редкими исключениями. А монтирование нужного диска можно в скрипте для запуска виртуалки вписать, например.

Всем спасибо за помощь и советы. На харды в итоге лучше ext4 накатить?

однако мой способ делать бекапы спасает от ситуации, когда хард умирает и какие-то данные не спасти после такого.

Очень легко представляю, у меня есть для личных целей две виртуалки, одна с седьмой виндой, другая с XP, запускаются они от силы раз в неделю, за редкими исключениями. А монтирование нужного диска можно в скрипте для запуска виртуалки вписать, например.

В таком случае диски лучше физически отключать. Потому что неисправность того же блока питания запросто может сжечь не только внутренний, но внешние диски с бекапом. Ну а воткнуть их обратно при запуске нужной виртуалки, думаю, проблем Вам не составит.

Да, пожалуй это самое разумное, так и буду делать. А ФС какую лучше на них поставить?

А ФС какую лучше на них поставить?

Я бы поставил обычную ext4. Быстро, надежно, без лишних наворотов.

Добавлю что для пущей надёжности в ext4 можно включить metadata_csum, подробности в ядерной вики