LINUX.ORG.RU

Фрагментация ext4 на торрентах, личный опыт

 , ,


0

3

Жил-был у меня раздел, который когда-то, лет 14 назад, был /home. Время шло, он переехал на новый винчестер при помощи dd. Затем у меня завёлся SSD и я переместил /home на него а то, что было /home/user/torrents, оставил, теперь у меня /home на SSD, а /home/user/torrents на HDD. Потом /home переехал на более крупный SSD, а потом ещё раз - на ещё более крупный. Всё при помощи dd.

Таким образом, у меня раздел /home/user/torrents жил 14 лет, а /home примерно 10 лет с двумя переездами при помощи dd. И тут я в эти выходные вдруг взял да озаботился дефрагментацией при помощи e4defrag. А почему бы и нет.

В целом, раздел /home/user/torrents дефрагментировался примерно полчаса и показал уровень фрагментации 0.1%. Раздел /home дефрагментировался четыре часа (на ssd!) и показал уровень фрагментации около 4%. Оба раздела имеют одинаковый размер в 2Тб. Особенно фрагментированными оказались директории ~/.cache, ~/.local/share/Trash, ~/Downloads и, как ни странно, ~/.config.

Увы, забыл наделать скриншотов, потому что это не был тестовый забег, а просто рабочий процесс.

Это я всё к чему. Сдаётся мне, проблема фрагментации из-за торрентов слегка преувеличена.

Дискас.

★★★★★

В общем, ничего нового или неожиданного.

/home/user/torrents уровень фрагментации 0.1%

учитывая настройки в клиентах «выделять\резервировать место сразу» так и должно быть.
Крайне сомнительный переезд с помощью dd, если бы не он, то дефрагментация тоже не нужна была. Ну и насилование ssd в течение 4 часов такое себе, когда можно было просто все данныепросто перенести на другой носитель, а потом обратно.

озаботился дефрагментацией при помощи e4defrag

какая-то ненужная софтина получается

sehellion ★★★★★
()
Ответ на: комментарий от targitaj

оке, значит накладные расходы работы драверов файловой системы весьма и весьма большие и сопоставим со скоростью считывания из ssd. будем знать.
вполне возможно что там никто на скорость и не оптимизировал.

интересно бы еще сравнить скорости прямого и рандомного чтения из /dev/sd* без фс замудрений и разделов.

pfg ★★★★★
()

Зачем дефрагментировать SSD? Чтобы что?

eternal_sorrow ★★★★★
()
Ответ на: комментарий от gremlin_the_red

Особенно если ставить галку «резервировать место сразу». Впрочем, фрагментация на ext4 никогда проблемой не была,

ну кому как. когда я последний раз проверял свежескаченные торенты читались с механического диска со скоростью 20мбвс. filefrag показывал что файл состоит из нескольких тысяч фрагментов. а после дефрагментации (копирования туда обратно) скорость поднималась до 100мбвс

theurs ★★
()
Ответ на: комментарий от pfg

рандомное чтение кусков данных с разных концов ssd будет практически идентично по скорости чтению кусков данных последовательно расположенных.

для большого количества мелких файлов эта мантра почему то не работает. скорость падает очень сильно

theurs ★★
()
Ответ на: комментарий от theurs

на больших количества мелких фалов сами файловые системы накрываются со скоростью, даже в условиях RAMдисков…
все зависит от структур и качеств фс

pfg ★★★★★
()
Ответ на: комментарий от ism

емнип, то, что видит ОС, и то, что на самом деле происходит на SSD - две разные сущности. Более того, разные контроллеры сильно по разному работают с ячейками памяти, из-за чего все оптимизации переложили на сам контроллер и инкапсулировали в TRIM

виндовый «Optimize Drives» (бывший defrag) об этом знает, предлогая TRIM для SSD и классическую дефрагментацию для HDD

Ford_Focus ★★★★★
()
Ответ на: комментарий от Ford_Focus

Тут вопрос в том как работает trim с линейным файлом или фрагментированным

Рандомное чтение на ssd так же медленней как и на hdd

ism ★★★
()
Ответ на: комментарий от ism

ос, посылая команду trim, вообще посрать на файлы, любой линейности - ос просто ждёт ответного гудка от SSD

Принудительное рандомное чтение на ssd, используемое в бенчмарках, заставляет делать SSD неестественные вещи, противоречащие их внутреннему устройству

Ford_Focus ★★★★★
()
Ответ на: комментарий от Ford_Focus

Выше была интересная ссылка

Фрагментация ext4 на торрентах, личный опыт (комментарий)

CONCLUSION

No, Windows is not foolishly or blindly running a defrag on your SSD every night, and no, Windows defrag isn’t shortening the life of your SSD unnecessarily. Modern SSDs don’t work the same way that we are used to with traditional hard drives.

Yes, your SSD’s file system sometimes needs a kind of defragmentation and that’s handled by Windows, monthly by default, when appropriate. The intent is to maximize performance and a long life. If you disable defragmentation completely, you are taking a risk that your filesystem metadata could reach maximum fragmentation and get you potentially in trouble.

greenman ★★★★★
()
Последнее исправление: greenman (всего исправлений: 1)
Ответ на: комментарий от greenman

Это на венде NTFS метадата растёт неограниченно, если ее не дефрагментить. На ext4 и других Линукс файловых системах такой фигни нет.

rupert ★★★★★
()
Ответ на: комментарий от rupert

Да, конечно, особенно в zfs и btrfs со снапшотами никакой херни «пропавшего» свободного пространства нет. В последний даже встроили дефрагментатор, который с определенной вероятностью может зависнуть намертво, спасает только reset.

bhfq ★★★★★
()
Ответ на: комментарий от rupert

По крайней мере у ext4 есть особенности

Аномальное поведение одной директории (комментарий)

Вот это — размер директории. Не файлов в ней, а просто структур на диске, в которых хранится список файлов и директорий в ней.

Ext4 умеет на ходу увеличивать размер этих структур, но не умеет уменьшать. Поэтому если создать в директории много файлов, а потом удалить, она останется большой. При доступе к такой директории приходится читать эти фрагменты, которые ещё и оказываются разбросаны по диску там и сям. Это медленно.

(Кстати, дефраг тут не поможет.)

А во-вторых, выше есть ещё одна ссылка, где показаны скорости чтения фрагментированного и нефрагментированного файла с ssd. Да, это тоже NTFS, но, думаю, и на FS линукса будет аналогично.

greenman ★★★★★
()
Ответ на: комментарий от greenman

Уточню, что значительное падение скорости чтения наблюдается для сильно фрагментированных файлов. Более 2000 фрагментов для файла размером 250МБ.

greenman ★★★★★
()
Ответ на: комментарий от greenman

мой SSD, произвольное чтение блоками по 4к выполняет в 3 раза медленнее чем последовательное.

Minona ★★☆
()
Ответ на: комментарий от gremlin_the_red

Кэши сбрасывал? Место резервировал?В первом случае кино на флешку не копировалось? Винт и мать с NCQ были?

файлы намного больше чем есть оперативки. место резервировать нет смысла, его там мало, нет больших свободных кусков. чтоб дефрагментировать надо скопировать туда обратно большие объемы, это не уберет фрагментацию полностью но количество фрагментов уменьшится с тысяч до сотен или даже десятков и поднимет скорость в несколько раз

theurs ★★
()
lsblk
NAME        MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda           8:0    0 111,8G  0 disk [SWAP]
sdb           8:16   0 931,5G  0 disk /media/data2
sdc           8:32   0 931,5G  0 disk /media/data
sdd           8:48   0 931,5G  0 disk /media/data3
zram0       254:0    0   200M  0 disk [SWAP]
zram1       254:1    0   200M  0 disk [SWAP]
mmcblk0     179:0    0  59,6G  0 disk 
├─mmcblk0p1 179:1    0    64M  0 part 
├─mmcblk0p2 179:2    0   8,1G  0 part 
├─mmcblk0p3 179:3    0   8,1G  0 part /
└─mmcblk0p4 179:4    0  43,4G  0 part /home

Соответственно торренты качаются на /home, а потом разбрасываются между data, data2, data3. data самый старый и самый фрагментированный. Год или 2 назад я просто его скопировал и форматнул. Фрагментация упала с ~40% до 0 и это не изменило вообще ничего.

Ещё был сбой f2fs на /home, вылечил аналогично, разве что потом долго восстанавливал и проверял музыку из бэкапа.

kirill_rrr ★★★★★
()
Ответ на: комментарий от Aceler

Она же вроде просто тупо копирует файлы в новое место и надеется что механизм борьбы с фрагментацией на лету сделает всё сам.

kirill_rrr ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.