Нужна ли дефрагментация в Ext3fs?

це я. обладатель RAID на 1 TB. 3 DVB карты льют файло со спутников в ~50 потоков на него.

про что забыл написать сразу - так вот

Папочка rar c RAID открывается в первый раз ой как долго, тама 25000 файлов... в среднем...

дефрагментация ой как нужна именно на низком уровне файловой системы, ЧТОБЫ фсе папки, файлы читалися БЫСТРО.

Из опыта использования - файловая система для РЕАЛЬНОГО быстрого ЧТЕНИЯ - FAT32, дефрагментированная на низком уровне Perfect Disk (галочки тама поставить надоть типа мол dir и фсе такое), минус - дефраг только на незанятом системой диске или через ребут, низя хранить файло более 2GB, ну Вы ф курсе что за FAT32.

Поиск по диску (по директориям) c FAT32 в 200 GB с ~60 тысяч файлов много директорий - 30 сек. индюкатор чтения доступа горит постоянно (головки на винте не рвут поверхность, тишина) (по виду Perfect disk фсе директории ф центре диска) Поиск по диску (по директориям) c NTFS в 200 GB с ~60 тысяч файлов много директорий - ~150 сек. индюкатор чтения доступа горит неравномерно (головки на винте рвут поверхность, шум)

как говоритсо, почувствуйте разницу - 5 раз!

--------------------------------------------------------------- Нахрен делал дефраг? - а долго было ждать пока найдёт...

А до того, как раздел был дефрагментирован? FAT32 была медленней в 6-8 раз ~200 сек, NTFS - примерно те же ~250 сек.

То есть давно НЕДЕФРАГМЕТИРОВАННЫЕ СИСТЕМЫ МОНОПЕНИСУАЛЬНО ТОРМОЗЯТ. ---------------------------------------------------------------

linux ext2, ext3 к сожалению так не тестил...

NTFS дефрагил Perfect disk. еще не пробовал ParagonTotalDefrag 2009 для NTFS и для ext3 - скорее всего и не буду пробовать... потому что:

--------------------------------------------------- ONLINE дефраг ДОЛЖЕН быть встроен в файловую систему и нехрен перегружать комп или выполнять какие-либо долговременные действия для этого процесса. ---------------------------------------------------------

---------------------------------------------------------------- ПОЧЕМУ компы долго грузятсо? Нахрен Microsoft делает Prefetch и подгружает на ходу необходимые в дальнейшем части приложения?

Нахрена такие приблуды как Perfect disk или ParagonTotalDefrag?

В среде windows понятное дело - бабло вымогать из народа. ---------------------------------------------------------------

а в линукс? славо богу что хоть в ext4 обещают сделать...

а уже давно надоть было сделать в ext3. и online дефраг начинается не потом когда уже фрагментация на винте приближается к какому-то проценту, а еще до записи файла - СТРАТЕГИЮ РАСПРЕДЕЛЕНИЯ немного менять надоть, чтобы потом меньше дефрагметировать было.

- НАСЧЕТ ЗАГРУЗКИ системы - куча новостей - СНИЖЕНО время загрузки бука от 30 сек до 3 сек! вручную можно и самый минимум сделать. (тупо фсе из памяти на диск и пожать zip-ом)

а вот мою неоптимизированную систему как грузануть автоматом с диска быстро? надоть её расположить так чтобы фсе читалося подряд...

для этого при загрузке файло запомнить что да как грузиллося и опосля загрузки сохранить протокол в файл для дефрагментатора, а он не будь дурак в теневом режиме фсе возмет и упорядочит как надоть.

ТУТ УЖЕ БАТЕНЬКА ядрёные технологии. ИПАТЬ ИХ В СРАКY.

>>vxvm в ее бесплатной инкарнации не пробовали?

>Для моих задач IMHO overkill.

ой, я имел ввиду vxfs...

O_o Сходите, подышите свежим воздухом, расслабтесь. Куда столько качать?

А по теме, да, совсем не помешал бы хороший аллокатор для ext3.

> а вот мою неоптимизированную систему как грузануть автоматом с диска быстро? надоть её расположить так чтобы фсе читалося подряд...

Так в данном случае корень и помойка живут на одной файловой системе или на разных?

И если на разных, то как фрагментация помойки сказывается на работе системы?

а она там и так есть :D

>Чего это? На SPARC'е работает, на x86 работает, на X64 работает, на мейнфрейме вон OpenSolaris запустили, так что и ZFS для него поди можно скомпилить (а то уже м скомпилили), Polaris допинают, будет и на PowerPC работать.

>И ОСов в FreeBSD портирована, в MacOS X, в FUSE работает, энтузиасты вон под Виндоус портированием занялись (см. zfs-discuss)

Вот когда будет под Windows, тогда и говори что кроссплатформенна. Иначе - бред сивой кобылы :)

Подтверждаю про jfs. В IBM AIX эта фс называется jfs2. Когда база на IBM DB2 заполнила раздел на 82 процента ... скорость обработки транзакций упала на 80% !!! Вот оно из-за чего оказывается.

> правильный репепт в студию

На эту тему тома можно писать. Основные принципы, создавать разделы в соответствии с различными прогнозируемыми критериями, интенсивность чтения/записи, размеры объектов файловой системы, кол-во объектов, ветвления, общий объём раздела, частота удаления/перезаписи объектов. из этих же критериев выбирается и файловая система под раздел.

аФФтару надо очнутся и узнать про 'shake' конечно не как в оффтопе но очень даже хорошо

>из этих же критериев выбирается и файловая система под раздел.

Ок. По всем параметрам - XFS, но она тупо дохнет. Что дальше?

>года 4 назад задавал здесь (на лоре) вопрос про фрагментацию в линуксе, т.к. замечал тормоза через некоторое время (юзал екст3 и рейзер) - обосрали б...

нда вот такая ситуация - те кто года 3-4 назад с пеной у рта доказывал что дефрагментация не нужна не райзере extX и ntfs, начали теперь задумываться, а не которые и на своем опыте убедились втом что она есть.

нужна тоесть

>Подтверждаю слова анонимного рыболова-тарелковода. Фрагментируется. Страшно фрагментируется. Юзаю под свалку аппаратный raid6 на 12 винтах c bbu и кучей кеша.

ёптить! да поставьте себе ужо lvm! прослушайте ещё курсы, инет и т.д., научитесь snapshort,.. и не морочьте никому голову!

>>года 4 назад задавал здесь (на лоре) вопрос про фрагментацию в линуксе, т.к. замечал тормоза через некоторое время (юзал екст3 и рейзер) - обосрали б...

>нда вот такая ситуация - те кто года 3-4 назад с пеной у рта доказывал что дефрагментация не нужна не райзере extX и ntfs, начали теперь задумываться, а не которые и на своем опыте убедились втом что она есть.

да не нужна она под линух!!! хоть пообосрит..ь! если 4-е года назад не поняли, то теперь и подавно!

>ёптить! да поставьте себе ужо lvm! прослушайте ещё курсы, инет и т.д., научитесь snapshort,.. и не морочьте никому голову!

Учи матчасть: LVM уровнем ниже FS и никаким макаром избавить от фрагментации не может

>>из этих же критериев выбирается и файловая система под раздел. >Ок. По всем параметрам - XFS, но она тупо дохнет. Что дальше?

застрелиться!!! или использовать lvm.

>Учи матчасть: LVM уровнем ниже FS и никаким макаром избавить от фрагментации не может

учи жену щи варить? и именно потому, что ниже, поэтому и избаляет!... но видимо не таких как ты!

>да не нужна она под линух!!! хоть пообосрит..ь! если 4-е года назад не поняли, то теперь и подавно!

ага, а дефрагментаторы для xfs,ext4,tru64 от страдания фигней пишут... порадуй нас еще своими проповедями, о всезнающий анонимус!

>учи жену щи варить? и именно потому, что ниже, поэтому и избаляет!... но видимо не таких как ты!

дурак ты анонимус, форменный дурак! никаким макаром не может повлиять lvm на порядок последовательного считывания секторов при чтении файла, только разве что переставить эти самые секторы в нужном порядке - чего ну никаким макаром нельзя c помощью lvm, т.к. он как минимум на уровень ниже FS, т.е. совсем не "подозревает" о существовании каких-либо структур над ним и уж тем более того, как нужно оптимально перераспределить сектора для их чтения согласно структурам выше (FS), так что учи матчасть, дурачок!

д! :-D

>>Чего это? На SPARC'е работает, на x86 работает, на X64 работает, на мейнфрейме вон OpenSolaris запустили, так что и ZFS для него поди можно скомпилить (а то уже м скомпилили), Polaris допинают, будет и на PowerPC работать.

>>И ОСов в FreeBSD портирована, в MacOS X, в FUSE работает, энтузиасты вон под Виндоус портированием занялись (см. zfs-discuss)

> Вот когда будет под Windows, тогда и говори что кроссплатформенна. Иначе - бред сивой кобылы :)

Странно, вроде на брудершафт не пили. Оригинальное у вас, сударь, представление о кроссплатформенности :-)

да-да! точно-точно! :-D и устройство у вас /dev/sda? а про кластерные системы вы слышали? а как они по нодам изменения распространяют - знаете? да бог с ним, с кластером. а у lvm устройсво какое?

я то может и дурак.... но по-умнее многих дебилов

>ага, а дефрагментаторы для xfs,ext4,tru64 от страдания фигней пишут... порадуй нас еще своими проповедями, о всезнающий анонимус!

гавно вопрос! :-) про tru64 фс вообще не слышал..... а вот о перестроении b-three деревьев или экстентов - да! как в любой б/д! :-) и именно это (и только это!) эти дефраги и делают. (см. исходники)

профан ты красноглазый! или у тебя на ноутбуке кластер?

>профан ты красноглазый!

ну вот что тут скажешь?:-D сам дурак... или просто хам... сам выбирай.

>или у тебя на ноутбуке кластер?

на нем - нет. ext3 хватает. а вот на серверах - нет.

>гавно вопрос! :-)

гавно ответ

>про tru64 фс вообще не слышал.....

архив новостей ЛОРа пролистай

>а вот о перестроении b-three деревьев или экстентов - да!

Во-первых, b-tree (Ололо, грамотей!) Во-вторых, в этих b-tree как правило содержатся лишь указатели на данные (екстенты), т.е. без перемещения этих данных b-tree перестраивать абсолютно бессмысленно

>и именно это (и только это!) эти дефраги и делают.

Ага, учи матчасть, профан

ну и каким образом ты предлагаешь на ноутбуке бороться с фрагментацией?

>я то может и дурак...

причем воинствующий дурак, и не "может", а факт

>но по-умнее многих дебилов

можешь гордиться этим

>>про tru64 фс вообще не слышал.....

>архив новостей ЛОРа пролистай

зачем? :-) нет такой фс! и не было!

>b-tree перестраивать абсолютно бессмысленно

а почему они называются "деревьями", плохо воспитанный вы наш? и какова оптимальная разветвленность этого дерева? ораклу не зазорно их перестраивать, а фс - нет смысла?!! :-D

>Ага, учи матчасть, профан

хамло - оно всегда хамло. запомните это. а то так дураком и останитесь... ах да! так может из исходников этоих дефрагов код приведете? в подтверждение так сказать! или Вы тут всех только нагластью "берёте"? :-D

>можешь гордиться этим

не нервничайте так! :-D я понимаю... воспитание не даёт. и всё такое... но держите себя в "руках"! :-D

может Вам скорую вызвать?.. мне не сложно! :-D

>ну и каким образом ты предлагаешь на ноутбуке бороться с фрагментацией?

всё банально просто: НИКОГДА не заполняйте фс больше, чем 75-80%. разбейте диск "правильно", с учётом, что здесь только ro-данные, здесь - rw,... при чём rw можно безболезненно перестроить (тогда можно и на 100% заполнять) - и всё.... для ноута - выше крыши... уже 3-тий год ноут так "живу" (в отличае от виндов линух не плохо обновляется)

>зачем? :-) нет такой фс! и не было!

твой диагноз все более проясняется

>а почему они называются "деревьями", плохо воспитанный вы наш? и какова оптимальная разветвленность этого дерева? ораклу не зазорно их перестраивать, а фс - нет смысла?!! :-D

судя по тому, что b-tree ты написал с ошибками, совсем не понимаешь принципов их организации (т.к. употребляешь ну совсем дурацкие термины, вроде "оптимальная раввтвленность") и сыплешь громкими словечками а-ля "оракл" - это дешевые понты для привлечения самочек, т.е. у тебя сезонный спермотоксикоз

>так может из исходников этоих дефрагов код приведете? в подтверждение так сказать!

код чего? или ты навиный думаешь, что там лишь одной балансировкой дело заканчивается? а на кой тогда файлы по диску перемещаются? почитай, профан, на досуге про устройство xfs на filesystems.nm.ru

>или Вы тут всех только нагластью "берёте"? :-D

ссылку для изучения я тебе дал, так что осиль или удавись

>всё банально просто: НИКОГДА не заполняйте фс больше, чем 75-80%

А что это за магические цифры "75-80%" - откуда они взялись, позвольте спросить? ГСМ'ные версии не предлагать - только расчеты по формулам и свойствам алгоритмов/структур.

>судя по тому, что b-tree ты написал с ошибками,

судя по тому, что я написал b-tree с ошибкой (НЕ ОШИБКАМИ :-)) следует, что я не Пушкин. а вот то, что Вы одну ошибку поставили во множественное число!!! следует, что Вы плохой математик!... кстати, у Пушкина по математике было 2. :-D

>код чего?

ДЕФРАГМЕНТАТОРА! :-D

>или ты навиный думаешь, что там лишь одной балансировкой дело заканчивается? а на кой тогда файлы по диску перемещаются? ...

ка бы это сказать.... я его писал! :-) иди спать.

>А что это за магические цифры "75-80%" - откуда они взялись, позвольте спросить? ГСМ'ные версии не предлагать - только расчеты по формулам и свойствам алгоритмов/структур.

может ещё и ключ от квартиры? ... :-) иди спать.

>Учи матчасть: LVM уровнем ниже FS и никаким макаром избавить от фрагментации не может

Косвенно очень даже позволяет. Заводишь новый раздел, копируешь туда файлы со старого, подменяешь раздел в fstab'е, сносишь старый :)

...

Вон, я в недавнем тесте так Reiser4 «дефрагментировал».

А без LVM делать подобное намного геморройнее.

>всё банально просто: НИКОГДА не заполняйте фс больше, чем 75-80%

# df -Tlh
Ф. система    Тип     Разм  Исп  Дост  Исп% смонтирована на
...
/dev/mapper/balvg-home2
           reiser4     58G   47G   11G  82% /home
/dev/mapper/balvg-backup
           reiser4     48G   43G  4,9G  90% /home/backup
/dev/mapper/balvg-downloads
               xfs    250G  243G  7,3G  98% /home/balancer/downloads
/dev/mapper/balvg-family
               xfs    140G  118G   23G  84% /home/family
/dev/mapper/balvg-files
               xfs     56G   49G  7,2G  88% /home/family/Files
/dev/mapper/balvg-music
          reiserfs     80G   62G   19G  77% /home/family/Music
/dev/mapper/balvg-video2
               xfs    510G  509G  1,8G 100% /home/family/Video
...

> Нужна ли дефрагментация в Ext3fs?

Зачем?

А!!!

# time xfs_db -r -c frag /dev/balvg/video2 
actual 119668, ideal 8103, fragmentation factor 93.23%

:D

Пошёл делать дефраг :D

...

На downloads уровень фрагментации после дефрага уменишился с 67% до 12%. Ниже не уменьшается, файлы на раздаче залочены.

А шустро работает.
При раскладе:

$ df -Th /home/family/Video
Ф. система    Тип     Разм  Исп  Дост  Исп% смонтирована на
/dev/mapper/balvg-video2
               xfs    510G  510G  911M 100% /home/family/Video

За 50 минут остаток фрагментации только 52.02%.

И это при ionice -c3 и почти полном заполнении раздела. Кстати,
вылезло несколько предупреждений о нехватке места для дефрага
некоторых файлов. Надо будет сбросить несколько фильмов на болванки :)

В этом треде фанатики слили.

"Бритва Линуса — философский принцип, гласящий, что всё, что не работает — не нужно." Вот это здесь наблюдается.

>Странно, вроде на брудершафт не пили. Оригинальное у вас, сударь, представление о кроссплатформенности :-)

А что? О какой кроссплатформенности можно говорить, если допустим эта XFS работает только под некоторыми *nix-ОС? Это бред, а не кроссплатформенность. Вот сделают под Windows - тогда поговорим. NTFS блин и то кроссплатформеннее.

статья интересная, только вот про undelete для ext2 расказали, а photorec для ext3 забыли упомянуть

>ДЕФРАГМЕНТАТОРА! :-D

http://www.ibiblio.org/pub/historic-linux/ftp-archives/sunsite.unc.edu/Nov-06...

>ка бы это сказать.... я его писал! :-)

скорее пукал. слив защитан, профан

>Косвенно очень даже позволяет. Заводишь новый раздел, копируешь туда файлы со старого, подменяешь раздел в fstab'е, сносишь старый :)

Вот именно: ты копируешь, а не LVM! И вместо нового рпаздела LVM я могу просто взять другой винт, т.е. даже "косвенных" заслуг LVM как "технологии дефрагментации" (Ололо!) в этом нет будет.

>А без LVM делать подобное намного геморройнее.

В любом случае нужно много дополнительного пространства и лишних телодвижений, так что это по геморройности аналогично подключению винта необходимого размера

>может ещё и ключ от квартиры? ... :-) иди спать.

Хе-хе, сразу чувствуется гуманитарное образование =) Слив защитан :)

>>из этих же критериев выбирается и файловая система под раздел.

>Ок. По всем параметрам - XFS, но она тупо дохнет. Что дальше?

XFS как раз таки подходит только для большим разделов, с большими файлами и только если скорость удаления файлов некритична! И работает у меня на таких разделах уже лет 10

>И работает у меня на таких разделах уже лет 10

А у человека с dvb на 50 потоков страшно глючит. И?

>>Странно, вроде на брудершафт не пили. Оригинальное у вас, сударь, представление о кроссплатформенности :-)

> А что? О какой кроссплатформенности можно говорить, если допустим эта XFS работает только под некоторыми *nix-ОС? Это бред, а не кроссплатформенность. Вот сделают под Windows - тогда поговорим. NTFS блин и то кроссплатформеннее.

Под разными? На разных аппаратных платформах? Вот и кроссплатформенность.

Для файловой системы есть еще один аспект кроссплатформенности - можно ли, создав ее на одной платформе (с одним порядком байт), использовать без конвертации на другой платформе? ZFS вот можно. А какие линуксовые ФС можно? А NTFS?

>В любом случае нужно много дополнительного пространства и лишних телодвижений, так что это по геморройности аналогично подключению винта необходимого размера

С LVM не автоматически и не так удобно, но с внешним винтом, повторюсь, много геморройнее :)

Заявляю как неоднократно проводивший «дефраг муовом» и тем, и другим методом :D

Нужна, нужна. Вот вывод fsck с домашнего роутера с закачками:

pointer:~# fsck -t ext3 -C -V -y -f /dev/hdb1
fsck 1.41.2 (02-Oct-2008)
[/sbin/fsck.ext3 (1) -- /media/hdb1] fsck.ext3 -y -f -C0 /dev/hdb1
e2fsck 1.41.2 (02-Oct-2008)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
/dev/hdb1: 1590/9781248 files (34.9% non-contiguous), 18951823/19537678 blocks