Фрагментация - Выделение место для файлов сразу

>сильная фрагментизация. Это как раз видно по команде «df -h».

это как ? ) оно совсем не это кажет

на ext4 практически нет фрагментации, на ext3 бывает, но тоже достаточно умеренно

а вообще есть утилитка fallocate и функция в libc, некоторые программы это используют, как торрент клиенты, так и качалки типа aria2

Ты гонишь! Нет функции открытия файла на запись с заданием его (файла) будущего размера.

Тролль детектед!

Это как раз видно по команде «df -h».

это как ? ) оно совсем не это кажет

Это я том как заметить отсутствие выделения места при создании новых файлов.

Не, меня интересует чтобы глобально сразу для всех программ подействовало. А переписывать все программы для использования функции fallocate это как-то ... ну ... я так не смогу.

Опять мифы о фрагментации?

Если вам нечего делать, можете лелеять свои легенды: создавайте файл нужного размера посредством записи в него случайных чисел в нужном количестве.

man 2 fallocate

:)

man sparse file

Он, наверное, имел в виду, что если открыть файл, и сделать ему lseek на гигов 30, на диске такой файл будет занимать немного... :)

Проблема, как часто бывает, больше упирается в адекватно написанное ПО.

Persistent pre-allocation
The ext4 filesystem allows for pre-allocation of on-disk space for a file. The current method for this on most file systems is to write the file full of 0s to reserve the space when the file is created. This method is no longer required for ext4; instead, a new fallocate() system call was added to the Linux kernel for use by filesystems, including ext4 and XFS, that have this capability. The space allocated for files such as these would be guaranteed and would likely be contiguous. This has applications for media streaming and databases.

Ты гонишь! Нет функции открытия файла на запись с заданием его (файла) будущего размера.

lseek + переходим на последний байт и пишем последний байт (например нуль).

Так использование функции lseek по идее должно автоматически выделять место на диске. Так происходит в виндовс. А в линуксе не-не.

Вот я и хочу чтобы выделяло место когда программы делают lseek. Это же снизит фрагментацию.

Проблема, как часто бывает, больше упирается в адекватно написанное ПО.

Нет. Это упирается в драйвер.

В виндовс же программы не нужно специально переписывать чтобы они не усиливали фрагментацию. Там это по дизайну ОС уже заранее было продумано.

используй ReiserFS - ей пох на фрагментацию

+1 только хотел написать, что fallocate не для всех

xcreatepixmap> Там это по дизайну ОС уже заранее было продумано.

Это недостаток был

xcreatepixmap> Там это по дизайну ОС уже заранее было продумано.

Это недостаток был

А почему недостаток ?

Известно же что в будущем, через некоторое время файл всё равно будет заполнен.

Так зачем оно нужно ?

Много ли имеется ситуаций когда нужно создавать полупустые файлы ?

Мне кажется что если человек/программа создаёт файл, то подразумевается что он будет полностью записан. А если программа туда не пишет, то зачем вообще нужно было создавать файл такого размера.

Программа выппросила у ОС место на диске. А потом программа не использует выделенное место. И драйвер пытается подиграть тупому поведению программы и не выделяет место полностью на диске. И тем самым провацирует фрагментацию.

Странно это.

4.2. В ext3 фрагментация малозаметна в типичных условиях.

И в виндовс сильно снижена фрагментация.

И снова 4.2, но с этим тебе на другой форум.

что-то прямо ужасы какие-то рассказываешь, на практике, если диск не забит под завязку, фрагментация не даёт о себе знать. А вот ntfs, какая она бы на бумаге не была хорошая, на практике постоянно подвержена фрагментации

Вот я и хочу чтобы выделяло место когда программы делают lseek. Это же снизит фрагментацию.

Это чистой воды идиотизм (или недопонимание).

Цитата

Вот я и хочу чтобы выделяло место когда программы делают lseek. Это же снизит фрагментацию.

Это чистой воды идиотизм (или недопонимание).

Прошу вас пожалуста объяснить мне дураку в каких таких случаях могут понадобятся эти sparse файлы ?

Я же не кёрнел разработчик. Я не знаю того секрета из-за которого нужно было в обязательном порядке включать опцию sparse без возможности её выключить.

Я серьёзно не знаю зачем нужны эти sparse файлы если они провацируют фрагментацию.

Нужны они, чтобы не занимать на диске уйму места, когда оно реально не нужно. А фрагментация файлов работе не мешает. Что-то я у себя никаких глобальных тормозов в работе ФС не замечал (хотя некоторые разделы у меня чуть ли не под завязку забиты).

4.2. В ext3 фрагментация малозаметна в типичных условиях.

И в виндовс сильно снижена фрагментация.

И снова 4.2, но с этим тебе на другой форум.

У меня фрагментация весьма сильно заметна.

Да, но проблема в том что в отличие от виндовс в линуксе НЕТУ дефрагментора. И его нельзя поставить в планировщик чтобы он периодически дефрагментировал раз в месяц.

>> У меня фрагментация весьма сильно заметна.

Без цифр это пустой трёп.

Да, но проблема в том что в отличие от виндовс в линуксе НЕТУ дефрагментора.

Чо, правда? У меня есть. xfs_fsr называется.

У меня фрагментация весьма сильно заметна.

Так не надо ставить линукс на ntfs!

У reiserfs, кстати, фрагментация на производительности сказывается исчезающе мало.

Хотя и он не слишком нужен обычно:

┌┤~├──────────────────────────────────────────────────────────┤root@persephone├─
└─# xfs_db -r /dev/mapper/gotf_home 
xfs_db> frag
actual 83435, ideal 81264, fragmentation factor 2.60%

А фрагментация файлов работе не мешает.

Ого. Я узнал что-то новенькое в работе вращающихся устройств хранения информации.

>в линуксе НЕТУ дефрагментора
4.2
ты в пьяном угаре сегодня пришёл?

http://ru.wikipedia.org/wiki/NCQ до некоторой степени позволяет игнорировать фрагментацию.

Да нет на reiserfs такой жестокой фрагментации, как на ntfs каком-нибудь.

Известно же что в будущем, через некоторое время файл всё равно будет заполнен.

Неизвестно.

Программа выппросила у ОС место на диске.

Как она «выпросила»? Типа: «Просто дай 2Гига!» или записала один байт по смещению 2Гига? А кто сказал что программа будет заполнять эти 2Гига? У меня есть программа которая использует особенности sparse файлов и мне просто негде взять 100Терабайт для файла, который реально занимает 10Мегабайт.

У меня есть программа которая использует особенности sparse файлов

Как называется эта легендарная программа ?

Озвучьте уже фрагментацию всех ваших многострадальных фс в цифрах, будьте добры.

Как называется эта легендарная программа ?

Торрент-качалка, наверное, какая-нибудь :)

Смотрю ты скор набиваешь?

>> И снова 4.2, но с этим тебе на другой форум.
На этот? http://www.opensource.ru/news/doc/3247503

У меня например в Deluge стоит «полное размещение» что по аналогии с трасмиссией должно задействовать fallocate, но на XFS все равно место выделяется нулями, а по факту получаю фрагментацию, благо дефраг всегда под рукой.

Что касается скорости, фрагментированные файлы читаются убого, вплоть до 5 мб/с.

Торрент-качалка, наверное, какая-нибудь :)

Слишком банально.

У меня есть программа которая использует особенности sparse файлов и мне просто негде взять 100Терабайт для файла, который реально занимает 10Мегабайт.

Вот вам академический пример:
База данных с доступам к записям фикс. длины (например 4К) по ID (пусть будет 12-разрядное целое число, например номер паспорта). Делаем lseek по смещению (ID * length) и читаем 4К данных. Время доступа O(1), полный файл занимал бы 4*10^15 баит, а так только то что реально записано.

У меня есть программа которая использует особенности sparse файлов и мне просто негде взять 100Терабайт для файла, который реально занимает 10Мегабайт.

Вот вам академический пример:

База данных с доступам к записям фикс. длины (например 4К) по ID (пусть будет 12-разрядное целое число, например номер паспорта). Делаем lseek по смещению (ID * length) и читаем 4К данных. Время доступа O(1), полный файл занимал бы 4*10^15 баит, а так только то что реально записано.

sdio ***** (06.12.2010 10:08:08)

Зачем изначально создавать файл зная о том что полностью заполненым он точно не влезет в размер жёсткого диска ?

Т.е. программист изначально знал что программа в какой-то момент заглохнет-вывалится с ошибкой нехватки места. Это потрясающий проектировщик.

xcreatepixmap> Зачем изначально создавать файл зная о том что полностью заполненым он точно не влезет в размер жёсткого диска ?

Потому что известно, что те данные что у нас есть (кол-во людей если по паспортам из примера) влезут на диск.

>В виндовс же для всех файлов сразу выделяется место ПОЛНОСТЬЮ

и как это снижает фрагментацию? что за бред ты тут несёшь вообще?

В виндовс же для всех файлов сразу выделяется место ПОЛНОСТЬЮ

и как это снижает фрагментацию? что за бред ты тут несёшь вообще?

http://ru.wikipedia.org/wiki/%D0%A0%D0%B0%D0%B7%D1%80%D0%B5%D0%B6%D1%91%D0%BD%D0%BD%D1%8B%D0%B9_%D1%84%D0%B0%D0%B9%D0%BB

http://en.wikipedia.org/wiki/Sparse_file

Слушай, прекрати нести чушь.

1. Поддержка sparse files есть и на NTFS, и на ext3/4, так что ее наличие «влияет» на фрагментацию одинаково

2. ext4 поддерживает механизм: [url=https://ext4.wiki.kernel.org/index.php/Ext4_Howto#Persistent_preallocation&#9... направленный на УМЕНЬШЕНИЕ фрагментации, что могут использовать (и используют) программы типа Transmission

Тема закрыта, а автор предупреждается, что если он далее будет распространять («форсить») заведомо ложную информацию, его сообщения будут удаляться со снятием скора.