LINUX.ORG.RU
ФорумAdmin

ext4 или что лучше выбрать для удаления множества файлов?

 ,


0

1

Вопрос имеется следующий:

Есть инсталляция zoneminder. В ближайшее время, хочу увеличить дисковый массив для всего этого добра. Сейчас, из основных проблем, такая:

Когда zm, начинает удалять старые события, то выполняется скрипт, вида: rm -rf /zm/camN/date/bla-bla/*.jpg

Так вот, даже, если, для процесса, rm, выставить низкий приоритет ionice, всё равно, эта чудная операция, когда нужно вычистить весьма много картинок, жутко нагружает ввод-вывод.

Каким образом, можно ускорить это дело, не прибегая к жутким костылям?

P.S., можно рассмотреть вопрос и о смене файловой системы. Но пока не вижу особых альтернатив ext4, на linux. Вообще, насколько поможет тюнинг журнала в таком раскладе?

★★★★★

Последнее исправление: DALDON (всего исправлений: 2)

Если говорить о тюнинге журнала, то его нужно либо нормально увеличить, либо отключить. Я бы рассмотрел увеличение. Что касается альтернативных ФС, то XFS, и тоже с увеличенным журналом. У XFS сейчас превосходное быстродействие на множестве файлов — хоть мелких, хоть крупных.

anonymous
()
Ответ на: комментарий от anc

Править код zoneminder - не хочу. Надо слишком долго разбираться, как и почему там именно rm зашит...

DALDON ★★★★★
() автор топика
Ответ на: комментарий от DALDON

чтобы не править zoneminder, сделай алиас на rm.

Deleted
()
Ответ на: комментарий от anonymous

Если говорить о тюнинге журнала, то его нужно либо нормально увеличить, либо отключить.

Увеличить? Это как? Отдельно вынести - понимаю. Но увеличить..? А что скажет уважаемый аноним, на data=writeback? Сильно должно помочь..? Скажем так, совсем уж без журнала, иметь 40тб данных, не хочется. Но потерять пару картинок - плевать.

Имеет смысл: data=writeback + journal on ssd. Если у меня запись и rm - делаются, без O_DIRECT и без sync?

DALDON ★★★★★
() автор топика
Ответ на: комментарий от DALDON

Ну а чё, терабайт на одном блэйде бывает. Серьёзные посаны могут позволить и 40.

anonymous
()
Ответ на: комментарий от post-factum

Статья приведена для опробования разных методов. У меня такой проблемы не бывало, чтоб удаление тайлов или сегментов hls, тормозили или подвешивали систему. Правда массив под тайлы 2 ТБ и под hls 4 ТБ. так что что-то конкретное не могу посоветовать.

Deleted
()
Ответ на: комментарий от DALDON

Увеличить? Это как?

Это при mkfs делается в обеих ФС. По размеру не подскажу, тут тестировать надо. Смысл увеличения журнала, думаю, понятен. Вынос на SSD тоже хорошая идея, я считаю. Я бы попробовал.

А что скажет уважаемый аноним, на data=writeback? Сильно должно помочь..?

Анон не пробовал, но слышал, что это близко к отключению журнала вообще, и на основании своих познаний склонен с этим согласиться. Лучше оставить как есть.

anonymous
()
Ответ на: комментарий от anonymous

Смысл увеличения журнала, думаю, понятен.

Мне не особо понятен... Если не скидывать все данные через журнал, то особого смысла в большом журнале не вижу. Какой смысл?

Анон не пробовал, но слышал, что это близко к отключению журнала вообще

Рискну предположить, что без журнала вообще, в случае пропажи питания, можно получить тыкву. А при хоть каком-то журнале - будут просто некоторые файлы с не ясным содержимым. Как-то так, я предполагаю.

DALDON ★★★★★
() автор топика

Если о ext4 по можно вынести журанл на другой носитель типа ssd Можно отключить журнал Можно увеличить интервал сохранения изменений на диск

ism ★★★
()

отдельный раздел и mkfs

anonymous
()
Ответ на: комментарий от DALDON

Мне не особо понятен... Если не скидывать все данные через журнал, то особого смысла в большом журнале не вижу. Какой смысл?

Журнал обычно является непрерывной областью на диске, и чем он больше, тем больше транзакций туда влезет с меньшим количеством перемещений головок. Попробовать стоит. Но если есть возможность использовать SSD под журнал, то лучше так и сделать.

А при хоть каком-то журнале - будут просто некоторые файлы с не ясным содержимым. Как-то так, я предполагаю.

Да, я ошибся. Если это не проблема, то можно, конечно. В мане правда написано «This is rumoured to be the highest-throughput option.», что как бы намекает :))

anonymous
()

Также может помочь размер блока и инода Кстати, иноды у ext4 ограничены, могут закончиться на множестве файлов

ism ★★★
()
Ответ на: комментарий от ism

Хочу сделать так:

commit=10
Журнал на отдельные SSD

Что ещё, имеет смысл сделать? Есть такой параметр directory index. Вот не знаю, нужно оно мне или нет...

Про иноды - знаю. Это учитываю. Про размер блока - не знаю чего сказать, у меня jpg от 100кб до 800кб.

Без журнала, боюсь, может посыпаться файловая система в случае сбоев по питанию.

DALDON ★★★★★
() автор топика
Последнее исправление: DALDON (всего исправлений: 1)
Ответ на: комментарий от Deleted

Я сам, ручками задам кол-во, ибо ихнее кол-во по умолчанию - вне всяких разумных пределах выделяется. :)

DALDON ★★★★★
() автор топика

Для ext4 могут помочь опции, nosuid, noacl, nouser_xattr

ism ★★★
()
Ответ на: комментарий от ism

Да чёт старенькая уже jfs, заброшена. Выпиливается как я погляжу. Последний раз, пользовался ей в 2008. :)

DALDON ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.