>производится по каталогам (кто не в теме - папкам)
Директориям же!

Шо мля, довыеживался со своим лююююниксом? :-) :-)

Пиши свое негодуе и баг-репорт.

чето с трудом представляю себе зачем вообще нужно 32К поддиректорий. может быть вам таки найти уже нормального архитектора, который вам расскажет про иерархии?

>Как мне объяснили все те же коллеги, NTFS по сравнению с EXT3 идеальная FS!

запиши им на ntfs 200 000 файлов в один каталог, пусть попробуют открыть или хотя бы список файлов получить. Потом покажи как это легко переваривает ext3.

ах да, try ext4.

так там 64к. А ТС может и этого быть мало =)

>ах да, try ext4.

Правильно говорить «try reiserfs».

> может быть вам таки найти уже нормального архитектора, который вам расскажет про иерархии?

Собственно так и сделал, благо архитект-решение заложенное мной, позволило увеличить программу всего на 4 строки. Но теперь поздно. Сегодня счета на оплату десктопа видел в бухгалтерии.

Моя последняя отмаза по тяжести Windows для нетбука рассыпалась как карточный домик.

вы говорите ext3 говно так, будто это что.то ноовое.

> запиши им на ntfs 200 000 файлов в один каталог, пусть попробуют открыть или хотя бы список файлов получить.

У меня сейчас на beta-тестах прога оперирует порядка 500000 - 600000 файлов в одной директории. Сервак CentOS, соответственно ext3. Я тут по ошибке попробовал сам туда зайти. Так и не дождался...

господи, на нетбуке держать 32к директория? о_0

И что же это за ЪIнтырпрайз, который использует файлуху с ограничением на 8ТБ и >32k директорий вложенных? Уверен, что файлы имеют крайне маленький размер, и это на ext3! Видать, системному инженегру еды недодали, наняли эникейщика, который кроме default filesystem ничего не знает.

Судя по комментам ТС импульсивный тролль.

> господи, на нетбуке держать 32к директория?

Нетбук у меня для IDE. Прога на сервере конечно.

Туда тебе быдлокодеру и дорога.

>Какой конь педальный придумал ограничение на 32000 директории?

Какой конь педальный придумал форматировать в ext3 для >32000 директорий?

> Уверен, что файлы имеют крайне маленький размер, и это на ext3!

Размер колеблется от 500 байт до 5 килобайт.

Видать, системному инженегру еды недодали, наняли эникейщика, который кроме default filesystem ничего не знает.

Мне дали SSH на тестовый сервак. А там две раздела, корень под ext3 и своп. А что делать, посоветуйте?

>Мне дали SSH на _тестовый_ сервак

Ставь быстрее msvs.

>У меня сейчас на beta-тестах прога оперирует порядка 500000 - 600000 файлов в одной директории.

Сервак CentOS, соответственно ext3.

500000 - 600000 файлов в одной директории.

ext3

Ты ничего не попутал?

Это шизофрения.

>Я тут по ошибке попробовал сам туда зайти.

через что? Гуйня такое ясно дело не потянет. У меня в консоли нормально заходило в каталог с 250к файлов.

Try Reiser4.

ах да, try ext4.

Правильно говорить «try reiserfs».

Обы вы неправы, правильно говорить: «Try Reiser4.»

А вообще, конечно с архитектурой/алгоритмом хранения не всё хорошо придумано.

> Ставь быстрее msvs.

Спасибо, первый совет ушел в блокнотик!

Это от ext2 осталось, можно пропатчить ядро и увеличить число директорий. Ext4 вроде ограничения не имеет.

Правильно говорить «try reiserfs»

где мне взять в RHEL ReiserFS ?

>> 500000 - 600000 файлов в одной директории.

ext3

Ты ничего не попутал?

Прога проверяет наличие файлов контейнеров. В бета-режиме мне приходит куча логов. В частности сейчас там лежит 524418 файлов. А что, так быть не должно?

>Ты ничего не попутал?

педивикия говорит, что у ext2 было 1.3 × 10^20 файлов в каталоге. 32к это ограничение на подкаталоги, а не на файлы

кто ж юзает допотопный ext3? давно пора уже на ext4 переходить

Используй extfs4

> А вообще, конечно с архитектурой/алгоритмом хранения не всё хорошо придумано.

С этим согласен целиком и полностью. Завтра до обеда новый менеджер упаковки ляжет на сервер. Буду держать в директории до 100000 файлов. Иерархию на три уровня сделал, так чтобы резерв на десяток другой миллиардов файлов был.

Но меня беспокоит вопрос о FS, хочу ее поменять. Тока вот на что и как?

А да, это я уже что то попутал.

Ммм. Не получится... На сервере стоит CentOS 5.4 и админ костьми ляжет, если недайбох

там без форматирования возможен переход на ext4

Я сам фанат ext4, но... Kernel в CentOS yмеет.

>Размер колеблется от 500 байт до 5 килобайт.

А базу данных использовать не?

> А базу данных использовать не?

Пробовал, MySQL конечно, не показатель. Но на FS я выигрываю до 40% скорости.

>где мне взять в RHEL ReiserFS ?

Ты что, пользуешь ядро редхатовской сборки???

> Ты что, пользуешь ядро редхатовской сборки???

Да. А что, его самому надо собрать?

Тут MySql не подойдет. Нужно что-то по типу значение-ключ. Упрощенная БД, например как у Гугла.

> Я сам фанат ext4, но... Kernel в CentOS yмеет.

http://www.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/5.4/html/Technical_...

ext4
The latest generation of the ext filesystem, ext4, is available in this release as a Technology Preview. Ext4 is an incremental improvement on the ext3 file system developed by Red Hat and the Linux community. The release name of the file system for the Technology Preview is ext4dev.
The file system is provided by the ext4dev.ko kernel module, and a new e4fsprogs package, which contains updated versions of the familiar e2fsprogs administrative tools for use with ext4. To use, install e4fsprogs and then use commands like mkfs.ext4dev from the e4fsprogs program to create an ext4-base file system. When referring to the filesystem on a mount commandline or fstab file, use the filesystem name ext4dev.

> Какой конь педальный придумал форматировать в ext3 для >32000 директорий?

А какая FS лучше подойдет? И как на нее перейти с минимумом геморроя?

Я чуть не прискочил, это ж очень хорошая новость! Спасибо!

Reiser4.

Но меня беспокоит вопрос о FS, хочу ее поменять. Тока вот на что и как?

Ганс говорил: «Если вы используете дополнительный слой [читай: БД] для хранения данных у вас просто плохая файловая система.» Reiser4 прекрасно справляется с кучей мелких файлов, быстро, и пакует их плотненько. Но вам ведь скорость не особо важна.

ээээ ставь уже оракл или постгрес. и храни данные там в блобах.

а вообще, конечно - «ТОЛСТО!»

Я сам фанат ext4, но... Kernel в CentOS yмеет.

у меня CentOS 5.4 умеет же ext4

Небольшой бенчмарк. Сделал каталог с 500к файлов. ext3, между тестами кеш полностью сбрасывался

ls									6 минут 11 секунд

ls > ../file_list.txt			25 секунд

ls > /dev/null					24 секунды

Т.е. основные тормоза дает вывод в консоль.

Ты что, пользуешь ядро редхатовской сборки???

Более того, я настраиваю купленный RHEL

> Но вам ведь скорость не особо важна.

Заявлен объем от 1500000 до 2000000 таких файлов на ноду (сервер). Каждый из них будет прочитан-записан от 3 до 5 раз в сутки.

> Т.е. основные тормоза дает вывод в консоль.

Наблюдал такие эффекты. Согласен. Ну как бы по ходу работы программы человеку туда не надо будет смотреть.