для работы с мелкими файлами райзер лучшая файловая система, но вот как она с ссд дружит я хз

К сожалению, фс может быть только нтфс. Но я бы хотел именно железячный вопрос рассматривать, без религий.

Ну купи ты SSDшки.

К сожалению, фс может быть только нтфс.

Тогда страдай.

Да уж 2 года как! Все супер кроме записи мелочи.

Можно подумть, что для сабжа есть «правильная» фс.

Я хз что у вас там, у меня 550 мб ядро с 48000 файлов 10 сек копируется.

Лал. https://www.kernel.org/pub/linux/kernel/v3.x/linux-3.13.5.tar.xz распакуй и скопируй внутри диска. Сколько времени займет?

Утром с компа проверю.

фс может быть только нтфс.

Страдай тогда!

Отформатируй с размером блока 256к, выравняв по этой же границе.

Поставь парагоновский драйвер

Не все читают теги. Прямо напиши — под оффтопиком, ntfs, на SSD.

Может SAS будет лучше. Не знаю, в какую копеечку выльется SAS SSD + SAS контроллер.

[fjfalcon@localhost ~]$ time tar -xJf linux-3.13.5.tar.xz

real	0m5.690s
user	0m5.567s
sys	0m2.857s
[fjfalcon@localhost ~]$ cd linux-3.13.5
[fjfalcon@localhost linux-3.13.5]$ mkdir ~/linux-core
[fjfalcon@localhost linux-3.13.5]$ time cp * ~/linux-core -R

real	0m1.623s
user	0m0.057s
sys	0m1.427s

ssd, ext4 xD

Большая часть ушла в кэш, в RAM, так что ерунда.

ntfs

страдай </thread>

Не забудь еще сделать fsync :)

Если файлы временные, то как раз для этого существует ram drive.

[fjfalcon@localhost linux-3.13.5]$ fsync
bash: fsync: команда не найдена

Печаль =)

Кэширование предлагали?

просто time sync

К сожалению, фс может быть только нтфс

1) на шиндовсе ФС может быть fat32, и иногда она быстрее (небольшой размер диска + небольшая вложенность каталогов + всегда ищутся только те файлы, которые действительно существуют). Не факт что у тебя будет быстрее, но можно попробовать :)

2) ФС может находиться на RAM диске (погугли windows ram drive)

Это особенность записи мелочёвки. Так что вряд ли получится лучше.

По идее должно быть API для асинхронной работы навроде флажка OVERLAPPED в WinApi. Взял, сказал «запиши мне данные в -дцать файлов и доложи об исполнении». Делать это в N потоков. По идее драйвер как то хитро всё это оптимизирует. Тормоза всегда там где есть синхронный говнокод.

[fjfalcon@localhost ~]$ time tar -xJf linux-3.13.5.tar.xz

real	0m5.896s
user	0m5.783s
sys	0m2.533s
[fjfalcon@localhost ~]$ mkdir ~/linux-kernel
[fjfalcon@localhost ~]$ cd linux-3.13.5
[fjfalcon@localhost linux-3.13.5]$ time cp * ~/linux-kernel/ -R

real	0m1.600s
user	0m0.087s
sys	0m1.417s
[fjfalcon@localhost linux-3.13.5]$ time sync

real	0m5.184s
user	0m0.003s
sys	0m0.033s
[fjfalcon@localhost linux-3.13.5]$ 

ext4, ssd xD

В сторону баз данных (как традиционных так и NoSQL) смотрел?

Рам драйва на 0.5-5тб быть не может (ну может, но не у меня, нищебродс)

Смысла нет. У меня работа с мелкими жипегами, которых сотни тыщ.

Как-то фантастично звучит. Но попробую сделать.

Положил на ссд.

Распаковка до тара (несжатого) севензипом - 9сек.

Распаковка до файлов (туда же на ссд) - 39сек.

Копирование распакованных файлов внутри ссд - 50сек.

Копирование с ссд на винт (540гб, 5400рпм, 2,5") - 100сек.


П-ц.

Извращенцы должны страдать.

К сожалению, фс может быть только нтфс.

Извращенцы должны страдать.

Дай мне бинарник под линукс!
Нет его.
И налогов нет. Вообще.

Смысла нет. У меня работа с мелкими жипегами, которых сотни тыщ.

Для этого и придуманы key-value хранилища. Если не хочешь с базами связыватся и обязательно нтфс - уменьш количество файлов в одном каталоге, или, для извращения - поставь в виртуалку линукс с быстрой ФС, а доступ к файлам через сеть ;)

Все три предложения либо нереальны либо все затормозят (сеть).

:)

Нужно именно писать/читать файло на том.

Не можеш сделать вместо \AABBCCDDEEFF.jpg что-то вида AA\BB\CCDDEEFFF.jpg ? Нтфс плохеет от 10к+ файлов в каталоге.

А, ты про это. Ну тайлы режутся и складываются группами. Вроде больше 10к в одном не лежит.