Кэшируемые файловые системы.

самое очевидное - добавить оперативки.
далее оптимизировать настройки веб-демона.

/proc/sys/vm/vfs_cache_pressure

и не влом вот это тебе в канун нового года о файловых системах думать? возможно flashcache зарешает.

Можешь поиграть с такими параметрами, как readahead (blockdev --setra 128 /dev/sda), поменять планировщик (echo deadline > /sys/block/sda/queue/scheduler), если есть запись в файлы, то еще поиграться параметрами /proc/sys/vm/dirty_background_ratio, /proc/sys/vm/dirty_ratio.

Еще журнал фс можешь вынести на отдельный диск, монтировать с менее жесткими опциями (в ущерб целостности данных при сбоях)... Эффект может быть большим... А может и нет, ибо хз как у тебя сейчас дисковая система настроена.

Если у тебя в основном статика, и действительно «много мелких файлов», то лучше воткнуть ssd диск (или даже флешку usb 3.0).

Если ты хочешь тонко настраивать кеширование, то можешь все закинуть в СУБД и настраивать его.

какие есть файловые системы которые очень хорошо работают с кэшем в оперативной памяти для мелких файлов?

думаю все линуховые. Почитай в википедии про page cache и/или http://www.linuxatemyram.com/ .

Популярный контент можно кэшировать на ssd.

Кстати, типичная беда серверов это кривые настройки вебсервера/бд которые не оставляют оперативы для ОС чтобы она могла кэшировать.

Ну так, пьем и думаем, думаем и пьем.

У меня zfs сильно тормозит по с равнению с любой фс

поставить вперед нжынкс с опен_файл_кеш?

Для начала установите какой-нибудь монитор активности (мунин, какти, нагиос, заббикс и пр.), чтобы собрать статистику.
Учитывая информативность Вашего поста, могу посоветовать собрать статистики, после чего включить мозг и посмотреть, откуда ноги растут. Как уже сказали выше, проблема может быть в том, что веб-процессы слишком много жрут памяти, банально оставляя мало места для кэша, делая ещё хуже.

Используйте cgroups, шаманьте с внутренними настройками веб-сервера, переходите на более высокопроизводительный веб-сервер (например, с апача на энджиникс), юзайте flashcache с SSD, чистые SSD, SAN, кэшируйте статику, делайте апгрейд и ещё 9000 советов на Ваш абстрактный вопрос.

поставить вперед нжынкс с опен_файл_кеш?

Что за опен_файл_кеш?

У меня zfs сильно тормозит по с равнению с любой фс

Моём треде про ZFS коллектив выяснил, что он у всех тормозит, даже под бздой, если нету овер9000 мб оперативы. Вопрос только в профитах от его фишек (если нет, но нафиг оно не надо).

У меня 12 ГБ ОЗУ

ktulhu666, здесь сам вопрос в том на сколько файловые системы работают с кэшами, у меня в этом направлении провал в знаниях, и не сильно нравится когда тот же торрент на 500файлов в раздаче укаладывает все io диска, точно так как и какая-то cms которая создала папку cache с тучей вложенных каталогов и файлов.

Теперь есть куда копать, хочется вытянуть кэш на максимум, а там дальше будет видно.

Вы серьёзно думаете, что это помешает апачу сожрать всё и даже уйти в своп? Я ещё раз повторяю, нужна статистика. Если Вы на 100% уверены, что проблема в мелких файлах, то (как я уже писал выше) варианты такие:
1. nginx-фроентенд с кэшем статики на SSD.
2. увеличить RAM.
3. полностью перейти на SSD.
4. использовать Reiserfs

И сколько из них доступно ZFS на момент измерений?

Сколько надо, не ограничено. Берет около 6

http://habrahabr.ru/post/166015/ Однако. интересно.