HDD + SSD на одной машине

iowait упал до 1% %util около 60%

Кэш в ram и все дела

вывод atop смотрел? Может память/своп?
Вообще, сыпящийся винт даёт конкретные фризы.

Так ядро Линукс - монолитное, оно не может на одно CPU повесить хард, на другой - SSD. Пока хард не отдаст ядро, SSD будет ждать.

Какое эпическое 3.14здобольство. Надо твой поток херни занести в букмарки, чтобы при случае вспоминать. Со времен 2.4 взаимолочатся только потоки, конкурирующие за один ресурс, а доступ к разным ресурсам параллелится.

Даже при запроса favicon.ico, который статически отдается nginx

... и пишет в лог. Не делается I/O, говорите?

Но когда возникает большая загрузка и жоский SEEK, это всё превращается в ужос.

Потому, что запрос на I/O помещается в очередь, и если вызывается синхронная операция I/O, то процесс его поместивший уходит в sleep. И если очередь переполнена, процесс загоняется в sleep пока не освободится позиция в очереди.

Если пара драйвер/девайс асинхронные, то девайс озадачивается и начинает выполнять, по завершении операции девайс уведомляет драйвер о завершении операции, и драйвер выводит процесс из ожидания (если он ожидал) или через механизм AIO уведомляет о выполнении запроса. Блокировки устройств вследствие этого независимы.

Мало. 8 гиг мало.

Чёрт, какой жЫр я пропустил :)