Linux 2.6.38

> большое количество изменений, позволяющих увеличить скорость VFS на однопроцессорных и многопроцессорных... а также других... системах

fixed

Подскажите, пожалуйста, про этот патч в 200 строк:
какие опции в ядре правильно включить надо? А то что-то сам не дойду.
Там в отношении cgroup много всего.

ну-ну
во многих дистрах irqbalance искаропки, но таки от 12309 не спасают - почему?

не позорься, раз не в курсе о чём речь

> Это успех, однозначно! :)

не, просто моё зеркало было сделано первым в этот раз.

> Оно не умрет, когда благотворительная акция закончится?

Оно, в общем-то, жило и до благотворительности.

> И вообще интересно: кем Agilia поддерживается или работает на чистом энтузиазме?

Силами сообщества.

> Количество восклицательных знаков и смайлов на главной просто запредельное...

А ещё там запредельное количество лулзов (для таких серьёзных вещей как релиз-нотесы).

А «Automatic process group scheduling» на самом видном месте и не заметил )

Кстати, как там Nvidia'вские драйвера? Совместимы с этим ядром?

>>А в какой версии ведра это подкрутили?

когда тестировали «патч в 200 строк», местный космомол отмечал, что из >гибернации стало быстрее выходить, вроде как скорость чтения >увеличилась
видимо, после внесения сего патча в ядро - всё как и говорили: почти >мгновенный выход из спящего режима

LZO, могет быть?

Заметил и включил. Но может быть он еще от каких-то опций зависит,
например от cgroup? Вот их там несколько и какие включать - не знаю.

Обрати внимание на то, как меняется пункт «Control Group support» на 2 строчки выше - эта опция автоматом фиксирует нужные зависимости.

>удобство десктопное от контейнеров и гипервизора

а можно по-подробнее? ссылки на статьи всячески приветствуются.

Большое спасибо за ответ. Теперь понял.

> А ещё там запредельное количество лулзов (для таких серьёзных вещей как релиз-нотесы).

Когда я слышу слово «лулзы», особенно из уст вам подобных, я сразу понимаю, что не такой уж у Петросяна и юмор примитивный, и местами даже забавно.

> а можно по-подробнее? ссылки на статьи всячески приветствуются.

На что ссылки? установить vserver-ядро, установить vserver-debiantools, заглянуть 1 раз в man newvserver, чтобы правильно скопировать оттуда строку, заменив ip, сетевой интерфейс и некоторые параметры.

Всё. Т.е. 1 команда apt-get, 1 перезагрузка в новое ядро, 1 команда newvserver, и можешь делать vserver start и vserver enter

Ставить туда недебиан сложнее, но я туда уже и слаку вогнал 13.1.

И весь временами необходимый stuff типа веб-серверов на туда-сюда, средств разработки и прочего, что не хочешь в основную систему ставить - туды в кочель.

Для доп.информации - вики-страница на wiki.debian.org, там пацаны даже KDE из Vserver-а пускают.

OpenVZ чучуть сложнее, но она более развитая с точки зрения социализма. А XEN ещё сложнее. Но про всё написано в wiki.debian.org

Интересует не информация по настройке (это я в состоянии нагуглить), а скорее информация о том, какие «плюшки» дает гипервизор/контейнеры на десктопе.

> Интересует не информация по настройке (это я в состоянии нагуглить), а скорее информация о том, какие «плюшки» дает гипервизор/контейнеры на десктопе.

Гуглить - очень глупое занятие. С вероятностью 99% ты попадёшь на инструкцию с пересборкой ядра для vserver, обилием команд и наворотов для разворота vserver, глупыми комментариями и по устаревшей версии. В 1% - на wiki.debian.org.

Время винды прошло. Пришло время ДОВЕРЯТЬ официальной документации а не сверять её по 10 источникам.

А по плюшкам я уже написал - основная система чистая и совсем не пахнет, а в контейнере я могу хоть цепь из 4 вебсерверов поднять, хоть 50 девелоп библиотек поставить. И когда забуду, что и где, в этом всём начну путаться - просто грохнуть контейнер, и завести новый, при необходимости. Но такая необходимость маловероятна, поскольку оно работает и есть не просит, у меня на любом компьютере при старте 2 всервера пускаются в фоне, и все дополнительные задачи ими же выполняются. Захотелось что-то посмотреть или попробовать или собрать или на какой-нибудь сервер поглазеть - поставил и поглазел, надоело - удалил, забыл удалить - ничего страшного. Чисто песочница для любых экспериментов, только лучшие решения попадают в основную систему.

>Гуглить - очень глупое занятие. С вероятностью 99% ты попадёшь на инструкцию с пересборкой ядра для vserver, обилием команд и наворотов для разворота vserver, глупыми комментариями и по устаревшей версии. В 1% - на wiki.debian.org.

Считать что собеседник клинический идиот — занятие еще более глупое.

А по плюшкам я уже написал - основная система чистая и совсем не пахнет, а в контейнере я могу хоть цепь из 4 вебсерверов поднять, хоть 50 девелоп библиотек поставить. И когда забуду, что и где, в этом всём начну путаться - просто грохнуть контейнер, и завести новый, при необходимости. Но такая необходимость маловероятна, поскольку оно работает и есть не просит, у меня на любом компьютере при старте 2 всервера пускаются в фоне, и все дополнительные задачи ими же выполняются. Захотелось что-то посмотреть или попробовать или собрать или на какой-нибудь сервер поглазеть - поставил и поглазел, надоело - удалил, забыл удалить - ничего страшного. Чисто песочница для любых экспериментов, только лучшие решения попадают в основную систему.

Use-case'ы ясны, спасибо.

Еще вопрос — что у этого безобразие в плане графической подсистемы и поддержкой 3d ускорения в гостях?

> Считать что собеседник клинический идиот — занятие еще более глупое.

Жертва стереотипов это хуже чем жертва политических репрессий. Из лагерей гораздо проще выйти, чем виндомышлению из головы.

Еще вопрос — что у этого безобразие в плане графической подсистемы и поддержкой 3d ускорения в гостях?

А что ты мне такие вопросы задаёшь, иди лучше поищи в поисковиках.

у меня работало вчера 260.19.44 с новым ядром. главное, чтобы headers были той же версии, как ядро.

но что-то как-то тормозить стало (наверное, я криво сконфигурировал), причём очень по описанию похоже на этот ваш 12309 (загрузка крохотная, из задач только Кторрент с Файрфоксом, памяти 60% свободно, а тормозит люто любое разворачивание-сворачивание-перемещение окон).

возможно, дело в моих руках (кривой конфиг, кривой PKGBUILD или неграмотные зависимости - брал старый PKGBUILD от 2.6.37.* и адаптировал под новое ядро). возможно, дрова видео новее надо было ставить. плюсом при компиляции и создании пакета было много warning-ов, а headers вообще не собирались - пришлось вырезать кусок, отвечающий за перемещение Lirc-модулей (разбираться более детально и предметно ни навыков, ни желания нет).

Поэтому откатился на 2.6.37.4

в арче в тестинге есть 38-е, будет в стейбле - поставлю, посмотрим, скомпилим. всё же грамотные люди напишут PKGBUILD, а не я.

Нет никакого вендомышления. Есть пассивная жизненная позиция. Такие люди и являются идейными вендузятниками.

> у меня работало вчера 260.19.44 с новым ядром

Ок, спасибо. Давно уже не обновлял видеодрайвер, да и новости про выход новой версии как-то перестали появляться.

Собственно, уже неактуально, остаюсь пока на 2.6.32.x - взял вчера 6-тиядерник видео покодировать, а он на моей материнке не запустился. Хотел попутно собрать ядро, чтобы не возиться с пропатчиванием 32-го под k10temp, да и опробовать всякие новомодные фишки вроде 200-строчного патча хотелось. Если на днях возьму 4-хядерник - тогда и обновлюсь.

uptime

[16:55][leave][~]$ uname -a
Linux localhost 2.6.37-1-686 #1 SMP Tue Feb 15 18:21:50 UTC 2011 i686 GNU/Linux
[16:55][leave][~]$ uptime 
 16:55:08 up 23 days,  3:00, 11 users,  load average: 0.17, 0.27, 0.40

Debian sid

> во многих дистрах irqbalance искаропки

Не во многих. А еще юзеры - странные люди. Им хочется залезть в настройки и поудалять «лишнее», настроить «лучше». Хотели как лучше, а получилось...

но таки от 12309 не спасают - почему?

Что значит «не спасают»? Спасают. Когда мне вживую попался этот баг (при записи файлов на флешку мыша еле ползала), установка irqbalance РЕШИЛА проблему. Реально решила. До этого тормоза были, после - нет.

Если дело не в этом - есть еще одна названная ранее причина про память.

Ты знаешь гарантированный метод воспроизвести этот баг, который не подпадает под два названных мной случая? Так поделись же им! Лучше - в виде livecd.

а теперь скажи - каким боком баланс прерываний к «впихнуть невпихуемое» или просто вводу-выводу?
при этом те прерывания проц не грузят ну никак
как так, о гуру?

>на одноядерных процах этого не было.

хорош гнать. у меня как раз под рукой ноутбук с celeron-m 520 и t7600.
проверил, укладывается одинаково, без зависимости от CONFIG_SMP

>>у меня работало вчера 260.19.44

но что-то как-то тормозить стало

Да, ядро нуждается в правильной конфигурации. Могу выложить куда-то свой конфиг.
На счет Нвидии - ставь лучше бету 270.30 - реально разница есть.

Ну, и общее впечатление от ведра - супер. Я такого прироста производительности не ожидал, честно. Обычно скептически отношусь к подобным крикам «у меня все летает» и т.д., а тут сам убедился. Система действительно работает быстрее и еще отзывчевее, чем 37-ое ядро с патчами автогруп + bfq. Вот так.

да не, спасибо, пока не нужно :)

> а теперь скажи - каким боком баланс прерываний к «впихнуть невпихуемое» или просто вводу-выводу?

Этот вопрос мне распарсить не удалось, но я верю, что в нем был скрытый смысл. :)

И, да, операции ввода-вывода генерируют прерывания, внезапно.

при этом те прерывания проц не грузят ну никак

Обработчики этих прерываний где выполняются? Не на проце, да?

> проверил, укладывается одинаково

Как именно проверил? Подробности метода в студию, пожалуйста.

Надеюсь, оно теперь собирается с GCC 4.6.0 без всяких удаляющих -Werror воркараундов? Так, вижу релиз linux-libre (http://www.fsfla.org/svnwiki/selibre/linux-libre/): 2011-03-15 - gen5 - 2.6.38-libre. Пора собирать.

>Обработчики этих прерываний где выполняются? Не на проце, да?
повторяю - проц не грузится
т.е. он справляется с прерываниями на раз
итого - затык не в прерываниях
я ж пробовал твои хаки - толку от них ноль
сегодня всё абсолютно железо умеет расшаривать прерывания

> повторяю - проц не грузится т.е. он справляется с прерываниями на раз

Это ни о чем не говорит. При работе гигабитной сетевухи на скорости близкой к максимальной проц загружен довольно сильно даже при включенном offload-е на сетевую карту. Если проц не загружен - значит он чего-то ждет, например, переключения обработчика прерываний, ага... :) И пока он ждет - система будет висеть.

итого - затык не в прерываниях

Это нельзя сказать по загруженности проца. Минимум для этого нужен вывод `vmstat 1`, а лучше еще посмотреть в /proc/interrupts. И что за привычка гадать на кофейной гуще и тыкать куда попало в разные настройки, вместо того, чтобы банально посмотреть, что происходит в системе...

я ж пробовал твои хаки - толку от них ноль

Напомню, среди «хаков» было два предложения: проверить на бинарном livecd (убунта, федора, суся - где ядро поновее) и выложить свой livecd на котором эта проблема воспроизводится. Эти тоже пробовал?

Когда все работает и нет проблем - от них действительно толку ноль. Но когда вылазит этот баг... А когда вылазит этот баг? Я наконец узнаю, как же все-таки его воспроизвести? ;)

сей баг фиксится нормальным IO type -ом и нормальными приоритетами
оха?
то что проц ждёт - бред собачий
расскажи как мне вот что - почему при 12309 скорость записи падает в овер 20 раз?
жду
высеры прибереги для дегенератов

> расскажи как мне вот что - почему при 12309 скорость записи падает в овер 20 раз?

Потому что операции записи вызывают большое количество прерываний, а irqbalance не установлен, и каждое из этих прерываний обрабатывается медленнее, чем если бы он был установлен. Процессор занят обработкой прерываний, остальное имеет более низкий приоритет, поэтому все тормозит. Без irqbalance прерывания обрабатываются долго, и запись становится медленнее. Сколько раз можно это повторять?

А теперь расскажи мне вот что - как мне воспроизвести 12309 на livecd суси, федоры или убунты с установленным irqbalance, и большим количеством свободной оперативной памяти?

ты вообще что покурил?
как прерывание может обрабатываться медленне чем это позволяет проц?
напоминаю - проц не грузится ни разу
т.е. по-твоему проц специально туго соображает?
не смешно уже давно - завязывай
как воспроизвести...[censored]! уже обсуждалось 100500 раз
в гугл!

> как прерывание может обрабатываться медленне чем это позволяет проц?

Ты пытаешься доказать, что твоя теория правильнее, чем реальность? «Вон на том» дебиане скорость записи на ntfs-ную флешку была порядка сотни килобайт в секунду. При этом все висело, хотя по top-у процессор был «не загружен», только i/o. А то, что после установки irqbalance скорость стала в мегабайтах/сек и ничего не тормозит - это все не правда, так не бывает, потому что кто-то с лора так сказал!

как воспроизвести...[censored]! уже обсуждалось 100500 раз

в гугл!

Тю, так ты и сам не знаешь? И о наличии бага ты судишь по постам на лоре?

Классный ответ. «Где мне найти зеленых человечков? - Уже обсуждалось 100500 раз. В гугль!» Пора бы уже признать, что ни мифических багов, ни зеленых человечков нет (сусеводы-фанатики в гриме не считаются). :)

Если баг есть - скажи как его увидеть. Желательно на livecd известного бинарного дистра, чтобы исключить кривособранное ядро. Хотя если ты соберешь и выложишь свой livecd, на котором этот баг можно будет воспроизвести - это уже лучше чем ничего.

[ root@desktop ] megabaks # dd if=/dev/zero of=/tmp/test1 bs=100MB count=10
10+0 записей считано
10+0 записей написано
 скопировано 1000000000 байт (1,0 GB), 14,6096 c, 68,4 MB/c
[ root@desktop ] megabaks # dd if=/dev/zero of=/tmp/test1 bs=1GB count=1
1+0 записей считано
1+0 записей написано
 скопировано 1000000000 байт (1,0 GB), 17,7909 c, 56,2 MB/c
[ root@desktop ] megabaks #

почувствуйте разницу
да - у меня 12309 не проявляется - ибо использована пара хаков
без них скорость падала до 4-5 метров в сек - таки дела - думай дальше

Если проблемы нет, то её стоит придумать? Как вообще бороться с багами, которые не существуют?

Ну захотел кто-то дискредитировать отличную систему, пустил слух, а все linux-ненавистники и рады это растиражировать и преукрасить. Обычное дело, когда не могут справиться качеством продукции, прибегают к таким мерам. Самое действенное - не обращать никакого внимания.

> megabaks # dd if=/dev/zero of=/tmp/test1 bs=1GB count=1

почувствуйте разницу

О! Наконец, вот она эта команда. Как же долго пришлось ее ждать. Для начала - ты знаешь, что означает параметр bs? Подскажу - он расшифровывается как Block Size. Внимание, главный вопрос - сколько ПАМЯТИ требуется для выполнения этой команды? Ну-ка?

А теперь, вспомни описанные мной два случая: генерация большого числа прерываний при вводе-выводе (РАЗ) и нехватка оперативной памяти (ДВА). Эта команда выполняет ввод-вывод (РАЗ) и занимает дохрена памяти (ДВА). Угадай, почему программа, которая срабатывает по обоим описанным мной случаям, может вызывать тормоза?

Напомню, что оба случая - это не баг в ядре, а кривые руки юзера, который снес irqbalance, выставил bs=1G, сожрал кучу памяти, и удивляется, что оно тормозит...

Ядро линукс умнее винды, и с памятью работает лучше, но оно же не всесильно, и взять память из ниоткуда не может. Значит оно должно что-то выгрузить.

Например, выбрасывается дисковый кеш. Это значит, что файлы, которые недавно открывались быстро в следующий раз откроются МЕДЛЕННЕЕ, потому что в кеше их уже нет.

А еще можно выкинуть код программ и библиотек, который сейчас не выполняется - в случае чего его можно подгрузить из бинарников этих программ. Правда программы теперь будут работать МЕДЛЕННЕЕ, потому что за очередной порцией кода придется лезть на диск.

Дальше, если в системе есть своп, неиспользуемые данные программ можно сгрузить туда. Правда, когда потом они начнут использоваться, программы будут ТОРМОЗИТЬ, потому что данные придется тянуть с диска. И при этом процессор совсем не загружен, в основном он ждет очередной порции данных или кода с диска.

Наконец, если варианты исчерпаны - сработает OOM-killer, который прибьет процессы, чтобы освободить немного памяти.

Теперь ясно, почему программа, которая требует кучу памяти, может вызывать тормоза, не вызывая при этом загрузку процессора?

Будут еще варианты того, как воспроизвести 12309? ;)

Интересно, когда ждать его в бэкпортах...

> почувствуйте разницу

да - у меня 12309 не проявляется - ибо использована пара хаков
без них скорость падала до 4-5 метров в сек - таки дела

$ time dd if=/dev/zero of=/tmp/test1 bs=2000MB count=1 1+0 records in 1+0 records out 2000000000 bytes (2.0 GB) copied, 20.0466 s, 99.8 MB/s

real   0m21.396s user   0m0.000s sys   0m7.840s

Старый ноут, ничего не тормозит, я что-то делаю не так, да? Ядро 2-6-36

> Ну захотел кто-то дискредитировать отличную систему, пустил слух, а все linux-ненавистники и рады это растиражировать [...] Самое действенное - не обращать никакого внимания.

Мало ли. А вдруг действительно есть баг? Например, не так давно в ядре правили драйвер ext-а, чтобы он быстрее обрабатывал sync-и. Может есть еще какой-то баг...

Потому я и прошу указать, как воспроизвести проблему на стандартном livecd. Во-первых, это исключит кривособранное ядро (ну почему, почему многим так хочется засунуть свои руки в ядро и поковыряться там?). Во-вторых, livecd исключит баг файловой системы (ext3, ext4, btrfs...)

В результате можно будет либо определить место и причину проблемы, либо однозначно убедиться, что ее нет, и всему виной криво настроенная система или непонимание принципов ее работы.

> $ time dd if=/dev/zero of=/tmp/test1 bs=2000MB count=1

Старый ноут, ничего не тормозит

Сколько же памяти на этом старом ноуте?

4Gib.

> 4Gib.

Спасибо. Хех, старый ноут... :)

Ради интереса, на какой файловой системе лежал /tmp/ в момент эксперимента?

> > 4Gib.

Спасибо. Хех, старый ноут... :)

Незачто. Память заменил через год после покупки с 2гиб на 4гиб, жесткий диск менялся три раза (не выдерживают постоянной эксплуатации и переноски) - теперь 500gb @ 7200rpm

Ради интереса, на какой файловой системе лежал /tmp/ в момент эксперимента?

reiserfs3.6, дефолтные опции монтирования, x86_64

Раз уж пошла такая пьянка, в рамках повышения образованности лоропользователей...

# dd if=/dev/zero of=/tmp/test1 bs=1GB count=1

Если эта команда действительно вызывает тормоза, то совсем не трудно выяснить, почему это происходит - из-за памяти или ввода-вывода. Для этого надо немного изменить команду и перепроверить результат.

Так команда:
# dd if=/dev/zero of=/dev/null bs=1GB count=1
занимает почти столько же памяти, но не генерирует прерываний

Зато команда:
# dd if=/dev/zero of=/tmp/test1 bs=1MB count=1KB
генерирует столько же прерываний, и передает такой же объем данных, но зато занимает намного меньше памяти

В том, что это действительно так, можно убедиться с помощью `free` и `vmstat 1` :)

>> Ради интереса, на какой файловой системе лежал /tmp/ в момент эксперимента?

reiserfs3.6, дефолтные опции монтирования, x86_64

Ух ты, значит не только у меня живет reiserfs. :) Старенькая уже система, конечно, но заменить-то ее нечем. reiser4 пока в стадии допиливания, и, вероятно, будет там еще долго. btrfs годится для экспериментов, но на «поставил и забыл» ему пока тоже рано. А больше tail-packing-а (и еще нескольких фич) нигде и нет.

Если проц не загружен - значит он чего-то ждет, например, переключения обработчика прерываний

Годная инновационная нанотехнология ящетаю.