[cache][tweaker] настройка кэша

А для чего так много порно качаешь?

а ты подумать не пробовал?
я верю в тебя - у тебя получится

И это мне говорит человек, который хочет отдельный кэш для торрентов... ох Ё!

тебе повторить просьбу о включении мозга и осиливании топика?

Ушёл бы ты в General/Desktop из моих Talks'ов :}

Предлагаю openvz.

echo 3 > /proc/sys/vm/drop_caches
и не плоди сущности.

Думаю, надо копать в этом направлении: http://www.mjmwired.net/kernel/Documentation/cgroups/memory.txt

это не годится - ибо потрёт весь кэш, а не только «мусор»

по-подробнее

многа букаф - можно короче и на родном?

Ну, это все те же контрольные группы, которые использовались в «патче в 200 строк», только помимо управления процессором, оно еще поддерживает управление I\O и памятью.

А вообще, присоеденяюсь к вопросу, ибо тормозной десктоп, от забитых кешей делюгой - не айс.

# mkdir /dev/cgroup
# mount -t cgroup none /dev/cgroup
# mkdir /dev/cgroup/1
# echo `pidof torrent-downloader` > /dev/cgroup/1/tasks
# echo 4M > /dev/cgroup/1/memory.limit_in_bytes

В ядре должны быть включены.

CONFIG_CGROUPS
CONFIG_RESOURCE_COUNTERS
CONFIG_CGROUP_MEM_RES_CTLR
CONFIG_CGROUP_MEM_RES_CTLR_SWAP (to use swap extension)

это даст лимит по доступной памяти или всё же заставит ограничить доступный кэш для торрента?
прозреваю первое

Не попробуешь - не узнаешь. Мне лениво ядро пересобирать, чтобы проверять.

Пускай торрент-качалку в openvz-контейнере.

херасе изврат )

А как это избавит от замусоривания кэша, если у контейнеров общий файловый кэш?

И да, у меня вот rtorrent как-то неадекватно себя ведет в контейнере... iotop в CT0 показывает, что диск постоянно читается со скоростью порядка 20-30 Мбайт/сек при раздаче со скоростью около 2 Мбайт/сек

почитал - не то
оно может ограничить память доступную софтине, но кэш то остаётся общим

неа - для техраздела не годно
тут видимо надо было запилить тэги [вещества][loroogle][хочу странного]

почитал - не то оно может ограничить память доступную софтине, но кэш то остаётся общим

config CGROUP_MEM_RES_CTLR
	bool "Memory Resource Controller for Control Groups"
	depends on RESOURCE_COUNTERS
	select MM_OWNER
	help
	  Provides a memory resource controller that manages both anonymous
	  memory and page cache. (See Documentation/cgroups/memory.txt)

А в Kconfig написано, что page cache тоже.

почитай описание по линку

a. Isolate an application or a group of applications Memory hungry applications can be isolated and limited to a smaller amount of memory.
b. Create a cgroup with limited amount of memory, this can be used as a good alternative to booting with mem=XXXX.

хотя да - что-то есть
*ушёл курить доки*

Kbuild:

Provides a memory resource controller that manages both anonymous memory and page cache

http://en.wikipedia.org/wiki/Page_cache:

In computing, page cache, sometimes ambiguously called disk cache, is a «transparent» buffer of disk-backed pages kept in main memory (RAM) by the operating system for quicker access.

Получается, что дисковый кеш тоже ограничивается.

Раз уж тут такое дело, может подскажет кто, можно ли ограничить предельный размер кэша, для всех, и как это сделать.

Насколько помню один из ораторов с таким же запросом в техразделе таки добился решения. Правда не помню каким извратом.

И да, покупай уже ссд, совсем не тормозит, да!

Товарищ, пройдите в направлении означенном ТС с такими запросами. Память изнашивается сильно?

можно ли ограничить предельный размер кэша, для всех

# echo $((2*1024*1024)) > /proc/sys/vm/dirty_bytes
# echo $((2*1024*1024)) > /proc/sys/vm/dirty_background_bytes

но это только на запись. Как ограничить на чтение не знаю.

Ну интересует, в первую очередь чтение,если я всё правильно понимаю, но и на этом спасибо.

> Ну интересует, в первую очередь чтение,если я всё правильно понимаю, но и на этом спасибо.

Скорее всего, неверно. Интересует вас кеш на запись, а точнее размер кэша грязных страниц. Поясню на примере.

1. Гиг памяти и половина занята чем-то очень важным, а половина — копии данных с диска, оставшихся с прошлых чтений («чистые» страницы). И вдруг понадобилась память для новой программы. В этот момент чистые страницы просто помечаются свободными, освободившаяся память предоставляется приложению.

2. Та же конфигурация, но теперь вторая половина занята грязными страницами — измененные данные, которые ждут записи на диск. Когда новой программе понадобится память, её можно будет получить, только записав грязные страницы на диск, иначе никак. Вот здесь и будут те самые «тормоза».

dirty_bytes задает некоторую границу, после достижения которой начинается сброс грязных страниц на диск. Граница не жесткая, в отдельный момент времени может быть превышена.

Вроде вспомнил, товарищу сбацали обертку либси для вызовов чтения и там ограничивали кэш, либо просто одирект добавляли, чтобы торрент не забивал кэш вообще. И, соответственно, любому не статически слинкованому бинарнику прелоадом подсовываешь обертку - получаешь профит.

то был мой топик и Ъ-админ слабал либу с O_DIRECT

По документации выглядит многообещающе, но ее до конца дочитывать надо:

# mount -t cgroup none /dev/cgroup -o memory

И не забывать ограничивать мем+своп, а то будет смешно, когда зарезанный апп полезет в своп при общей свободной памяти.

Еще бы кто проверил рабочее ли оно.

о как, а оно паламалося или не нравится уже? Хотя и-ринат походу дело говорит, теоретически должно работать за счет небольшого увеличения нагрузки на цпу для контроллера памяти из сигрупс.

ну просто читать прямо...ну не совсем айс

лол - зато из-за этого говна емерж синкаться перестал - тупо убивается при создании кэша :3

Видно что таким макаром оно не работает. Для чистоты эксперимента предлагаю точно повторить пример из доки, походу оно работает только если лимит ставится процессом из контрол группы и в группу заносятся активные процессы:

259	a. Enable CONFIG_CGROUPS
260	b. Enable CONFIG_RESOURCE_COUNTERS
261	c. Enable CONFIG_CGROUP_MEM_RES_CTLR
262	d. Enable CONFIG_CGROUP_MEM_RES_CTLR_SWAP (to use swap extension)

265	# mkdir -p /cgroups
266	# mount -t cgroup none /cgroups -o memory

268	2. Создай новую сигруппу и добавь в нее баш
269	# mkdir /cgroups/0
270	# echo $$ > /cgroups/0/tasks

272	Так как теперь мы в группе 0 то можем изменять лимит памяти:
273	# echo 4M > /cgroups/0/memory.limit_in_bytes


281	# cat /cgroups/0/memory.limit_in_bytes
282	4194304

284	Можно проверить использование:
285	# cat /cgroups/0/memory.usage_in_bytes
286	1216512

288	Успешная запись в файл не гарантирует установки лимита равному
289	значению записанному в файл. Такое может случиться
290	из-за множества факторов, как округление до страницы или
291	доступности системной памяти. Юзер должен считать из файла
292	после записи чтобы узнать значение принятое ядром.

294	# echo 1 > memory.limit_in_bytes
295	# cat memory.limit_in_bytes
296	4096

298	Значение из memory.failcnt показывает сколько раз лимит
299	был превышен.

301	Из memory.stat можно получить учетную информацию. Такую как
302	объем кэшей, RSS и активных/неактивных страниц.

а на каком этапе ему поплохело? Сразу после пересборки ядра с нужными параметрами или где-то в процессе создания групп?

после настройки групп
а вообще я выпилил группы эти дерьмовые

а вообще я выпилил группы эти дерьмовые

Всё работает отлично.

Собрал ядро с memory accounting, добавил новую группу и ограничил память:

rinat@acerone2:~$ free -m
             total       used       free     shared    buffers     cached
Mem:          1498        280       1217          0          0        115
-/+ buffers/cache:        165       1332
Swap:            0          0          0
rinat@acerone2:~$ mkdir -m 0700 /dev/cgroup/user/$$
rinat@acerone2:~$ echo $$ > /dev/cgroup/user/$$/tasks
rinat@acerone2:~$ echo $((8*1024*1024)) > /dev/cgroup/user/$$/memory.limit_in_bytes
rinat@acerone2:~$ find ~/Видео/ -type f | xargs -i cat '{}' > /dev/null
rinat@acerone2:~$ free -m
             total       used       free     shared    buffers     cached
Mem:          1498        310       1188          0          0        140
-/+ buffers/cache:        169       1328
Swap:            0          0          0

На 25 метров кеш увеличился. Это я в меню ткнул и запустил mousepad. С учетом сброса кешей перед замерами, нормально.

И в соседней вкладке, без ограничений:

rinat@acerone2:~$ free -m
             total       used       free     shared    buffers     cached
Mem:          1498        312       1185          0          0        142
-/+ buffers/cache:        170       1327
Swap:            0          0          0
rinat@acerone2:~$ find ~/Видео/ -type f | xargs -i cat '{}' > /dev/null
rinat@acerone2:~$ free -m
             total       used       free     shared    buffers     cached
Mem:          1498       1459         38          0          0       1284
-/+ buffers/cache:        174       1323
Swap:            0          0          0
rinat@acerone2:~$

ты попробуй не на баше

> ты попробуй не на баше

Объясни мне популярно, причем тут вообще баш? Память жрёт /bin/cat, как он связан с башем?

посмотри внимательно что я написал

> посмотри внимательно что я написал

Прочитал всё ещё раз. Увидел, что ты запихнул pid cat'а в группу, а потом запустил новый cat, в дефолтной группе, без ограничений.

А про баш я так и не понял. Могу предположить, что под башем ты подразумевал $$. Ну так это и есть правильное использование, ибо группы наследуются. Ограничиваем себя, и все потомки наследуют ограничение.

Укажи ссылку на пост, если не хочешь повторяться, что ли; я ж помочь пытаюсь.

при запуске нового кошака пид там меняется

про баш

[ root@desktop ] megabaks # echo $$
12456
[ root@desktop ] megabaks # pidof bash
16373 14212 13411 12456 5067 5060 4796
[ root@desktop ] megabaks # 

и да - меня не интересует наследование - мне нужен конкретный процесс