Сборка пакетов в памяти с использованием swap и zram

Ага, спасибо, что напомнил, давно хотел попробовать :)

Не сильно понял, а зачем нужен zram'то?

а, это тупо для сжатия чтоли

Для сжатия страниц памяти, которые в swap, который в ОЗУ.

http://en.wikipedia.org/wiki/ZRam

Я так понял, если мало оперативки, можно как бы перед помещением данных в tmpfs - сжимать их

Это чисто либра без зависимостей?

Интересно, у меня при попытке сделать mkswap на устройство на 4 гига при 4 гигах памяти kernel panic ;)

А ты меньше 32х битные дистры юзай %)

Да, зависимости собрал заранее.

[ebuild   N   ~] app-office/libreoffice-3.6.2.2 USE="branding dbus gtk kde opengl svg vba webdav (-aqua) -binfilter -binfilterdebug -cups -eds -gnome -gstreamer -java -jemalloc -mysql -odk -postgres -test" LIBREOFFICE_EXTENSIONS="presenter-console presenter-minimizer -nlpsolver -pdfimport -scripting-beanshell -scripting-javascript -wiki-publisher" 0 kB

In this case, a Core i5 machine with 8gb of ram gets 4 zram devices with 256mb each. Totalling 1gb, the zram with a theoretical compression rate of 1:8 should equal an 8gb swap partition.

Гм. Забавно.

Но я так понимаю, что проседает при єтом проц? Интересно узнать насколько :)

У меня на гентушечках 8гб озу:

none on /var/tmp/portage type tmpfs (rw,size=80%)

LO собирать как-то не хочется, протестировал на gcc.

С tmpfs:

real    9m11.911s
user    42m28.715s
sys     3m45.661s

Без tmpfs:

real    9m32.534s
user    42m35.846s
sys     3m44.955s

Разница есть, но слабо ощутимая.

Ах да! У меня еще uksm патч наложен на гентушное ядро. Он же тоже должен добавлять нагрузки на процессор.

Дык эта... У меня core2quad, на нём x86_64 особого смысла не имеет, во-первых. А во-вторых, ошибку писать надо, а не ронять всё в panic.

разница в том, что хард не изнашивается

zram

Как раз думал, как бы так продолжить tmpfs использовать при 6 ГБ оперативы (либра проверяет, чтобы раздел 6 ГБ был, вроде бы), чтобы при сборке система в свап не загонялась.

Сжатие в zram стабильно высокое или зависит от того, что в память загружено?

the zram with a theoretical compression rate of 1:8 should equal an 8gb swap partition.
Создал 4 устройства по гигабайту

Обязательно было так много? Это ж теоретически 32 GB swap получается.

Харду на такой износ всё равно, мне кажется. Вот для SSD разница есть, да.

Сжатие в zram стабильно высокое или зависит от того, что в память загружено?

Тоже это интересует. Мне вот непонятно, как это бинарники можно сжать в 8 раз.

Пишу с работы, по памяти:

Ознакомиться с размером сжатых и оригинальных данных можно в каких-то файлах в /sys/block/zramN/, там интуитивно понятно. При сборке фурифокса сжатие было приблизительно шестикратным.

Позже выложу тесты где сборка происходит только в zram, а не в свопе, который используется только при нехватке ОЗУ. Ведь имеющихся у меня 4 Гб оперативки не хватало только для сборки либры.

Мне кажется, это сжатие здорово должно тормозить компиляцию. Ну его нафиг :)

Ну, 1:8 это скорее идеальный случай. Лучше рассчитывать на 1:4...1:6. Вообще же у меня портаж собирает одновременно 4 пакета, и я подстраховался на случай одновременной сборки, либры, гцц и фурифокса.

У меня core2quad, на нём x86_64 особого смысла не имеет

Имеет имеет :) Ускорение числодробилки все равно должно быть.

А во-вторых, ошибку писать надо, а не ронять всё в panic.

А версия ведра какая? Авось там бага в модуле.

Ну вот и получается что в моём случае что замедление от сжатия компенсируется скоростью чтения/записи ОЗУ, а не HDD.

Чтобы узнать ответ на этот вопрос, сожми еще раз любой архив и сравни объем, лол.

сожми еще раз любой архив и сравни объем

Кто тебе сказал, что в оперативке сжатые данные, лол? Ясно, что эффекта не будет, если в каталог tmpfs пытаться вогнать архив размером, как вся оперативка. Я спрашивал про реальное применение, насколько сжимаемы данные рабочих процессов?

Зато винт не дергает. Пользователям SSD должно пригодиться

Имеет имеет :) Ускорение числодробилки все равно должно быть.

Не имеет. ибо man macrofusion. В лучшем случае выигрыш в пределах погрешности.

А версия ведра какая? Авось там бага в модуле.

3.6.7-pf

Для сжатия страниц памяти, которые в swap, который в ОЗУ

facepalm.jpg

Ну, отдалённость от идеала можно было ожидать. Даже 1:2 было бы уже неплохо.

Вообще же у меня портаж собирает одновременно 4 пакета

Может «в четыре потока»? Или у тебя четыре емержа запускается?

zram ≠ swap, это скорее ещё один буфер памяти между оперативной и свопом на ПЗУ. Просто если памяти много, они откусывают кусок от ОЗУ, и делают его сжатым буфером, хотя я хз, зачем это нужно, если при восьми-то гигабайтах своп можно спокойно отключить. Разве что на серверах с интенсивным дёрганием кеша БД какой-нибудьбудет ощутимый прирост. А на нетбуках откусывать и без того крохи памяти я считаю кощунством.

Одновременно 4 пакета в 5 потоков. Не помню как это называется, я сейчас с телефона, неудобно гуглить)

А есть способы ограничить доступную память? Могу выдрать одну планку и проверить, но все равно 2 Гб останется. Еще многу на торрентокачалке с 512 Мб хром запустить или еще что.