Как ускорить компиляцию Ядра/пакетов в gentoo?

Просто нужно стать более организованным и умеющим в планирование. Поставил на компиляцию, через три дня вернулся и всё готово. Сам за это время дела семьи порешал.

Наверни больше потоков. Ведь на запуск компилятора тоже нужно время.

MAKEOPTS=«-j56 -l56»

LA 0.9, cpu 2-5%, озу ~6гб использует не зависимо от потоков.

по старой инструкции помню было -j устанавливалось по количеству ядер(потоков?). Сейчас еще добавилась настройка озу\2, но, даже с настройками х2 еле-еле нагрузка доползает до 1.

вопрос больше не в том, сколько времени займет процесс, а почему не задействуются ресурсы на все 100 когда это нужно.

А это только на ядре, или на других программах тоже? Если только на ядре, возможно что оно просто не поддерживает слишком многопоточную компиляцию.

Памяти у тебя мало и из кэша исходники вылетают? Чтобы с этим не возиться можешь попробовать собирать в tmpfs, но можешь напороться на сборку пары жручих пакетов одновременно, типа llvm. Для portage тоже укажи больше j.

установка одного пакета с 5-ю зависимостями ~2минуты, из них 10сек cpu 100%, остальное время 1-2%.

памяти какой? если на счет RAM то на борту 64 гб, во время всей сборки(и после) total 64315, free 56120, used 460, buff/cache 7734

(Забыл уточнить, вопрос касается live cd (в chroot) (новая установка системы))

-j40 -l28

Это скрипты, они однопоточные. Просто софт не сильно хорошо умеет в параллельную компиляцию. А эти самые 10 секунд – это сама компиляция, которая многопоточная.

Используй опцию portage --jobs X, где Х – число пакетов, которая позволяет собирать несколько пакетов одновременно.

установка одного пакета с 5-ю зависимостями ~2минуты, из них 10сек cpu 100%, остальное время 1-2%.

10 сек компиляция в кучу потоков. Остальное время всякие однопоточные штуки: линковка, configure, всякие разрешения зависимостей и т.п

Чтобы лучше утилизировать ресурсы процессора тебе надо собирать пакеты параллельно. У emerge есть опция про это.

Собираю ядро так:

eselect kernel list
eselect kernel set N - вместо N пишешь [...] нужного ядра из вывода команды выше
cd /usr/src/linux - здесь переходишь по ссылке к исходнику ядра (обычно делаю ещё копию, что бы после не понравившейся сборки не вычищать, просто удаляю)
make menuconfig - редактируешь config ядра
make -j8 && make modules_install - вместо -j8 ставь своё (у меня 4-е ядра с HT)
make install
genkernel --install --kernel-config=/path/to/used/kernel.config initramfs - это, если нужен ramfs
grub-mkconfig -o /boot/grub/grub.cfg - ну и генерация конфига bootloader-а если используешь grub

и тут потанцевал не раскрылся, да что ж такое

Werenter а пакеты последовательно зависят друг от друга

Чуть копнул, вспомнил и для себя: https://wiki.gentoo.org/wiki//etc/portage/make.conf, https://wiki.gentoo.org/wiki/MAKEOPTS.

Не всегда.

Это хорошее уточнение, спасибо, буду пробовать.

Да, похоже на то, что -j не берется с make.conf при сборке ядра и нужно его указывать явно перед коспиляцией, т.к. при сборке ядра один процесс всего был cc1, а при сборке пакетов какраз количество соответствующее в конфиге.

Да, верно, где то есть об этом в вики, точно не помню где, что бы ссылку дать.

Да, похоже на то, что -j не берется с make.conf при сборке ядра…

В обычной ситуации при обновлении через emerge ... берется.

Если сборка не через portage, то настройки для portage не используются.

genkernel же, нафига руками?

На это время еще и отопление можно выключить, экономия.

Собирай в tmpfs.

https://wiki.gentoo.org/wiki/Portage_TMPDIR_on_tmpfs

Очень странно. А если какой-нибудь qtwebengine собирать? У меня 12 ядер(3900х) и у меня при MAKEOPTS="-j10" довольно ощутимо начинает гудеть вентилятором(ставлю 10 потому что частенько 32Гб памяти не хватает на больше потоков сборки и приходит OOMKiller).

А может у тебя в IO упирается? Диск SSD? Ну и посмотри сколько cc1 процессов в топе, их довольно много должно мельтешить.

Просто один из вариантов, забыл спросить у тс как собирает он, конечно можно и genkernel, конфиг богатый у него, немного подправить и вперёд. Как раз и это есть:

# Genkernel uses an independent configuration for MAKEOPTS, and does not source
# /etc/portage/make.conf . You can override the default setting by uncommenting
# and tweaking the following line. Default setting is set up by
# ${GK_SHARE}/${ARCH_OVERRIDE}/config.sh . The recommended value for -j
# argument is: <number of processors>*<number of cores per processor>+1
#MAKEOPTS="$(portageq envvar MAKEOPTS)"

Собирать в раме например.

cat /etc/make.conf

PORTAGE_TMPDIR="/run"

И в fstab

tmpfs		/run		tmpfs	size=4G,uid=portage,gid=portage,mode=775	0 0

https://wiki.gentoo.org/wiki/Portage_TMPDIR_on_tmpfs

Скажите, у вашей нарядной аватары есть какой-то мессидж? Это скринсейвер какой-то вроде cmatrix?

мессидж

ШГ

ничего страшного, пара параллельно запущенных ./configure, спавнящих sleep это так себе параллелизация

Это скриншот из известной в узких кругах игры https://www.adom.de/

Да, просто в "-j" удваиваешь число потоков. Но. как правило, упрешься в компиляцию самого жирного класса, где естественно больше зарулит частота текущего ядра ЦП.

Отсюда - разгоняй все ядра. Ставь бинарники. Не юзай генту/тьфукальку. Береги природу!