LINUX.ORG.RU

Жутко тормозит portage

 , ,


0

1

Народ, ну поделитесь своими make.conf в плане niceness, а то сил уже больше нет: стоит лишь запустить emerge-webrsync && eix-sync && emerge -uDN world, как система превращается в однозадачную. Жутчайшие тормоза, просто невозможно делать что-то еще. При том, что у меня в make.conf:

PORTAGE_NICENESS="19"
PORTAGE_IONICE_COMMAND="ionice -c 3 -p \${PID}"
вроде бы, куда уже niceness и ionice уменьшать? Но на IO полный 12309 (на время сборки доступ к ФС практически прекращается: даже тупо cd сделать и список файлов в /etc получить — минимум 1 минута)!

В sysctl.conf у меня вот что:

# 12309
vm.overcommit_memory = 2
vm.overcommit_ratio = 100
# кэши на дисковое IO по 30МБ
vm.dirty_bytes = 31457280
vm.dirty_background_bytes = 31457280
vm.swappiness = 5
vm.vfs_cache_pressure = 50
vm.dirty_expire_centisecs = 1000
vm.dirty_writeback_centisecs = 200

И 0 толку.

☆☆☆☆☆
Ответ на: комментарий от andreyu

Когда для сборки или распаковки будет мало 8Гб, то тормоза снова появятся и отдельный раздел никак не поможет.

Я выделяю всего 6 Гб, ну и если их будет всё же мало, то я всегда могу их отмонтировать из /var/tmp/portage и собирать прямо на диске. И даже в таком случае я могу комфортно работать в системе.

Но вы добавите еще 8Гб и будете рассказывать, как вам помогает магия с очисткой отдельного раздела под портаж.

Нет, слишком дорого будет, в особенности по современным меркам. На системе с 4 Гб оперативной памяти я точно так же комфортно работал, имея указанную схему разбиения, ввиду того, что /usr лежал отдельно даже во время компиляции, проходящей на диске излишних тормозов не наблюдалось, система была отзывчивой, единственно тяжёлые программы несколько медленнее запускались, но увеличения отклика интерфейса не было.

Слушай, мне надоело тебе что-то доказывать, если неграмотно распределил части файловой системы и имеешь из-за этого проблемы, не хочешь проверить описанный мной способ, то сиди и страдай, мне то что.

kostik87 ★★★★★
()

о кстати попробуй GPFS.

erzent ☆☆
()
Ответ на: комментарий от kostik87

Это актуально для ssd? У меня именно он, портаж на отдельный раздел НЕ вынесен, вроде всё быстро работает (но может можно ещё быстрей?).

Или на ssd это не важно по причине быстрого случайного доступа?

yura_ts ★★
()
Ответ на: комментарий от yura_ts

Для ssd смысла не имеет, ввиду прямого доступа к любой ячейке памяти накопителя. Единственно, если много оперативной памяти, то посоветовал бы в /var/tmp/portage монтировать некоторую её часть как tmpfs, дабы нивелировать дополнительный износ накопителя.

kostik87 ★★★★★
()
Последнее исправление: kostik87 (всего исправлений: 1)
Ответ на: комментарий от Deleted

Тьфу, естественно. Это я очепятался.

Eddy_Em ☆☆☆☆☆
() автор топика
Ответ на: комментарий от erzent

не зависит особо, когда приходят обновы к вебкитгтк даже i5-4690k разогнанный до 4,2 ггц становиться 3 пеньком по ощущениям.

Охренеть, у вас линукс жручий. У меня Full-HD видео не тормозит, когда в фоне что-то собирается. Phenom II X4 810. Фря. Из блобья только: linux-base-c6, adobe flash-plugin и nvidia-driver.

iZEN ★★★★★
()
Последнее исправление: iZEN (всего исправлений: 1)
Ответ на: комментарий от kostik87

Единственно, если много оперативной памяти, то посоветовал бы в /var/tmp/portage монтировать некоторую её часть как tmpfs, дабы нивелировать дополнительный износ накопителя.

Так и сделано.

yura_ts ★★
()
Последнее исправление: yura_ts (всего исправлений: 1)
Ответ на: комментарий от andreyu

Только увеличение объема RAM позволяет избавиться от этой проблемы.

С какой радости? Гадание на кофейной гуще?

Kroz ★★★★★
()
Ответ на: комментарий от erzent

что reiserfs которая с 2006 года умерла

А мужики то и не знали. До сих пор юзаюит, без не ведают. Да и я тоже.

Kroz ★★★★★
()
Ответ на: комментарий от anonymous
emerge --info
Portage 2.2.14 (python 2.7.9-final-0, default/linux/amd64/13.0/desktop, gcc-4.8.4, glibc-2.17, 3.12.0 x86_64)
=================================================================
System uname: Linux-3.12.0-x86_64-Intel-R-_Core-TM-_i5_CPU_760_@_2.80GHz-with-gentoo-2.2
KiB Mem:     6100368 total,   1135012 free
KiB Swap:    4200992 total,   3290672 free
Timestamp of tree: Wed, 08 Apr 2015 00:45:01 +0000
ld GNU ld (Gentoo 2.24 p1.4) 2.24
ccache version 3.1.9 [enabled]
app-shells/bash:          4.2_p53
dev-lang/perl:            5.20.2
dev-lang/python:          2.7.9-r1, 3.3.5-r1, 3.4.1
dev-util/ccache:          3.1.9-r4
dev-util/cmake:           2.8.12.2-r1
dev-util/pkgconfig:       0.28-r1
sys-apps/baselayout:      2.2
sys-apps/openrc:          0.13.11
sys-apps/sandbox:         2.6-r1
sys-devel/autoconf:       2.13, 2.69
sys-devel/automake:       1.11.6-r1, 1.13.4
sys-devel/binutils:       2.24-r3
sys-devel/gcc:            4.7.3-r1, 4.8.4
sys-devel/gcc-config:     1.7.3
sys-devel/libtool:        2.4.6
sys-devel/make:           4.1-r1
sys-kernel/linux-headers: 3.18 (virtual/os-headers)
sys-libs/glibc:           2.17
Repositories: gentoo rainyday flora moonrise kde-sunset stuff local_overlay
ACCEPT_KEYWORDS="amd64"
ACCEPT_LICENSE="* -@EULA"
CBUILD="x86_64-pc-linux-gnu"
CFLAGS="-O2 -pipe -msse -msse2 -msse3 -mssse3 -msse4.1"
CHOST="x86_64-pc-linux-gnu"
CONFIG_PROTECT="/etc /usr/share/config /usr/share/gnupg/qualified.txt /usr/share/themes/oxygen-gtk/gtk-2.0"
CONFIG_PROTECT_MASK="/etc/ca-certificates.conf /etc/dconf /etc/env.d /etc/fonts/fonts.conf /etc/gconf /etc/gentoo-release /etc/revdep-rebuild /etc/sandbox.d /etc/terminfo /etc/texmf/language.dat.d /etc/texmf/language.def.d /etc/texmf/updmap.d /etc/texmf/web2c"
CXXFLAGS="-O2 -pipe -msse -msse2 -msse3 -mssse3 -msse4.1"
DISTDIR="/usr/portage/distfiles"
EMERGE_DEFAULT_OPTS="--with-bdeps y --keep-going y --quiet-build n --autounmask n"
FCFLAGS="-O2 -pipe"
FEATURES="assume-digests binpkg-logs buildpkg ccache config-protect-if-modified distlocks ebuild-locks fixlafiles merge-sync news parallel-fetch preserve-libs protect-owned sandbox sfperms strict unknown-features-warn unmerge-logs unmerge-orphans userfetch userpriv usersandbox usersync"
FFLAGS="-O2 -pipe"
GENTOO_MIRRORS="http://mirror.yandex.ru/gentoo-distfiles/     http://gentoo.bloodhost.ru/     http://mirror2.corbina.ru/gentoo-distfiles/     http://gentoo.inode.at/     http://de-mirror.org/gentoo/     http://gentoo.kiev.ua/ftp/     "
LANG="ru_RU.KOI8-R"
LC_ALL=""
LDFLAGS="-Wl,-O1 -Wl,--as-needed"
MAKEOPTS="-j4"
PKGDIR="/usr/portage/distfiles"
PORTAGE_CONFIGROOT="/"
PORTAGE_RSYNC_OPTS="--recursive --links --safe-links --perms --times --omit-dir-times --compress --force --whole-file --delete --stats --human-readable --timeout=180 --exclude=/distfiles --exclude=/local --exclude=/packages"
PORTAGE_TMPDIR="/var/tmp"
PORTDIR="/usr/portage"
PORTDIR_OVERLAY="/var/lib/layman/rainyday /var/lib/layman/flora /var/lib/layman/moonrise /var/lib/layman/kde-sunset /var/lib/layman/stuff /usr/local/portage/overlay"
USE="7zip X a52 aac aalib acl acpi alsa amd64 apache2 bash-completion berkdb blas bluray bmp branding bzip2 cairo cdda cddb cdr cgi cleartype cli corefonts cracklib crypt css cuda cups curl cxx dbus device-mapper djvu dri dri2 dts dvd dvdr emboss enca encode exif faac faad fam ffmpeg fftw firefox fits flac fontconfig fortran fuse gdbm gedit ghostscript gif glamor glut gnuplot gost gpm gsl gtk gtk2 hddtemp icewm iconv id3tag imagemagic imlib2 ipv6 jack jpeg jpeg2k lame lapack latex lcms ldap libass libcaca libnotify libsamplerate lm_sensors logrotate mad matroska mencoder midi mime mmx mmxext mng modules motif mp3 mp4 mpeg mpeg2 mplayer multilib nautilus ncurses nls nptl ntfs nvidia ogg opengl openmp openssl optimisation pam pango pch pcre pdf png pnm postgres postgresql ppds proftp qt3support rar readline real session sftp sockets sox spell sqlite sqlite3 squid sse sse2 sse3 ssl ssse3 ssse4 startup-notification svg tcpd tga theora threads tiff timidity truetype ttf type1 udev unicode usb v4l2 vdpau vlc vorbis wav win32codecs wmf wxwidgets x264 xcb xinerama xinetd xml xorg xosd xscreensaver xv xvid zlib" ABI_X86="64" ALSA_CARDS="emu10k1 hda-intel" APACHE2_MODULES="authn_core authz_core socache_shmcb unixd actions alias auth_basic authn_alias authn_anon authn_dbm authn_default authn_file authz_dbm authz_default authz_groupfile authz_host authz_owner authz_user autoindex cache cgi cgid dav dav_fs dav_lock deflate dir disk_cache env expires ext_filter file_cache filter headers include info log_config logio mem_cache mime mime_magic negotiation rewrite setenvif speling status unique_id userdir usertrack vhost_alias" CALLIGRA_FEATURES="kexi words flow plan sheets stage tables krita karbon braindump author" CAMERAS="ptp2" COLLECTD_PLUGINS="df interface irq load memory rrdtool swap syslog" CPU_FLAGS_X86="mmx mmxext sse sse2" ELIBC="glibc" GPSD_PROTOCOLS="ashtech aivdm earthmate evermore fv18 garmin garmintxt gpsclock itrax mtk3301 nmea ntrip navcom oceanserver oldstyle oncore rtcm104v2 rtcm104v3 sirf superstar2 timing tsip tripmate tnt ublox ubx" INPUT_DEVICES="evdev lirc" KERNEL="linux" LCD_DEVICES="bayrad cfontz cfontz633 glk hd44780 lb216 lcdm001 mtxorb ncurses text" LIBREOFFICE_EXTENSIONS="presenter-console presenter-minimizer" LINGUAS="ru ru_RU en" OFFICE_IMPLEMENTATION="libreoffice" PHP_TARGETS="php5-5" PYTHON_SINGLE_TARGET="python2_7" PYTHON_TARGETS="python2_7 python3_3" QEMU_SOFTMMU_TARGETS="arm i386 x86_64" QEMU_USER_TARGETS="arm" RUBY_TARGETS="ruby19 ruby20" USERLAND="GNU" VIDEO_CARDS="nvidia intel" XTABLES_ADDONS="quota2 psd pknock lscan length2 ipv4options ipset ipp2p iface geoip fuzzy condition tee tarpit sysrq steal rawnat logmark ipmark dhcpmac delude chaos account"
Unset:  CPPFLAGS, CTARGET, INSTALL_MASK, PORTAGE_BUNZIP2_COMMAND, PORTAGE_COMPRESS, PORTAGE_COMPRESS_FLAGS, PORTAGE_RSYNC_EXTRA_OPTS, SYNC, USE_PYTHON
Eddy_Em ☆☆☆☆☆
() автор топика
Ответ на: комментарий от kostik87

Слушай, мне надоело тебе что-то доказывать,

Вы это не мне доказываете, а себе. Для себя я все понял - в вашем уютном мирке звезды стали в строгую линию. Но в жизни так бывает редко. Посему ваша рекомендация полностью бесполезна.

andreyu ★★★★★
()
Ответ на: комментарий от eona

У меня на десктопе 16Gb памяти, но иногда такое-то 12309 вижу, что аж по ctrl+alt+f* не побегать. Реально шок.

О чем и речь. Отдельные разделы - это скорее самоуспокоение, нежели решение проблемы.

andreyu ★★★★★
()
Ответ на: комментарий от Kroz

С какой радости?

С той, что обращение к харду минимизируются, следовательно IO небольшой.

Гадание на кофейной гуще?

Вы о чем?

andreyu ★★★★★
()
Ответ на: комментарий от iZEN

Утрируют же. На дремучем E6300+asus ai x38, во время сборки, совершенно без тормозов смотрю кинцо в 1080p.

Dude
()
Ответ на: комментарий от Eddy_Em

CFLAGS="-O2 -pipe -msse -msse2 -msse3 -mssse3 -msse4.1"

Это не гуд. native лучше, если не переносим никуда. Ну, или смотрим wiki под свой проц. Но, как показывают тесты, native лучше. Ну и df глянь. Может, места нет. Там под временные файлы огого иногда надо.

dodevich
()
Ответ на: комментарий от dodevich

native лучше

Нет, native — говно, т.к. не запускается на ноуте и домашнем компьютере. Я ж на работе все бинари собираю, а потом дома и на ноуте через emerge -uDNK устанавливаю.

Может, места нет

Предостаточно:

rootfs              10G         9.1G  994M           91% /
/dev/root           10G         9.1G  994M           91% /
devtmpfs           3.0G            0  3.0G            0% /dev
run                3.0G         652K  3.0G            1% /run
shm                3.0G            0  3.0G            0% /dev/shm
tmpfs              3.0G          24M  2.9G            1% /tmp
/dev/sda4          665G         499G  167G           75% /home
/dev/sda2           21G          14G  7.0G           66% /var
/dev/loop0          15G         3.7G   11G           27% /home/change/Raspberry/ROOT
devtmpfs           3.0G            0  3.0G            0% /home/Gentoo/dev
devtmpfs           3.0G            0  3.0G            0% /home/Gentoo/dev
shm                3.0G            0  3.0G            0% /home/Gentoo/dev/shm
/dev/sda4          665G         499G  167G           75% /home/Gentoo/usr/portage/distfiles
devtmpfs           3.0G            0  3.0G            0% /home/change/Raspberry/ROOT/dev
run                3.0G         652K  3.0G            1% /home/change/Raspberry/ROOT/run

Eddy_Em ☆☆☆☆☆
() автор топика

у меня были симптомы: отваливается wifi, через некоторое время может зависнуть система, при IO с/на диск не было. Решилось уменьшением количества ядер, участвующих в сборки (стояло 4 ядра на процессоре 2 ядра + HT).

Перегрева процессора не было.

Наблюдалось при сборке тяжелых пакетов.

ymuv ★★★★
()
Ответ на: комментарий от dodevich

Естественно. И периодически приходится допиливать модули, т.к. то про одно забуду, то про другое.

Но уж ведра-то я собираю на каждой машине свои. Универсальное слишком жирное было бы. Хотя, ХЗ.

Eddy_Em ☆☆☆☆☆
() автор топика
Ответ на: комментарий от ymuv

Сама сборка почти никак не вызывает тормозов. Самые тормоза — на этапе распаковки пакетов. IO, мать его за ногу!

Eddy_Em ☆☆☆☆☆
() автор топика
Ответ на: комментарий от dodevich

Ага. Это гентушный чрут. Еще есть чруты "малинки" и кубитрака. Кстати, поставлю-ка я гентушку кубитрачную обновляться.

Eddy_Em ☆☆☆☆☆
() автор топика
Ответ на: комментарий от Eddy_Em

Ага... А проверить ФС на ошибки? тут не в IO дело. Или так - пишем кинч и всё? всё мертвое? Желательно с 1 раздела на 2? А не внутри одного?

dodevich
()
Ответ на: комментарий от dodevich

В dmesg вроде ОК. А 12309 — до боли знакомая штука. На домашнем компьютере вообще если какой-то файл система начинает открывать, то полная жопа. updatedb даже с niceness +19 тупит, как скотина.

Eddy_Em ☆☆☆☆☆
() автор топика
Ответ на: комментарий от Eddy_Em

я сталкивался только с usb накопителями. Машин за последний год было... Много было. Это аппаратная проблема, либо ФС. Пока не дергает винт - всё булькает, я так понимаю. Проверь, как писал выше, с объемом файла побольше. Если тормоза, копай в однопользовательский режим и т.д.

Ну а если надоест тормозящее обновление (именно оно). То милости просим в клуб Funtoo. Там portage явно пошустрее.

dodevich
()
Ответ на: комментарий от dodevich

милости просим в клуб Funtoo

Там нельзя свои юзы ставить. А юзы — главный прикол генты. Как минимум, я презираю говнотыки с культями, пхытон, поцтерошлак и еще кое-какое ненужное говно.

Eddy_Em ☆☆☆☆☆
() автор топика
Ответ на: комментарий от dodevich

Ты с какого дуба рухнул? Где тут еда? Я не потроллить пришел, а спросить, как лучше компелять.

Я в этой теме вообще не троллил ни разу.

Eddy_Em ☆☆☆☆☆
() автор топика
Ответ на: комментарий от andreyu

Только увеличение объема RAM позволяет избавиться от этой проблемы.

Непонимат! То есть и 16Gb - это мало для решения 12309?

eona
()
Ответ на: комментарий от andreyu

С той, что обращение к харду минимизируются, следовательно IO небольшой

Не настолько чтобы ощутить разницу. По крайней мере не на современных компах.

Kroz ★★★★★
()

у меня вообще незаметно синк и емердж отрабатывает, PORTAGE_NICENESS не выставлена, всё происходит на обычным hdd. видимо, дело в железе, возможно, чипсете, у меня nvidia

anonymous
()

какой версии ядро у тебя? недавно был баг с compaction и huge pages, похожий на 12309

anonymous
()
Ответ на: комментарий от Alyssa

неа, на reiserfs у меня тоже всё в фоне незаметно отрабатывает(как и на ext4)

anonymous
()
Ответ на: комментарий от ymuv

у тебя был memory pressure(не совсем верно это называют сваппинг, хотя сам сваппинг сам следствие этого и не главная причина тормозов)

anonymous
()
Ответ на: комментарий от Eddy_Em

отключай в конфиге ядра compaction и huge pages, обновляй его до 3.19

anonymous
()
Ответ на: комментарий от erzent

хорошее это 2-3.

Лютейшее 4.2

Моему хомяку 7 лет. 7! И он обновлял кальку ровно за час. Всю.

У Eddy_Em комп небось с процем Celeron, тут тогда уже нечему удивляться. Только терпеть.

Но про 2-3 - брехня!

bookman900 ★★★★★
()
Ответ на: комментарий от eona

12309 — название для «нипанятно что происходит, всё тормазит». от этого ничего не поможет, нужно локализовать проблему

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.