Заметил, что portage стал очень медленным

time emerge -pv nmap

These are the packages that would be merged, in order:

Calculating dependencies... done!
[ebuild   R    ] net-analyzer/nmap-5.51  USE="gtk ssl -lua" 0 kB

Total: 1 package (1 reinstall), Size of downloads: 0 kB

real	0m4.066s
user	0m3.279s
sys	0m0.343s

На этой системе у меня весь /usr в squashfs, включая /usr/portage, с помощью каскадного монтирования фс, реализуемого через aufs на /usr есть запись.

squashfs образ создаю так:

mksquashfs /usr /mnt/usr/usr_tmp.sq -b 65536 -comp xz

К тому же измерение времени проводилось на системе, где было несколько обновлений дерева портов без пересоздания squashfs образа.

squashfs образ монтируется так:

LABEL=usr	        /mnt/usr	ext4		defaults	0 0
/mnt/usr/usr.sq		/mnt/usr/ro	squashfs	loop,ro       0 0
usr	    /usr	aufs	 udba=reval,br:/mnt/usr/rw:/mnt/usr/ro	0 0

Так же интересно бы было посмотреть на ваш /etc/fstab.

Как у вас разбит жёсткий диск и какого он объёма? Надеюсь не один корень (/) и swap, или (/boot), (/) и (swap), а ещё как минимум (/home), при чём (/home) занимает 90% объёма диска.

У меня также /usr/portage в squashfs, но безо всяких aufs - просто перепаковываю его при emerge --sync.

С диском, как я уже писал выше, проблем вроде как нет: 30 секунд - это «горячий» (повторый) запуск emerge, когда iowait нулевой, а cpu load под 100% на одном ядре в течении 30 секунд.

А на какой машине это занимает 4 секунды? Может просто процессор быстрее офисного P4 в 7 раз? :)

Вы второе моё сообщение прочитали, как у вас разбит жёсткий диск, какие разделы выделены ?
Покажите /etc/fstab.

Motherboard
product: P5E WS Pro
vendor: ASUSTeK Computer INC.

CPU
product: Intel(R) Core(TM)2 Quad CPU    Q6600  @ 2.40GHz
vendor: Intel Corp.

System Memory
size: 8GiB

ATA Disk
product: ST3320620AS
vendor: Seagate
size: 298GiB (320GB)

>Заметил, что portage стал очень медленным
Аналогично. По полминуты думает. Я, правда, думал, что так и должно быть.

real	0m3.328s
user	0m3.168s
sys	0m0.089s

таки дела man sqlite

red_eyed_peguin

сама директория ебилдов находится в squashfs

профита ровно ноль - проверено

хотя у меня православный reiserfs с noatime,nodiratime,notail.....

ну раз тут меряются железом...

[ root@desktop ] megabaks # cat /proc/cpuinfo 
processor	: 0
vendor_id	: GenuineIntel
cpu family	: 6
model		: 23
model name	: Intel(R) Core(TM)2 Duo CPU     E7200  @ 2.53GHz
stepping	: 6
cpu MHz		: 3286.689
cache size	: 3072 KB
physical id	: 0
siblings	: 2
core id		: 0
cpu cores	: 2
apicid		: 0
initial apicid	: 0
fdiv_bug	: no
hlt_bug		: no
f00f_bug	: no
coma_bug	: no
fpu		: yes
fpu_exception	: yes
cpuid level	: 10
wp		: yes
flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx lm constant_tsc arch_perfmon pebs bts aperfmperf pni dtes64 monitor ds_cpl est tm2 ssse3 cx16 xtpr pdcm sse4_1 lahf_lm dts
bogomips	: 6573.37
clflush size	: 64
cache_alignment	: 64
address sizes	: 36 bits physical, 48 bits virtual
power management:

processor	: 1
vendor_id	: GenuineIntel
cpu family	: 6
model		: 23
model name	: Intel(R) Core(TM)2 Duo CPU     E7200  @ 2.53GHz
stepping	: 6
cpu MHz		: 3286.689
cache size	: 3072 KB
physical id	: 0
siblings	: 2
core id		: 1
cpu cores	: 2
apicid		: 1
initial apicid	: 1
fdiv_bug	: no
hlt_bug		: no
f00f_bug	: no
coma_bug	: no
fpu		: yes
fpu_exception	: yes
cpuid level	: 10
wp		: yes
flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx lm constant_tsc arch_perfmon pebs bts aperfmperf pni dtes64 monitor ds_cpl est tm2 ssse3 cx16 xtpr pdcm sse4_1 lahf_lm dts
bogomips	: 6571.91
clflush size	: 64
cache_alignment	: 64
address sizes	: 36 bits physical, 48 bits virtual
power management:

[ root@desktop ] megabaks # 

а вообще - выкинь ты этот бесполезный сквош и используй скулы
их то хотя бы можно чуть-чуть пофиксить овер

find /var/cache/edb/ -name '*.sqlite' -print -exec sqlite3 {} "VACUUM; REINDEX;" \;

У меня только 1й запуск ужасен. А потом и без squashfs терпимо.

# echo 3 > /proc/sys/vm/drop_caches
# time emerge -pv nmap

These are the packages that would be merged, in order:

Calculating dependencies  .. .... done!
[ebuild   R    ] net-analyzer/nmap-5.51  USE="ssl -gtk -lua" 0 kB

Total: 1 package (1 reinstall), Size of downloads: 0 kB

real    1m4.298s
user    0m4.748s
sys     0m0.131s
# time emerge -pv nmap

These are the packages that would be merged, in order:

Calculating dependencies  ... done!
[ebuild   R    ] net-analyzer/nmap-5.51  USE="ssl -gtk -lua" 0 kB

Total: 1 package (1 reinstall), Size of downloads: 0 kB

real    0m4.216s
user    0m4.024s
sys     0m0.118s

Моя проблема в том, что

localhost ~ # echo 3 > /proc/sys/vm/drop_caches
localhost ~ # time emerge -pv nmap

These are the packages that would be merged, in order:

Calculating dependencies... done!
[ebuild   R    ] net-analyzer/nmap-5.51  USE="gtk* ssl -lua" 0 kB

Total: 1 package (1 reinstall), Size of downloads: 0 kB

real	0m33.590s
user	0m28.078s
sys	0m1.212s
localhost ~ # time emerge -pv nmap

These are the packages that would be merged, in order:

Calculating dependencies... done!
[ebuild   R    ] net-analyzer/nmap-5.51  USE="gtk* ssl -lua" 0 kB

Total: 1 package (1 reinstall), Size of downloads: 0 kB

real	0m28.768s
user	0m28.582s
sys	0m0.132s

Кстати, версия portage: 2.1.10.11

Всё нормально, portage всегда тормозил.

>профита ровно ноль - проверено

Значит у тебя руки кривоваты. squashfs делает «холодный» запуск портежа практически таким же быстрым, как «горячий». Естественно, если у тебя /usr/portage живет в tmpfs или на SSD, то профита и правда никакого. В предыдущем посте я приводил время «холодного» и «горячего» старта: разница в 3-4 секунды.

> у меня проблема в том, что сам portage дико тормозной в части разрешения зависимостей по совершенно непонятным мне причинам.

paludis, то есть cave побыстрее чуток будет

это у тебя кривые - sqlite холодный

real	0m32.859s
user	0m3.493s
sys	0m0.103s

real	0m3.273s
user	0m3.165s
sys	0m0.088s

time emerge -pv nmap

These are the packages that would be merged, in order:

Calculating dependencies... done!
[ebuild   R    ] net-analyzer/nmap-5.51  USE="gtk ssl -lua" 16,474 kB

Total: 1 package (1 reinstall), Size of downloads: 16,474 kB

 * IMPORTANT: 1 news items need reading for repository 'gentoo'.
 * Use eselect news to read news items.


real    0m3.385s
user    0m2.328s
sys     0m0.359s

корень вместе с деревом портежа на ssd

вывод?

>paludis, то есть cave побыстрее чуток будет

да вот хрен там, я тоже купился на «он на С++, а значит, быстрее», поставил в тестовую систему, поматерился и снёс

во-первых, скорость подобных операций сравнима с портежом, во-вторых - по скорости поиска отсасывает КАТАСТРОФИЧЕСКИ, в-третьих - глючен: не умеет создавать нужные для работы каталоги и время от времени сыпет непонятными ошибками

после него при установке пакета портежом подумал: «а портеж-то не такой уж и плохой»

а вообще, можно засунуть дерево и кэш в tmpfs, не заморачиваясь с squashfs

даже если компьютер иногда выключается, дерево синхронизировать при нынешних скоростях совершенно недолго

только не вздумай засовывать в tmpfs базу портежа, как я однажды сделал -))

для поиска есть eix же
ищет моментально

есть, но зачем тогда нужен этот padlus? остальные операции он выполняет не быстрее портежа

вот именно
просто есть кучка фанатиков анти-питонщиков, которые зачем-то люто-бешено выпиливают питон из системы
просто больные люди, да и всё

переместил дерево и кэш в tmpfs:

time emerge -pv nmap

These are the packages that would be merged, in order:

Calculating dependencies... done!
[ebuild   R    ] net-analyzer/nmap-5.51  USE="gtk ssl -lua" 16,474 kB

Total: 1 package (1 reinstall), Size of downloads: 16,474 kB

 * IMPORTANT: 1 news items need reading for repository 'gentoo'.
 * Use eselect news to read news items.


real    0m2.807s
user    0m2.011s
sys     0m0.293s

выигрыш есть, но мизерный

у меня вообще сегодня portage не работает, каждый сервер отвечает:

Please note: common gentoo-netiquette says you should not sync more

than once a day. Users who abuse the rsync.gentoo.org rotation

may be added to a temporary ban list.

timed out

rsync error: received SIGINT, SIGTERM, or SIGHUP (code 20) at rsync.c(549)

[Receiver=3.0.8]

хотя я не чаще, чем 1 раз в два дня

SSD?

горячий (sqlite)

real	0m8.262s
user	0m7.880s
sys	0m0.330s

$ grep portage /etc/fstab
/dev/mapper/vg-portage /usr/portage reiserfs noatime,notail 0 1

Еще раз для тех, кто не умеет читать: эти 28 секунд горячего старта portage потребляет 100% CPU, считая зависимости. В этом и состоит суть моей проблемы: 28 секунд на разрешение зависимостей.

На c2d холодный старт отличается от горячего также всего лишь на несколько секунд, только зависимости гораздо шустрее считаются.

>просто есть кучка фанатиков анти-питонщиков, которые зачем-то люто-бешено выпиливают питон из системы

Вообще-то есть объективные причины для выпиливания питона: он дико тормозной. Уверен, что на сишке разрешение зависимостей работало бы в районе 0,1-0,5 секунд.

удали timestamp.chk в каталоге дерева

>Уверен, что на сишке разрешение зависимостей работало бы в районе 0,1-0,5 секунд.

на С++ (paludis) разрешение зависимостей сравнимо с портежом

ты заблуждаешься, сравнивая скорость работы какого-нибудь apt с портежом - портежу при расчёте зависимостей нужно принимать во внимание большее число факторов (юз-флаги, маски, ветки и т.д.), чем просто установленные/не установленные в систему пакеты

спасибо, понеслась!

>портежу при расчёте зависимостей нужно принимать во внимание большее число факторов (юз-флаги, маски, ветки и т.д.), чем просто установленные/не установленные в систему пакеты

Это плевая задача даже для процессоров 8-летней давности. 3 секунды работы современных интелов - это, наверное, десятки минут для всяких P200MMX.

>Это плевая задача даже для процессоров 8-летней давности

а прогнать не слишком тяжёлую программу (коей является и портеж) на интепретируемом языке - такая же плёвая задача для более-менее современных процессоров

на новых же субъективная скорость работы бинарника и скрипта практически одинакова

так что забей на питон, неторопливость портежа не в нём

Попробуй запустить strace -efile emerge -pv nmap. На P4 ого-го какие задержки между зачитыванием ебилдов. Это время, которое пистон тратит на построение дерева зависимостей.

А как, говорите, paldius ставить?

>Это время, которое пистон тратит на построение дерева зависимостей

paludis будет делать это ненамного быстрее, ты разницы даже не заметишь

А как, говорите, paldius ставить?

emerge paludis, потом читать: http://en.gentoo-wiki.com/wiki/Paludis

нет, не SSD - обычный блин с 90+ метров в сек

red_eyed_peguin

На c2d холодный старт отличается от горячего также всего лишь на несколько секунд, только зависимости гораздо шустрее считаются.

у меня тоже c2d
и заметь - разница в 30 сек! между холодным и горячим
выкинь свой сквош!

аха - только практика показывает совсем другие результаты
тормозной не питон, а кодеры

>и заметь - разница в 30 сек! между холодным и горячим

У мосье проблемы с логикой? Сквош дает мне 6-кратный выигрыш в скорости холодного старта по сравнению с portage-на-традиционной-фс и не тормозит при дальнейшей работе.

>тормозной не питон, а кодеры

Вообще-то именно педон. Его вроде как даже похапе обгоняет.

у тебя плохо с логикой
обычный reiserfs
обычный винт
у тебя что за железо то такое?
винт вместо оперативы?
хватит уже пукать в лужу!

red_eyed_peguin

не тормозит при дальнейшей работе.

я заметил - мне в 10 раз слил всего лишь - херня какая :3

А, ты один из двачевских дебилов, которые не умеют читать? Дано: P4, тормозящий на нем portage. Спрашивается: что делать, как ускорить. Набегает обделенный извилинами мегабакс и начинает вопить про сверхскоростной педон на core2.

ignored

Да, я тоже удивился, насколько быстрее портеж зашевелился на черырёхъядернике, тк думал, что он упирался в io.

real 0m1.188s http://imgur.com/7AFSX

portage-2.3.1-r4 python3

но eix быстрее ) http://imgur.com/MwCpu