Инструментарий для тестирования дистрибутива

Я вам больше скажу, тот же Арч или Убунту можно по разному настроить и уже будет разная производительность ;)

Настройки окружения постоянны.

Устанавливаете дистрибутив, ничего не настраиваете, тестируете по нужным для вас критериям, удаляете, ставите на то же железо другой, повторяете, сравниваете.

единую базу программ

Что это такое?

Вы сначала определитесь, что вы хотите измерить, а потом ищите инструмент. Скорость работы это очень много разных метрик. Посмотрите типовые бенчмарки систем и железа в интернете, если не знаете, с чего начать.

Это выхода новых версий, которые не учтены в других, находящихся в связях.

https://www.phoronix-test-suite.com/

Не читал, просто нашел что то на русском сейчас: https://habr.com/ru/companies/cloud4y/articles/596833/

Да что угодно. Скорость компиляции, скорость запуска, потребление памяти, нагрузка на процессор, видео, аудио, vaapi, opengl или vulkan, объем на диске. Надо взять отправную точку.

То же ядро на форониксе когда тестируют, о регрессиях молчат - дисковой системы, графической, сетевой.

Спасибо, читаю.

Это выхода новых версий, которые не учтены в других, находящихся в связях.

Понял, вопрос обратной совместимости. Но на практике за четыре года жизни в мире арча я таких коллизий версий не встречал. Наверное повезло с «единой базой программ».

Например, сегодня обновился tilix с 1.9.6-2 на 1.9.6-3 потому, что обновился gtkd 3.10.0-11 на 3.10.0-12 от которого он зависит.

А то что Арч как и убунта могут быть разными от минимального ядра с системой инициализации до нагромождения кучи гавна и это все будет влиять на тесты как учитывать?

Тот же Arch теряет единую базу программ от обновления к обновлению. В одной проге, что обновилась, поменяли API, вторая об этом не знает.

Пример приведите. Насколько я знаю в арче именно поэтому неполные обновления и противопоказаны. И за 6 лет, сколько у меня установлена одна система, такого не было. Например в каком пакете такое было?