Сборка модуля ядра

Возможно не в тему, т.к. дело давно было, но ошибки «undefined reference to» при сборке out-of-tree модулей вываливаются из-за отсутствия зависимостей в ядре. Например, твоему модулю нужен другой модуль, которого в твоём ядре нет. Я хз как это решается с бинарными ядрами, но при сборке из сорцов я просто искал в сорцах ядра те символы, на которые он ругается, включал в самом ядре, пересобирал ядро и потом только уже получалось собрать out-of-tree модуль

Я не зря упомянул про

Чисто для проверки сборки подсунул

Всё там собирается, и раньше всё собиралось и работало, но прошло время пообновлялся, старое ядро осталось, а dev пакетов для него уже нету. Вот и котовасия с выкачиваением исходников нужного ядра и работы уже с ними. Мне можно решить проблему легко, просто перезугрузится и всё и у меня вместо 6.8.9 будет 6.9.8 и всё сходу собберётся, модуль загрузится и будет работать. Но ребутаться сейчас не могу. Пока собираю 6.8.9 и возьму Module.symvers от туда, хотя, у дебиана на ядро патчи… может и не прокатит. :( Увидим. Я уже забыл что куда там и зачем, вот и мучаюсь

На 6.8.9 у меня раньше всё работало, там всё что нужно есть.

А undefined reference to это потому что вся инфа про них в Module.symvers которого и нету, я думал его можно сгенерировать просто имея текущее ядро, может и можно, но чот вот не знаю как, поэтому пока компиляю (с дефолтным конфигом это не быстро, ждёмс).

Module.symvers которого и нету

Он генерируется командой make modules_install при сборке ядра. Это всё, что я знаю. Как его может не быть - тут уже 0_0

Как его может не быть - тут уже 0_0

Ну вот нету. Я фиг знаю, не следил. А так Module.symvers должен лежать в /lib/modules/VERSION/build где каталог build это симлинк на каталог /usr/src/linux-headers-VERSION а он поставляется пакетом отдельным linux-headers-VERSION и пакета нет, видимо как ненужный удалился когда-то. Ну и всё, в репах его нету и Module.symvers поставляемый через всю эту карусель тоже соответственно тоже нету. :( Жопы.

Он генерируется командой make modules_install при сборке ядра.

🤔 Хмь… Ладно, если за час не разберусь то пофиг, завтра можно будет ребутнуться и уже просто собирать как есть. Хотя, хотелось бы без танцев с бубном для любого ядра собирать, а не только для вылизанного и рассортированного по пакетам дистрибутивного. Ну, эт ладна. Отпишусь потом чем всё закончится. Хотел приключений на 20 минут блин, там короче суть то в чём обновилась игра халф лайф блек меса и на тебе illegal instructions, а я хотел допройти, недавно же играл всё нормально было… Вот и захотел op_emu завести и отладить где оно там валится то и на чём конкретно, и запилить ещё одну эмулируюмую инструкцию если надо и поиграть потом, а тут блин опять в компиляцию играть только и получается :D

Похоже, я маленько приврал. У себя на воиде глянул - тоже этого файла нет. Поставил дженту в чруте и собрал ядро. Этот файл собрался вместе с ядром и расположен он в каталоге /usr/src/linux. В /lib/modules он не копируется при выполнеии make modules_install. Как на бинарных ядрах его собирать я тогда вообще хз.

Собрал тоже… Получил заветный Module.symvers, собрал с ним модуль. А толку то

sudo insmod ./op_emu.ko
[sudo] пароль для dron: 
insmod: ERROR: could not insert module ./op_emu.ko: Invalid module format

Видимо надо собирать прям точно точно как в дебиане, со всеми патчами и прочим, а там нету уже нихрена, поднимать и подбирать из гита дебиановской сальсы нужный коммит для того чтобы все нужные патчи наложить и собрать определённым образом чтобы бит в бит совпадало всё я с ума сойду. Вот и получилось, осталось у меня бинарное ядрышко и к нему нихрена больше ничего :( Ну и хрен с ним что мне больше всех надо чтоль. Удаляю весь хлам, завтра ребутнусь и всё будет изкоробки. Хотя, тут прям рождается мысль, а не собирать ли мне ядро самому, тогда в случае чего у меня уж точно никуда ничего не пропадёт и не будет никаких проблем с воспроизводимой сборкой. Оно же я так понимаю это Module.symvers указывает на адреса в блобе ядра, где что находится, чуть сборка не в ту сторону и уже в Module.symvers всё смещается.

Это всё конечно интересно и хорошо бы разобраться на будущее, но пойду-ка я лучше спать.

UDP: Ребут, всё собралось, модуль подгрузился, игра запустилась с эмуляцией инструкций, тормозов нет.

Нахера и где именно в BlackMesa впихнули ssse3 непонятно пока, так что она теперь на Phenom II x6 не запускается просто так…

Надо попозже багу зарепортить.

• https://steamcommunity.com/app/362890/discussions/0/4551533524169234418/

Похоже, я маленько приврал. У себя на воиде глянул - тоже этого файла нет.

Так установи linux-headers и появится

Внимательно прочти стартовое сообщение автора в теме форума, он там пояснил что и как и обрати внимание на вывод команд, что он в нём привёл.

А undefined reference to это потому что вся инфа про них в Module.symvers которого и нету, я думал его можно сгенерировать просто имея текущее ядро

Далеко не факт. Мантейнеры могли наложить свои патчи, которых в мейнстриме нет. Если это так, то ты ничего не соберешь с по сути разными исходниками.

а dev пакетов для него уже нет

Как нет, а если найду

Ой, спасибо. Надо схоронить, пригодится. Я толь не знал толь забыл про эти снимки.

А cpuid не придумал как эмулить?

Пока руки не дошли :( А у тебя какая программа об это спотыкается? У меня цель cs2 провести через этот барьер.

Есть пример, но там немного не то, через kvm, хотя общий принцип куда и что понятен. И в лучших традициях всё без лицензии, смотри мол, но не трогай. Но опять же, там и трогать то нечего. Я сначала у себя локально побидю проблемы всякие, в том числе 100500 варнингов, подом там нужно ещё инструкций запилить и некоторые вещи переделать. А уже потом опять предприму попытку над cpuid.

И я блин очень надеюсь что там раздуплятся по поводу того под какой же всё же лицензией код то блин под GPL под APL и какие точно куски под MIT во всё этом. Сейчас там мешанина под двумя взаимоисключающими лицензиями :(

У меня все свежее, таких проблем нет. Просто вспомнил.

Ну, я пока па попытку запуска Deus Ex: Mankind Divided переключился. Запустить получилось, но там пока вечная загрузка, где то с SSSE3 проблемы, толь с корректностью, толь со скоростью выполнения, надо ковырять, висит на загрузке.

Возникла ещё одна идея, а именно отказаться от этого модуля ядра и запилить чуть иное, брать бинарь, автоматически выискивать там всякие SIMD вырезать их затем генерировать для этого кусочка который например на SSE4.2 кусочек на SSE4A (или иное в зависимости от проца на хосте) и засовывать обратно в бинарник. Типа автопатчилка. Таким образом не нужно будет никакого оверхеда на 100500 переключений контекстов в ядре, перехвата и прочего, просто «пересборка» бинаря под нативные инструкции и в теории всё заработает просто влёт с нулевым оверхедом. Но там свои проблемы, когда программа просто программа это ещё ладно, но если это библиотека, то всё, у меня лапки я не знаю что делать. Есть ещё вариант, перенести перехват на пользовательский уровень…

Да и всё это сложно очень. Если тыкаться как я раз в месяц по часу, тут лет 500 надо чтобы что-то вышло, да и понималки у меня не хватает. Эхъ… Ладна. Ну хоть палочкой тыкать интересно и норм.

на SSE4A

Это всего четыре инструкции не релевантных к настоящему sse4, так названные ради маркетинга, клован.

А причём тут настоящий sse4? Суть в том чтобы исполнить тоже самое но просто на других инструкциях, это просто пример. Вот есть

pmaxud %xmm0 %xmm1
pminud %xmm0 %xmm1

Можно это перехватить и обработать вот так (тут на ssse3_t не гляди)

void pmaxud(ssse3_t *this)
{
    uint32_t * temp1 = this->src.uint32;
    uint32_t * temp2 = this->dst.uint32;

    this->res.int32[0] = (temp1[0] > temp2[0]) ? temp1[0] : temp2[0];
    this->res.int32[1] = (temp1[1] > temp2[1]) ? temp1[1] : temp2[1];
    this->res.int32[2] = (temp1[2] > temp2[2]) ? temp1[2] : temp2[2];
    this->res.int32[3] = (temp1[3] > temp2[3]) ? temp1[3] : temp2[3];
}

void pminud(ssse3_t *this)
{
    uint32_t * temp1 = this->src.uint32;
    uint32_t * temp2 = this->dst.uint32;

    this->res.int32[0] = (temp1[0] < temp2[0]) ? temp1[0] : temp2[0];
    this->res.int32[1] = (temp1[1] < temp2[1]) ? temp1[1] : temp2[1];
    this->res.int32[2] = (temp1[2] < temp2[2]) ? temp1[2] : temp2[2];
    this->res.int32[3] = (temp1[3] < temp2[3]) ? temp1[3] : temp2[3];
}

Или как угодно по иному используя иные инструкции явно, иные, но которые выполнят туже самую работу. Пусть и не напрямую даже. В любом случае тут надо сидеть и корпеть 24/7. Опять же просто подменить инструкции мало, надо ещё выше залезать и менять области туда и как будут загружаться данные.

Это ещё повезёт что будет примерно вот такое (это из теста когда инструкции подменять пытался)

.data
nums0: .long 2, 3, 8, 9
nums1: .long 4, 5, 6, 7

format_str: .asciz "%d, %d, %d, %d\n"
.text
main:
    subq $8, %rsp
    movaps nums0, %xmm0
    movaps nums1, %xmm1
    pmaxud %xmm1, %xmm0       # XMM0 = (XMM0 + XMM1) / 2
    # XMM0 = 4, 5, 8, 9

    # выводим данные на консоль
    movd %xmm0, %esi
    psrldq $4, %xmm0
    movd %xmm0, %edx
    psrldq $4, %xmm0
    movd %xmm0, %ecx
    psrldq $4, %xmm0
    movd %xmm0, %r8d

    movq $format_str, %rdi
    call printf

    addq $8, %rsp
    ret

А на деле там обычно всё на голову сложнее. Короче, там я просто мысли в слух вещал, интересно, прикольно было бы. Но… тут нужен спец уже во всём этом шарящий на раз два и у него должно быть абсолютно свободное время. По сути нужна бинарная трансляция, не при исполнении, а просто из файла в файл и потом уже запускать.

А из SSE4A можно использовать LZCNT/POPCNT/EXTRQ/INSERTQ для реализации того же pmaxud, вернее через маски и сдвиги в EXTRQ/INSERTQ выявлять наибольшее и наименьшее число. Та ещё херня получится запутанная, но SIMD. Или надеяться что компилятор сам всё обернёт в ускорянки хостового процессора, но надо код написать так чтобы он смог это сделать, дать ему подсказки так сказать .

Короче чёрт ногу сломит. Пойду извилину расслаблю, на луве попишу.

P.S. Можно сделать финт ушами и использовать аппаратную виртуализацию KVM и на уровне виртуализации подменять что хочешь и как хочешь без перехвата трапсов ядра и бинарной трансляции, но я только палочкой потыкал, там надо выделять кусок памяти просто туда всё впихивать и от туда этот кусок памяти исполнять попутно манипулируя всем что там есть как угодно, ладно туда что-то обособленное пихнуть, а вот пихнуть туда просто программу… может и можно, но это выше моего понимания как это сделать. Но тоже прикольно было бы. Типа виртуализация для отдельно взятого приложения.

Это я правильно понимаю, вместо того чтобы апгрейдить свой Phenom II x6, ты пытаешься эмулировать необходимую инструкцию, для обхода ограничений игр?

Да.

ты пытаешься

Не пытаюсь, а использую местами успешно, а местами нет =) Но опять же, я лишь дорабатываю где могу уже готовое, не моя разработка. И что боле печальнее даже поделится не могу, там лицензионный ад. Который разрулить 5 минут, но авторам пофиг :(

для обхода ограничений игр?

Нет никакого обхода ограничений. Это просто чтобы программа работала. Для примера дабы понятнее был контекст вот сейчас нейробум все дела, попадётся тебе программа которая неэффективно используя, но включает в себя пару нейроускоряющих инструцкций которые на деле нихрена и не делают практически и их можно заменить на простые операции без потери или даже с выигрышем в производительности, вот ты берёшь и подменяешь их и программа вуаля и просто работает. Конечно бывает и часто что на всяких SIMD ведётся реально обработка больших массивов данных и их эмуляция не приносит ничего кроме тормозов и то из за копировать данных из ядра в юзер и обратно, а не из за вычислений самих часто. Всякое бывает.

Phenom II x6

Фуфыкс вечен, Феном бесконечен!

Просто камень заменить нет смысла, там если менять то всё, разве что БП оставить и корпус, они хорошие ещё. А на это надо с сохранением всего как было, но чтобы лучше тыщ 100 или рядом. Такие богатства мне не ведомы. Ну и фномчик в целом полностью удовлетворяет, за исключением вот некоторых моментов. Ну, эти моменты у всех есть, у одних есть RTX поддержка, у других нет, у одних есть ещё что-то у других нет, тут раз через раз у людей ускорение видео то работает. Пока прям ничего критичного нет и Феномчик тащит (ну или это я так думаю хехе).

«Любишь кататься, люби и саночки возить» :)

лучше тыщ 100 или рядом

Вот интересно, если взять какого-либо гипотетического юзера, который хочет время от времени поиграть в современные топовые игры, но не хочет вступать в бесконечную гонку вооружений гонку за новым производительным железом, постоянными апгрейдами - выгодно ли пользоваться облачными игровыми сервисами?
Т.е., на одной чаше денежки на собственное топовое железо, которое надо часто апгрейдить, на другой - покупка игровых часов в течении года.

p.s. А для браузинга, музычки, кино и написания кода, достаточно и старого потрепанного ноутбука. ) Или даже Phenom II x6.

выгодно ли пользоваться облачными игровыми сервисами?

Если ты готов мириться с (инпут) лагами, или/и играть только в неспешные бродилки и платить за дорогой интеренет и у тебя точно всегда есть интернет и, и, и, и для кого-то может и да. Но просто исполнять программу на своём ПеКа просто тогда когда ты этого захочешь без нужны соответствовать 100500 условиям, да ещё и конфиг если что вручную под себя поменять где это на голову выше и лучше. Опять же, облака, там нет ничего, АААА всякие ладно, но есть тысячи игр клёвых которых там нет. Пробовал я один раз GForce Now, если честно, проблевался. Лютейший инпут лаг, артефакты видеопотока, отстающий звук. Опять же в бродилку какую может и норм будет.

Тут не выгода, а удобство. Лучше уж на железо потратиться один раз в 10 лет, чем на соску подсаживаться. Но опять же тем кто пару раз в год играет тем удобнее просто в браузере открыть любую AAA и гамать.

которое надо часто апгрейдить

Ну, а зачем часто? Конкретно у меня, ну да уже далеко не новое. Но даже я гамаю на этом в игры 2024го года, да порой простые, а порой что-то уровня Amnesia The Bunker и около того. Игры то разные бывают, если у тебя цель играть только в АААААААААААААА игры то, ну может ты к этому так привык что для тебя покупка новой железки это почти как в магаз за хлебом сходить.

Короче, своё железо всегда лучше, а облака это не замена, это просто приколюха. Как на ютубе видосик прохождения смотреть, просто ещё попутно можно управлять с переменным успехом вот и всё. И на своём железе можно не только играть, игры это досуг и лишь часть работы для ПеКа, а не что-то определяющее, хотя и значимое иногда определяющие значимое, но не всегда.

p.s. А для браузинга, музычки, кино и написания кода, достаточно и старого потрепанного ноутбука. )

Ну, как сказать… Если у тебя APU-E350 в нём то тут ещё подумать надо о градациях «старого потрепанного ноутбука». Порой код надо ещё собирать, вот вроде пишу я на луа, да на сишке, а тут надо собрать под андроид и началось…

Или даже Phenom II x6.

Слава те хоспади что много лет назад я не поскупился на него, идеальный товарищ по жизни. Как работает, так и работает, проблемы только с специфичным софтом.

Я одновременно и хочу обновится и не хочу. Что-то новенькое само по себе интересно тыкать, это да. Но надёжную как топор машинку жалко куда то девать. Хотя чёита я у меня всё равно денях нету. Буду с феномом до гроба походу :D Техпроцесс 60нм там ломаться нечему. Бульдозер.

Но просто исполнять программу на своём ПеКа просто тогда когда ты этого захочешь без нужны соответствовать 100500 условиям

Ты ещё забыл указать, что эти условия не всегда технически обоснованы. По запросу «avx патч» находится довольно много игр, которые после применения этого самого патча нормально играются => инструкции avx просто навязаны по тем или иным причинам.

Прекращай уже эту клоунаду, даже современный целерон хуже которого нет в разы мощнее твоего хлама: https://cpubenchmark.net/compare/5862vs390/Intel-300-vs-AMD-Phenom-II-X6-1055T

60нм

45нм

там ломаться нечему

Это так не работает.

нормально играются

Обычно после проверки это оказывается 24, если повезёт, 40 фпс с микрофризами.

инструкции avx просто навязаны

Если посмотреть на рекомендуемые системные требования, там давно нету никаких i7-2600 где появился этот avx, а уже требуются аж i7-12700, где все и более новые инструкции просто есть по умолчанию. Т.е. смотрим предыдущий пункт про 24фпс с просадочками.

Хотя действительно с точки зрения издателя казалось бы выгодно максимально расширить список поддерживаемого железа. Тут как обычно очевидно дело не в каких то инструкциях а в макаках называемых программистами, у них же априори какие-от оптимизации это табу, байтодрочерство и «компьютеры щас же быстрые».

Обычно после проверки это оказывается 24, если повезёт, 40 фпс с микрофризами.

Стабильные 30 фпс довольно неплохо играются. Особенно в не особо динамичных играх. В любом случае это лучше, чем ничего.

Ты так говоришь, будто у тебя уникальный опыт с 30фпс, и у других не было возможности проблеваться.

лучше, чем ничего

Ну если так ставить вопрос…

Ты так говоришь

Я говорю исключительно за себя.

Ну если так ставить вопрос…

А как ещё? Изначально все эти танцы с бубнами затеяны для того, чтоб совместить несовместимое. (Разумеется, я в курсе, что можно пойти и купить новое железо.)