[C]парсинг C-структур на C

Определи задачу «парсинга».

> Есть ли примеры, готовые решения или библиотеки?

gcc.

1:1 воссоздание структуры по ее тексту на С

слишком много читать. В крайнем варианте пойду читать pcc/tcc

> 1:1 воссоздание структуры по ее тексту на С

Всё равно непонятно. Итак, на входе - массив байтов и некое описание (предположим, struct { ... }). А на выходе что? Красиво напечатанный текст?

libtcc, если я понял правильно

задача - есть структура, к примеру:

struct {
   int x;
   int y;
   char z[256];
};

Тогда либо компилятор, либо libdwarf. Хотя здесь важен только размер структуры, так что можно даже попробовать написать свой парсер.

похоже, Convert::Binary::C — то, что тебе надо. правда, оно на перле… :)

конечно совершенно ничего не ясно из вопроса,

НО если надо вытащить ВСЮ метаинформацию о структуре и куда-то её скласть, то gdb api вам в помощь :)

На поверхностный взгляд просто - автоматически делается программа с единственной переменной нужного типа и функцией main. Собирается с ключом -g. Запускается под отладчиком..Далее допрос отладчика и складывание результатов в укромное место :)

читаем ее и строим в рантайме соотв. структуру и создаем соотв переменную. Чтобы например потом считать другой файл в эту переменную.

К парсингу это имеет мало отношения.

> На поверхностный взгляд просто - автоматически делается программа с единственной переменной нужного типа и функцией main. Собирается с ключом -g

...и обрабатывается libdwarf :)

в смысле мало отношения? а как тогда распарсить текст структуры в файле?

не только размер. мне, можно сказать, нужны размеры всех элементов структуры.

да, наверное, самый простой вариант

> не только размер. мне, можно сказать, нужны размеры всех элементов структуры.

То есть тебе нужно нечто большее, чем ты говоришь. Скажем, разобрать байтовый массив на поля, причем знать тип полей, имена, смещения - т.е. всё, что знает компилятор. Я, правда, не понимаю, что ты собираешься делать с этой информацией (кроме как красиво ее напечатать), но всё это можно выцепить из DWARF.

> да, наверное, самый простой вариант

тут есть два варианта - кодогенерация, т.е. вынести часть логики для обработки структуры в отдельный компилируемый код, либо «влезть» в данные самого tcc, который хранит у себя сведения о типах, опять же зависит от задачи

да это я пишу тулзу для реверс-инжиниринга, потому и задача соотв. чтобы что-то посмотреть можно было по-быстрому, не запуская ida pro.

bison, yacc в помощь

> да это я пишу тулзу для реверс-инжиниринга, потому и задача соотв. чтобы что-то посмотреть можно было по-быстрому,

Может, тебя вообще устроят python + ctypes + python-ctypeslib

на питоне-то я знаю как это сделать. Кстати, вот эта штука хороша pycparser.

Но надо на С

Зачем, если не секрет?

> Но надо на С

Тогда только libdwarf или libtcc (но этой я никогда не пользовался). В принципе, если допустимо гибридное решение, можно python-ctypeslib (или тем же cparser) генерировать простейший дескриптор (список полей структуры), и его уже загружать в программу на чистом Си.

Clang - парсит текст, строит AST. Написан на С++, но есть С интерфейс для прогулки по AST.

утилита для реверс-инжиниринга. Для простых задач, чтобы ida pro не запускать по сто раз.

> утилита для реверс-инжиниринга. Для простых задач, чтобы ida pro не запускать по сто раз.

Необходимо парсить C-структуры в программе на C.

Гугл не помог

\0

Ты уверен что тебе надо реверс инжинирить ? :) Мб С там подучить иль еще че ?

ничего не понял, но если нужен именно «парсинг», то lex / yacc в руки и в перёд. смотри ANSI C Yacc grammar.

я пишу тулзу для реверс-инжиниринга

/0

Там, вообще-то, надо по байткоду структуру воссоздать...

Нет. Не всегда. Никак вы не поймете - есть текст, например заголовочный файл. Из него надо считать структуры, распарсить, и создать точно такие же структуры в памяти (реальные C структуры), и, уже, ими манипулировать.

А почему бы просто не подключить этот файл на этапе компиляции.

Мимо. Реверс-инжиниринг не заключается тупо в дизассемблировании. С я знаю не в совершенстве, но достаточно хорошо.

Да потому что я их буду создавать, или подгружать во время выполнения программы. По типу скриптов.

Спасибо, еще один дельный совет. Возьму на заметку.

А я чуть по другому вопрос поставлю. Есть некоторая структура, ее дампят на диск (ее или массив структур). Есть возможность снабдить дамп заголовком. Нужно слить в заголовок некоторое описание структуры (типов и сдвигов полей), что бы потом при чтении из другой программы можно было выдернуть отдельные поля (по названиям) структуры и сунуть их в другую структуру. Объемы данных большие, чтение делается на С++ и должно работать по возможности быстро. Как это можно сделать проще всего?

Нужно при сохранении данных расчета на диск и последующей обработке. Обработка стандартная, а формат сохранения может менятся очень часто. Т.е. что бы единожды написанная обработка автоматом понимала все форматы.

> Как это можно сделать проще всего?

как вариант - sqlite + виртуальные таблицы поверх векторов структур, тогда перенос данных будет через создание запроса

> Есть некоторая структура, ее дампят на диск (ее или массив структур). Есть возможность снабдить дамп заголовком. Нужно слить в заголовок некоторое описание структуры (типов и сдвигов полей)

Т.е. какие-то примитивные метаданные («словарь данных», ЕВПОЧЯ %)).

Т.е. что бы единожды написанная обработка автоматом понимала все форматы.

Ну, например: удалили поле, добавили поле. Что делает обработка?

> как вариант - sqlite + виртуальные таблицы поверх векторов структур

По-моему, HDF5 предназначался как раз для подобных задач. Интерфейсы на Си++ и Питоне прилагаются.

Т.е. какие-то примитивные метаданные («словарь данных», ЕВПОЧЯ %)).

Да, что то такое, на основе чего можно разобраться в структуре и что можно легко сгенерить автоматом.

Ну, например: удалили поле, добавили поле. Что делает обработка?

Скажем у меня есть в одном файле массив структур

struct A{
 double x, y, z; int ID;
};

а в другом

struct A{
 short ID; float x, y; 
};

файлы сгенерированны разными программами и содержат соотв. заголовки. Обработка набивает массив структур

struct A{
 float y; short ID;  
};

И она должна уметь это делать для любого файла со структурами, в к-х есть поля «у» и «ID», причем делать быстро (размер данных гигабайты и более).

В идеале обработке можно сказать что во втором случае вместо y надо брать х.

Ну то есть в файле хранить список полей файла, в программе - список полей, нужных для обработки, и уметь задавать программе отображение из одного в другое (с дефолтовым отображением по совпадающим имени и типу). Никаких принципиальных проблем (при отсуствии вложенных структур - вообще никаких проблем), но готовой библиотеки для этого я не знаю.

размер данных гигабайты

По-моему, вы изобретате HDF5

Ок, спасибо.

У нас массивы гораздо более изощренные чем HDF5.

> У нас массивы гораздо более изощренные чем HDF5.

Тогда это уже не «некоторая структура, ее дампят на диск».

Изощренное упорядочение этих структур в массиве. Вектором эмулируется многомерный массив, но смещение считается не как обычно а локально-рекурсивно. В принципе конечно в HDF5 это всунуть можно, но не очень понятно пока зачем.