Как всё-таки работать с сырыми байтами?

сдвиг знакового ЕМНИП UB

Сдвиг влево — не UB. Кури стандарт, потом приходи.

Если у тебя заранее неизвестно, что ты читаешь, то скорее всего ты что-то делаешь не так.

Ну а по факту, читаешь с помощью read() в буфер из unsigned char[], потом натравливаешь на него разные эвристики, чтобы определить, что ты прочитал и в зависимости от результата предпринимаешь дальнейшие действия.

http://plan9.bell-labs.com/sys/doc/comp.html

Portability
Within Plan 9, it is painless to write portable programs, programs whose source is independent of the machine on which they execute. The operating system is fixed and the compiler, headers and libraries are constant so most of the stumbling blocks to portability are removed. Attention to a few details can avoid those that remain.
Plan 9 is a heterogeneous environment, so programs must expect that external files will be written by programs on machines of different architectures. The compilers, for instance, must handle without confusion object files written by other machines. The traditional approach to this problem is to pepper the source with #ifdefs to turn byte-swapping on and off. Plan 9 takes a different approach: of the handful of machine-dependent #ifdefs in all the source, almost all are deep in the libraries. Instead programs read and write files in a defined format, either (for low volume applications) as formatted text, or (for high volume applications) as binary in a known byte order. If the external data were written with the most significant byte first, the following code reads a 4-byte integer correctly regardless of the architecture of the executing machine (assuming an unsigned long holds 4 bytes):
ulong
getlong(void)
{
    ulong l;
    l = (getchar()&0xFF)<<24;
    l |= (getchar()&0xFF)<<16;
    l |= (getchar()&0xFF)<<8;
    l |= (getchar()&0xFF)<<0;
    return l;
}
Note that this code does not ‘swap’ the bytes; instead it just reads them in the correct order. Variations of this code will handle any binary format and also avoid problems involving how structures are padded, how words are aligned, and other impediments to portability. Be aware, though, that extra care is needed to handle floating point data.
Efficiency hounds will argue that this method is unnecessarily slow and clumsy when the executing machine has the same byte order (and padding and alignment) as the data. The CPU cost of I/O processing is rarely the bottleneck for an application, however, and the gain in simplicity of porting and maintaining the code greatly outweighs the minor speed loss from handling data in this general way. This method is how the Plan 9 compilers, the window system, and even the file servers transmit data between programs.
To port programs beyond Plan 9, where the system interface is more variable, it is probably necessary to use pcc and hope that the target machine supports ANSI C and POSIX.

про

как-то иначе чем в дополнительном коде, значит из байтов их напрямую собирать нельзя

оставь это на будущее когда сталкнёшся.достаточно отделить внешнее от внутреннего представления, единообразным вводом-выводом.

Пример того, что используется в реальном продакшене:

31      float UniModbus::getfloat(QByteArray &package)
32	{
33	    typedef union
34	    {
35	        float value;
36	        uchar m[4];
37	    } conv;
38	
39	    conv converter;
40	    converter.m[0] = QString(package.mid(0, 2)).toInt(0, 16);
41	    converter.m[1] = QString(package.mid(2, 2)).toInt(0, 16);
42	    converter.m[2] = QString(package.mid(4, 2)).toInt(0, 16);
43	    converter.m[3] = QString(package.mid(6, 2)).toInt(0, 16);
44	
45	    package = package.mid(8);
46	
47	    return converter.value;
48	}
49	
50	int UniModbus::getint(QByteArray &package)
51	{
52	    typedef union
53	    {
54	        int   value;
55	        uchar m[4];
56	    } conv;
57	
58	    conv converter;
59	    converter.m[0] = QString(package.mid(6, 2)).toInt(0, 16);
60	    converter.m[1] = QString(package.mid(4, 2)).toInt(0, 16);
61	    converter.m[2] = QString(package.mid(2, 2)).toInt(0, 16);
62	    converter.m[3] = QString(package.mid(0, 2)).toInt(0, 16);
63	
64	    package = package.mid(8);
65	
66	    return converter.value;
67	}
68	
69	QString UniModbus::getstring(QByteArray &package)
70	{
71	    QString result;
72	
73	    while (package.length() > 0)
74	    {
75	        quint8 symbol = getchar(package);
76	        if (symbol)
77	            result.append(symbol);
78	        else
79	            break;
80	    }
81

Четкий реальный продакшн.

Зачо́тный facepalm!

Сдвиг влево — не UB.

Если бит знака установлен, то сдвиг влево == UB. Вроде так.

Если у тебя в файле MSB, то не морочь голову и пользуй системную ntohl()

Если у тебя в файле LSB, то не морочь голову, посмотри как сделана ntohl() и сделай так же, только наоборот.

Какая-то у тебя каша. Открой парсер любого сетевого протокола для примера.

Критикуя, предлагай. Что у него не так?

Пациент безнадежен.

а ты тоже такой продакшен пишешь?

Эмм, я правильно понял, что у вас там флоаты сериализуются побайтово в строчку вида «DEADBEEF»? Вы там вконец укурились в своём продакшене?

Единственное, что мне не понятно, так это зачем он делает вот это:

package = package.mid(8);

и ссылка в параметрах должна быть константной.
А как он в modbus'e float'ы преобразовывает - я не в курсе, в алгоритм не вникал.

man MODBUS

Единственное, что мне не понятно, так это зачем он делает вот это:

package = package.mid(8);

Данные считываются только раз, массив после считывания режется, позволяет не хранить снаружи счетчик текущей позиции.

Так есть же remove, нафига ты весь массив ещё раз копируешь? Причём при каждом преобразовании.

поперчить, посолить, добавить маринад, но лучше конечно подвергнуть термообработке...

Почитал. Забавный протокол, никогда не сталкивался. Порядок байт не специфицирует, кстати

В автоматизации и автоиндустрии используется.

А использовать что-то вменяемое для сериализации-десериализации типа protobuf?

Сдвиг влево — не UB. Кури стандарт, потом приходи

Это:

Если бит знака установлен, то сдвиг влево == UB.

Если у тебя заранее неизвестно, что ты читаешь, то скорее всего ты что-то делаешь не так.

Известно. Я спросил другое.

Пример того, что используется в реальном продакшене

Не смешно.

то не морочь голову и пользуй системную ntohl()

Байты я уж как-нибудь переставлю. Вопрос как-бы был намного шире и про другое.

Какая-то у тебя каша. Открой парсер любого сетевого протокола для примера.

Пример в студию.

А использовать что-то вменяемое для сериализации-десериализации типа protobuf?

Нет. Условия я обозначил.

А вот это здраво, спасибо.

ASN.1

как тебе оно поможет распарсить существующий протокол?

А если говорить о создании своего бинарного протокола, то кроме protobuf ничего актуальнее сейчас нет.

Да не нужен мне свой протокол, мне нужно разбирать объективно существующий бинарный файл.

А если говорить о создании своего бинарного протокола, то кроме protobuf ничего актуальнее сейчас нет.

Это, кстати, не правда. protobuf - не серебряная пуля. У него кошмарный оверхед, отвратительная производительность при работе с большими сообщениями, нет встроенной работы с потоками (т.е. в tcp, например, protobuf-сообщения приходится руками паковать в TLV) ублюдский интерфейс и необходимость во внешнем компиляторе.

Я бы лично его использовал только в двух случаях - когда возможно значительное расширение протокола при необходимости поддержки совместимости со старыми версиями (т.е. когда не было, очевидно, стадии проектирования вообще), или когда вообще на всё наплевать и нужно тяп-ляп сделать хоть что-то (т.е. тоже детский сад). Если эффективность не на последнем месте и есть возможность согласовать заранее версию, что угодно будет лучше. flatbuffers от того же гугла или да, ASN.1.

Для таких тупых как ты всё давно придумали:

https://github.com/Lovesan/trivial-bit-streams

У меня, где CLOS создает большой оверхед, используется аналог:

https://github.com/shamazmazum/easy-audio/tree/master/bitreader

всё давно придумали

Ах, лавсанчик, прежде чем пойти по ссылке, так-как тред про С++, я понадеялся, что там не будет Лиспа.

используется аналог

Даешь больше аналогов. Велосипед на Лиспе мы будем называть «Лисапед». Боольше лисапедов и маленьких лисапедиков.

«Кастуй» через memcpy.

int read_int(char **ptr) {
    int ret;
    memcpy(&ret, *ptr, sizeof(ret));
    *ptr += sizeof(ret);
    return ret;
}

double read_double(char **ptr) {
    double ret;
    memcpy(&ret, *ptr, sizeof(ret));
    *ptr += sizeof(ret);
    return ret;
}