msgpack C/C++ 6.0.0

Интересно, где этот формат используется и зачем? В его слогане зачем-то указано, что он «быстрее и меньше, чем JSON», но тесты показывают, что он проигрывает и BSON (т.е. бинарному JSON), и Protobuf… 🤔

Это типа бинарного Джейсона, если кто не в курсе.

Вот спек – https://github.com/msgpack/msgpack/blob/master/spec.md#overview

Чем от BSON отличается не знаю.

Референс на тесты? Возможно BSON проигрывает по размеру. А может и нет.

$ apt-cache rdepends libmsgpackc2

libmsgpack-dev
tmate-ssh-server
tmate
neovim-qt
neovim
libdata-messagepack-stream-perl
libgroonga0
groonga-plugin-suggest

https://github.com/fffaraz/awesome-cpp#serialization - и почти каждая библиотека быстрая, очень быстрая или даже быстрейшая.

А где ASN.1 потеряли?

И CBOR тоже нет. Нубы список составляли.

Добавьте.

Но я один раз попробовал и джва года ждал, больше не хочу.

Поэтому header-only библиотеки предпочитаю добавлять сюда: https://github.com/p-ranav/awesome-hpp

Не прошло и 10 минут, и uni-algo добавлена.

Хорошая штука, но как всегда негде применить, а если надо наверное у каждого есть свой велосипед =)))

Поиграть можно тут https://kawanet.github.io/msgpack-lite/

но тесты показывают, что он проигрывает и BSON

где эти тесты?

В питоне по каким-то причинам быстрее оных

ASN.1 даже в первом рассмотрении делится на BER и DER, не говоря уже про экзотику типа кодирования в XML. И реализаций у него множество, большинство которых реализуют свое подмножество стандарта.

Так что если и заводить, то отдельную страничку под все это дело.

и почти каждая библиотека быстрая, очень быстрая или даже быстрейшая.

…но если нужно что-то сложное, ядрёное и энтерпрайзное, то обычно смотрят в сторону Protobuf.

обязательное требование использования С++, если не используются тесты

Ох лол

Использовал msgpack, он реально неплох.

На protobuf вообще не похож, у protobuf кодогенерация. (Хотя мне в итоге пришлось для msgpack тоже делать кодогенерацию).

От BSON немного отличается, но реально BSON менее компактный.

For example, a simple map {«a»:1, «b»:2} is serialized in 7 bytes with MessagePack, while BSON uses 19 bytes.

Я когда-то for fun пытался придумать свой идеальный формат для бинарной сериализации, и в итоге у меня получился msgpack почти бит-в-бит, отличие было только в bin и ext части. Это говорит о том, что в msgpack ещё и продумана расширяемость.

но реально BSON менее компактный.

Как бы вам это объяснить… Обязательное замороченное битовое «сжатие» служебных полей в пакетах данных конечно… эм… прикольно что ли, но не является существенным фактором влияющим на трафик, однако повышает накладные расходы на обработку пакетов по всей цепочке передачи. Именно поэтому так популярна кодогенерация, как в Protobuf, для имплементации маршалинга, ещё с древних времён rpc/dcom/corba и т.д. А если нужно уменьшить данные, то данные придётся честно сжать…

А что, спецификация выглядит довольно приличественно…

Проекту сто лет в обед, но не видел его ни в одном продакшен приложении.

Что с ним не так?

CBOR aka msgpack? :)

Это разные форматы

однако повышает накладные расходы на обработку пакетов по всей цепочке передачи.

Што? Схрена ли формат кодирования как-то влияет на пересылку пакетов? Роутеру насрать что именно роутить.

Што? Схрена ли… насрать…

Именно роутеру? Ну, хорошо, допустим вашу узкую конкретику: А если бы IP-пакеты были бы так же упакованы? Ну вот, захотелось вам свой гипотетический IPv1337 на основе MessagePack сделать. 🤔

А если бы IP-пакеты были бы так же упакованы? Ну вот, захотелось вам свой гипотетический IPv1337 на основе MessagePack сделать. 🤔

Это уже к санитарам.

Он немного неточен. Речь, конечно, о физическом уровне OSI, не о доставке пакетов.

што

Это уже к санитарам.

Вот поэтому и нет такой упаковки данных в IP, и задница вашего роутера в относительной безопасности. 😎

Вот поэтому и нет такой упаковки данных в IP, и задница вашего роутера в относительной безопасности. 😎

В смысле нет? Заголовки в IP упакованы по самое небалуй. А всё, что после заголовка, роутер не парит. Ну, почти.

Заголовки в IP упакованы по самое небалуй

Они НЕ упакованы. А ваш скептицизм мне стал понятен. 🤦‍♂️

Они НЕ упакованы.

Начни с определения термина «упакованы». В IP заголовках нет избыточности, потому что формат уже предполагает упаковку по максимуму.

Юзали в 2016 для мобильных клиентов, по 3г жирный жсон долго выходит. Сейчас хз зачем надо

Хотя ща подумал, если её с gql скрестить то может и выйдет чего

Начни с определения термина «упакованы»

Смею напомнить, что здесь мы с вами говорим о MessagePack, и, соответственно, о его способах упаковки.

msgpack применяется там, где количество данных заранее неизвестно. Для вещей типа сетевых пакетов, где длина статична, такие форматы не имеют смысла.

типа сетевых пакетов, где длина статична

Длина сетевых пакетов НЕ статична. 🤔

Длина заголовков статична. Содержимое пакета после заголовка – проблема приложения, и там может быть что угодно.

Длина заголовков статична.

В том-то и дело, что если бы IP-пакет использовал MessagePack кодирование, то он не был бы со статичным заголовком. Напоминаю, что IP-пакет мы взяли потому, что вы зачем-то решили перевести обсуждение на гипотетические MessagePack-роутеры, хотя это явно не упрощает ситуацию для вашего понимания.

гмгм… я вообще не понимаю, нахрена ты сюда притащил про сетевые пакеты, но ты всё равно неправ. Даже про msgpack.

нахрена

Эм… 🤔 Про сетевые пакеты это вы упомянули, я писал про пакеты данных в общем, без относительно физического уровня передачи, хоть из памяти на диск. Конкретно, вы сказали про «роутер», и я привёл пример с роутером, надеясь, что вам так будет понятнее.

Длина заголовков статична.

Лолшто?

В IP заголовках нет избыточности

Серьезно? т.е., они несжимаемы? А если сожму?

Серьезно? т.е., они несжимаемы? А если сожму?

Сожми. Мне интересно будет посмотреть на это.

Можешь даже попробовать

Метод сжатия заголовков TCP/IP Якобсона

Метод сжатия Ван Якобсона уменьшает обычные 40-байтные заголовки TCP/IP-пакетов примерно до 3-4 байт (в лучшем случае). Это достигается за счет запоминания состояния TCP-соединений на обоих концах соединения, и отсылаются только изменения в полях заголовка.

Если не передавать информацию, то её не надо сжимать. BIG BRAIN STUFF!!!!!11

Так-то оно да, но… Я какой-то не такой метод показал или что?
Ну и про длину заголовка тож вопрос остался. Я тут как раз с опциями копаюсь, CIPSO наше всё. И вот они (опции) смотрят в недоумении на утверждение про константу длины заголовка.

Ладно, мало ли кто чего не знает. Я вот настолько много не знаю в ИТ, что вот уже четверть века просыпаюсь в холодном поту от мысли что собрались как-то все HR, HH и прочие начальники больших департаментов и малых подразделений и говорят такие: «Имярек TydymBydym слишком многого не знает в ИТ, давайте его с позором вып…гоним!» Ну и сразу крики поддержки со всех сторон что типа давно пора и доколе.
И тут, откуда-то из каптерки выбегает человек не первой свежести и явно не из ТОПов, очевидно что выше начальника небольшого отдельчика вообще никогда не поднимался да и в будущем не светит. Так вот, подбегает он к высокоуважаемому кворуму и размазывая слезы и сопли по щекам говорит: «Уважаемые! Вы целиком и полностью правы - этот гандон недостоин высокого звания ИТшника! Его надо вып…гнать! Но есть одна маленькая проблемка…»
Все на него смотрят как на вошь и один начальник, из тех что повыше, спрашивает: «Ну и что это за проблемка такая?»
И этот жалкий человечешка из каптерки, будто шагнув в ледяную воду (а может, за борт на высоте 3500) выплевывает одну фразу. Всего лишь одну. Эта мразь позволила себе произнести «Работать будет некому!». Подумать только…

Короче, я мы так много не знаем зачастую, что с годами только усугубляем это незнание…

То, что ты притащил, это не метод сжатия.

Ну не будь душнилой, а? Это разностное сжатие заголовков. Никто не обещал что мы берем единственный пакет и люто сжимаем его до нуля байт. Трафик, как правило, по одному пакету не ходит…

Ну не будь душнилой, а?

Не будь баклажаном, для начала.

Трафик, как правило, по одному пакету не ходит…

ICMP

ICMP

OMG

Сожми. Мне интересно будет посмотреть на это.

Я показал, дальше-то что? Мне напомнить что для того чтобы доказать ложность суждения, достаточно привести единственный пример? Я привел.

Я показал, дальше-то что? Мне напомнить что для того чтобы доказать ложность суждения, достаточно привести единственный пример? Я привел.

Нет, не привёл. Поскольку из этого «упакованного» заголовка восстановить оригинал невозможно без информации извне.

Потому что иначе если называть это сжатием, то так можно сжать вообще что угодно во сколько угодно раз. Просто выкинуть 99% инфы и сказать «мы передадим это отдельно».

Ок, не сжатие.
Т.е., ты обвиняешь великих предков в том, что они использовали «якобы сжатие заголовков» для того чтобы… для того чтобы что? Видимо, для того чтобы я попытался ввести в заблуждение тебя и прочих этим нелепым примером.
И пользователи страдали, включали эту опцию, кололись и плакали, но продолжали страдать.
А, кстати. Что это еще за «информация извне», без которой невозможно восстановить заголовок. И по какому каналу она передавалась между хостами, если без нее было невозможно восстановление и, как следствие, связь?
Короче, тебя послушать, архиваторы не имеют право создаваться со словарем. Только хардкор, только RLE, никаких тебе LZW+.

Ок, не сжатие.

Ура!

Т.е., ты обвиняешь великих предков в том, что они использовали «якобы сжатие заголовков»

Нет, я обвиняю тебя в том, что ты путаешь член с пальцем. Указанный метод сокращения трафика вполне ок, просто это не сжатие.

Короче, тебя послушать, архиваторы не имеют право создаваться со словарем.

Если меня послушать, то ты баклажан. Потому что ты баклажан.