Бинарная сериализация объекта

посмотри по ключевым словам: https://encrypted.google.com/search?&pws=0&q=erlang python serialization

первые пять ссылок - довольно интересные реализации. Не только для python-erlang

пожалуй из всего этого заслуживает интереса только гугловский протокол

Ты о protocol buffers? Выглядит довольно интересным - сам подумываю испробовать.

Еще обрати внимание на messagepack и на YAML (должны быть библиотеки чтения, записи питоновских термов - сам формат очень компактен и удобен (на мой взгляд круче json))

Google protocol buffers?

YAML - он человекочитабельный. Смысла в нем нет, там десятки гигабайт файлы

messagepack - надо подумать

YAML

pyyaml погряз в багах (см. багтрекер), не рекомендую.

pyyaml погряз в багах (см. багтрекер), не рекомендую.

Есть что-то альтернативно-юзабельное?

десятки гигабайт файлы

это чего ж ты такое страшное пистоном обрабатываешь?

Есть что-то альтернативно-юзабельное?

если нужно в plaintext то я ничего близкого не нашёл.

highload это. Пикл меня убил. Чтоб поднять 400 метровый файл, которые строит 1 Гб объект, он потратил 9Гб!!!! памяти

если нужно в plaintext то я ничего близкого не нашёл.

Не, интересует именно YAML

А pythlon - это что-то значит или просто опечатка?

опечатка конечно

YAML

Ну тогда уж и json, чего уж тут.

Ну тогда уж и json, чего уж тут.

Если не нужна обработка на клиенте (хотя есть либы) то да - json.

YAML имеет больше возможностей и в некоторых случаях производительней по сходным задачам. Возможности комментирования, вставок форматированного текста, интуитивно понятная вложенная структура, некоторая типизация, сериализация почти всего, легкость, включая парсинг: весьма привлекательны.

пример: http://www.yaml.org/spec/1.2/spec.html#id2761803

Чтоб поднять 400 метровый файл, которые строит 1 Гб объект, он потратил 9Гб!!!! памяти

интересно как - 400 метровые файлы на highload - 3D-графика, игры, гео-приложения, youtube чтоль?

Подробить такие файлы никак?

Вот чего мне не надо - так это эти возможности

А он уже сохранен. И вообще это сериализация одного объекта, сложного dict

400МБ это почти пол-гига - монстры. Хаффманом пожать твои словари.

жать то зачем. я беру фаил и считываю его питоном, рассереализовывая объект.

Если в файле лежит несколько толстых объектов, то для них надыть например писать свои __get/setstate__ для cPickle (им вообще то тоже надо правильно пользоваться), или вообще делать свой потоковый формат на С который тупо умеет грузить какие то толстые куски.

Если в файле мешанина из мелких объектов, то надо либо объединять их в крупные и см. выше, либо пихать их в файл последовательно тем же cPickle (он вообще то тоже потоковый).

И у меня смутное ощущение, что это надо делать на С или чем то эдаком (в виде библиотеки), для голого питона как бы великоват объем если хочется экономить память да еще и производительность приемлемую...

перечитывал пост - вспомнил еще про один интересный формат.
ASN.1 - активно применяется в SNMP

Но собственно дело не в нем - перечитывая про АСН набрел на весьма полезную информацию для всех, кто интересуется сериализацией.

http://en.wikipedia.org/wiki/Comparison_of_data_serialization_formats

Не нужно:
* python

починил

Ага. Сразу на ассмеблере писать

Ага. Сразу на ассмеблере писать

Какой у вас кругозор широкий.

набрел на

wikipedia.org

Да-а, вот же повезло, какую редкость отрыл.

Да-а, вот же повезло, какую редкость отрыл.

Какая замечательная интуиция!