Октябрьская встреча PostgreSQL-сообщества: про высокие нагрузки от разработчиков Skype и myYearbook.com

Скорее всего приду послушать.

Кстати, на встрече обещал быть Илья Сегалович -- один из основателей "Яндекса", ныне директор компании по разработке. Ему тоже интересно послушать про такие нагрузки из уст разработчиков Skype.

а в письменном виде, когда выложат?

после встречи на сайте "Постгресмена" будут выложены все показанные слайды и видеоматериалы. если кто-то может помочь со стенограммой, будем очень признательны: все о ней просят, но сами мы пока организовать ее не в состоянии, к сожалению.

2Postgresmen: может я не совсем по адресу... может глупая идея, но как насчет того чтобы ввести в PostgreSQL новый тип FLAG который был бы аналогом bool но хранил бы (отображал) 0/1 и допускал с собой операции типа sum()/count() ? Как я понимаю такой тип также прекрасно бы подошел для планируемых bitmap индексов.

Я понимаю что подобное можно делать через bool (sum(CASE WHEN flag_xxx='true' THEN 1 ELSE 0 END) - костыли, через integer - нет контроля диапазона, через bit (sum(flag_xxx::integer)) - костыли, но все это как-то не нативно, а необходимость в таком типе лично у меня есть давно...

Еще очень бы хотелось увидеть в PostgreSQL возможность добавлять в таблицу поле не в конец существующих полей, а опционально после конкретного поля (AFTER в mysql).

будет повторение лекций с Highload или другое?

будет немножко доклада с Highload, немножко из платного мастер-класса (он состоится 8 октября после Highload). также будет длинная (надеюсь) Q&A-сессия. словом, мы хотели дать возможность пообщаться с такими интересными людьми не только в рамках платных событий, но и на свободной "камерной" встрече. на Highload из-за огромной аудитории у вас не будет возможности так тесно с ними поговорить.

по-моему мнению, даже нескольких встреч со скайповцами и Гевином недостаточно, чтобы узнать у них все секреты.

xtron, спасибо за идеи. если возможно, продублируйте их на наш форум http://forum.postgresmen.ru мы их собираем и передаем Брюсу Момджану, координатору разработки PostgreSQL. из таких пожеланий он делает TODO-айтемы и они с большой вероятностью появляются в новых релизах PostgreSQL. все по-настоящему.

Группа канадских исследователей нашла доказательства того, что компания Tom-Skype, совместное предприятие Skype и Tom Online, которое управляет популярным VoIP-сервисом Skype в Китае, просматривает и передает на публичные серверы текстовые чаты и сообщения своих пользователей, где содержится разного рода политический контент.

В докладе говорится, что специальная программа позволяет раскрывать миллионы записей с личной информацией китайских пользователей Skype, включая не только текстовые сообщения, но и голосовую связь. Эти данные хранятся на восьми серверах, которые управляются самим Skype.

Да-да, появилась сегодня новость. Разработчики баз данных тут совсем не причем. Они делают так, чтобы одна из самых нагруженных систем в мире успешно работала. И только об этом и будут рассказывать. Никакой политики, словом.

>xtron, спасибо за идеи. если возможно, продублируйте их на наш форум http://forum.postgresmen.ru мы их собираем и передаем Брюсу Момджану, координатору разработки PostgreSQL. из таких пожеланий он делает TODO-айтемы и они с большой вероятностью появляются в новых релизах PostgreSQL. все по-настоящему.

Отлично ! Написал на http://forum.postgresmen.ru/viewtopic.php?f=2&t=42 это и еще кое-что !

>Еще очень бы хотелось увидеть в PostgreSQL возможность добавлять в таблицу поле не в конец существующих полей, а опционально после конкретного поля (AFTER в mysql)

а зачем такое нужно? и почему тогда не допейсать "добавить перед конкретным полем"? :) или за n-позиций после/перед?

>а зачем такое нужно?

для удобства восприятия описания таблицы.
ALTER TABLE в mysql умеет:
ADD [COLUMN] col_name column_definition [FIRST | AFTER col_name ]

> для удобства восприятия описания таблицы.

Это, конечно, красивее при ручной обработке таблиц. Возможно всё-таки прийдётся перефигачить все данные таким макросом AFTER. Уже проще самому соответсвующий INSERT...SELECT... вызвать. Но в смысле маркетинга наличие AFTER лучше.

записался

кто-то еще будет твердить о том, что PostgreSQL с;%ет у Оракла? Или что PostgreSQL не состоятелен?

>кто-то еще будет твердить о том, что PostgreSQL с;%ет у Оракла? Или что PostgreSQL не состоятелен?

http://www.oracle.com/features/hp/exadata.html

> bool (sum(CASE WHEN flag_xxx='true' THEN 1 ELSE 0 END) - костыли,

SELECT count(*) FROM TABLICA WHERE flag_xxx GROUP BY flag_xxx;

На мой вкус достаточно естественно. Что ещё надо? Может название flag_xxx поменять на какое-нибудь более соответсвующее условию...

ЗЫ. Капча pasting какбы подсказывает, что всемно изобретания веловипеда можно сделать копипаст из документации.

Аско должён говорить по-русски, не думаю что он жил на хуторе во временя СССР, либо по крайней мере понимает, так что удачи всем собеседникам на конференции.

>SELECT count(*) FROM TABLICA WHERE flag_xxx GROUP BY flag_xxx;

в сложном запросе с многими join может быть недопустимо использовать поле в where

кое-что отписал.
гляньте похалуйста...

>PostgreSQL-сообщества: про высокие нагрузки от разработчиков Skype

а! так это в постгрес все записывается до передачи моссаду?

кто-нибудь может сказать, нахрена им postgres? они бы еще informix или oracle водрузили. насколько я понимаю, все, что нужно в skype - примитивный поиск по нескольким огромным таблицам. причем, размазать эти таблицы по любому необходимому количеству серверов и организовать эффективный доступ - скучнейшая задача ввиду очевидной примитивности модели данных.

Skype - тормозная глючная поделка, пример отвратительно спроектированного продукта с низким уровнем масштабирования.

Как всегда, кулуарное мероприятие для узкого круга. Как всегда материалов в интернет после этого не появится. Всё как всегда - пиару много, толку для русского интернет-комьюнити мало!

Аско и Марко учили русский в школе. С тех пор в течение 15-20 лет у них не было никакой практики. По состоянию на сегодняшний день они могут понимать по-русски, но говорят с большим трудом, поэтому все равно предпочитают общаться по-английски.

Помогите со стенограммой -- будут материалы в интернете. Вы бы предпочли чтобы не было этих встреч? Их не так легко организовывать, "Постгресмен" с них ничего не имеет, если вы не в курсе. Все держится исключительно на энтузиазме организаторов. Лучше бы вы не кидались камнями, а подключились бы к начинанию.

Сообщество от этого имеет хотя бы то, что можно прийти, пообщаться с единомышленниками и задать вопросы экспертам. Уже только ради этого стОит проводить такие встречи. К счастью, большинство посетивших встречи говорит "спасибо", а не "толку мало".

Вы неправильно все представляете. Модель данных такой огромной бизнес-системы чрезвычайно сложна, это не 2-3 больших несвязанных друг с другом таблицы. Это и биллинг (для бизнеса, для физлиц, с кучей способов тарификации), и элементы соцсети, и аналитические системы, и поиск, и www-системы, и многое другое. Очень-очень много функциональности для 1 млрд. пользователей.

Postgres в данном случае замечателен только тем, что на его основе была построена гигантская система, стоимость которой в расчете на 1 пользователя чрезвычайно мала.

Но примечательна даже не сама архитектура Skype, а методики, которые создали ребята. Например, универсальная очередь внутри СУБД и готовый sharding.

Если вы считаете, что линейное масштабирование -- это низкий уровень масштабируемости, то вам лучше не приходить на встречу :) А если серьезно, то большинство проектов только мечтает о линейности. В сложных системах она действительно мало у кого есть.

>Сообщество от этого имеет хотя бы то, что можно прийти, пообщаться с единомышленниками и задать вопросы экспертам. Уже только ради этого стОит проводить такие встречи. К счастью, большинство посетивших встречи говорит "спасибо", а не "толку мало". Вопрос на засыпку: сколько придёт пообщаться и получить ответы на свои вопросы? А сколько по всему рунету не сможет не только прийти и пообщаться, но и даже получить материалы с этого общения? Так что действительно "толку мало"!

> Вы бы предпочли чтобы не было этих встреч? Лично мне - пофигу, потому что мне от этих встреч не жарко и не холодно - я туда всё-равно не попадаю, а материалов не будет. Так что для меня и тысяч других по всей России, что есть эти встречи, что их нет.

> Это и биллинг (для бизнеса, для физлиц, с кучей способов тарификации), и элементы соцсети, и аналитические системы, и поиск, и www-системы, и многое другое.

все это не более чем buzz-words. технически, это именно несколько очень больших, но слабо связанных между собой, таблиц. конечно, это очень хорошо, что постгрес "засветился" в таком известном проекте. только говорить об успехе как-то не очень честно. видимо, пришлось бороться с особенностями rdbms и изобретать костыли в виде всяких "универсальных очередей внутри субд".

ничего эстонкий для меня не проблема, в любом случае приятно послушать на любом языке, главное их в эстонском офисе разыскать %)

а Вы не хотите взять видео-материалы, которые будут доступны, расшифровать их и опубликовать транскрипт встречи? была бы реальная польза, а не критика без желания помочь.

универсальная очередь внутри СУБД -- это далеко не костыль, а одна из best practices, хороший архитектурный прием для решения довольно широкого круга задач. вы посмотрите только на многие доклады на Highload -- гуру высоких нагрузок только и твердят об асинхронности и очередях.

что касается нескольких больших слабосвязанных между собой таблиц в Skype, то это неправда. можно разве что сказать о нескольких больших слабосвязанных подсистемах (состоящих из большого кол-ва таблиц), но как раз архитектура баз данных в Skype тем и интересна, что ребятам удалось спроектировать систему таким образом, что каждую большую подсистему можно расшардить. мало того, они утверждают, что практически любую систему можно разбить на составляющие, к которым применим sharding. вот в чем искусство.

и наконец про комментарий о борьбе с особенностями rdbms. вы опять глупости говорите, так как задача Skype состояла в том, чтобы сделать OLTP-систему (в деле замешаны деньги). то есть надежность, транзакции, восстановление после сбоев, полный ACID в общем. причем они были готовы рискнуть и сделать все на бесплатной СУБД. и постгрес здесь оказался единственным вариантом. и только в одном месте им пришлось бороться с его особенностью долго-предолго устанавливать соединения. так появился pgbouncer. но это сущие мелочи.

> а Вы не хотите взять видео-материалы, которые будут доступны, расшифровать их и опубликовать транскрипт встречи? была бы реальная польза, а не критика без желания помочь.

А ну да, здорово! Конференцию, типа, мы проводим, а материалы с этой конференции пусть дядя готовит и расшифровывает. Типа мы и так послушаем, а остальные могут принимать любые удобные позы. :)

Отвечая на вопрос - нет не хочу! М.Булгаков "Собачье сердце":

— Вы не хотите помочь голодающим детям?!

— Нет. Не хочу...

— Ну почему же вы не хотите? Вы не сочувствуете детям Германии?

— Сочувствую.

— А, пятака жалко!

— Нет, не жалко.

— Тогда почему?

— Не хочу... Зина, подавай, голубушка, обедать! Вы позволите, господа?

> — Не хочу... Зина, подавай, голубушка, обедать! Вы позволите, господа?

?!