LINUX.ORG.RU

Самая большая БД в мире работает на модифицированном PostgreSQL в Yahoo

 , , ,


0

0

Компания Yahoo утверждает, что ей удалось побить мировой рекорд, создав самую большую и нагруженную базу данных в мире. Объём данных 2 петабайта, нагрузка 24 млрд событий в сутки. Работает под управлением модифицированного PostgreSQL (одно из самых крупных изменений: ориентация на по-колоночное хранение вместо традиционного построчного, что замедляет запись на диск, но обеспечивает большую скорость доступа к данным для аналитических целей).

>>> Подробности

>(одно из самых крупных изменений: ориентация на по-колоночное хранение вместо традиционного построчного, что замедляет запись на диск, но обеспечивает большую скорость доступа к данным для аналитических целей)

То есть по сути делать каждый раз ALTER? Мня. Нействительно "что замедляет запись на диск"... Хотя если строка всего одна? Но дико длинная...

qqqq ★★
()
Ответ на: комментарий от anonymous_incognito

>> Если бы Постгрес был лицензирован под ГПЛ, комьюнити получило бы
>> модификацию от Яхи.

>>> Каким образом, если яху не распространяет субд?
>>> anonymous_incognito ***** (*) (27.05.2008 21:07:37)

То бишь анонимный коллективный разум и либастрал.со до кучи -
это вам баран чихнул?
Может быть ещё и хуже, но боюсь, что вы ошибаетесь - распространит -
хотя бы и опосредованно, но доходчиво.

// mapone

anonymous
()
Ответ на: комментарий от cruxish

>В общем, Postgres рулит, что и так было известно

Что-то не особо он рулит, покажи мне хостера, предлагающего Postgres в качестве основной БД. Чего-то мускель все предлогают.

anonymous
()
Ответ на: комментарий от anonymous

>> яху не нужна

>ты идиот

Да уже все давно забили на яху. Нахер она не нужна будет в скором времени. Хотя гуглящих на яхе еще предостаточно, но с каждым днем их становится все меньше и меньше.

anonymous
()
Ответ на: комментарий от anonymous

>Хотя гуглящих на яхе еще предостаточно, но с каждым днем их становится все меньше и меньше.

Яху - это не только поисковик, а прежде всего - технологии. Это команда (кто её знает). Возьмём их виджеты. Там есть 4 конкурента и Яху - единственные кто пробил (у своих менагеров и маркетоидов) _стандартные_ решения, совместимые с жаба-скриптом. Про М$ гаджеты и яббловские аполло - всё ясно - там не могут не закрутить на проприетарных решениях, не сделать вещи в себе. Но и гугел опирается на свои проприетарные разработки. А архитекторы яху - держатся за стандарт и открытость (насколько это возможно в коммерческой конторе).
Можем взять их великолепные хорошо прописанные и _стандартные_ ажакс-компоненты. Работает на многих браузерах изначально. Легко встроить в любой сайт.
Там сильная команда из нескольких ребят стоящих на правильных позициях
(по-крайней мере была какое-то время назад - не знаю что сейчас).

Яху - это прежде всего оплот все-пожирающему майкрософту: посмотрите как они сражаются, а ведь это не просто.
Съедят яху - свободный мир потеряет очень много.

anonymous
()
Ответ на: комментарий от anonymous

> Epic win.

Школьник-кун, уходи с моего ЛОРа.

anonymous
()
Ответ на: комментарий от anonymous

disclosure:
предыдущий пост касается прежде всего яховских веб-технологий. Группа же занимающаяся базой - другая (они не очень спешат делиться наработками с сообществом - судя по топику)

anonymous
()
Ответ на: комментарий от anonymous

> Что-то не особо он рулит, покажи мне хостера, предлагающего Postgres в качестве основной БД. Чего-то мускель все предлогают.

Может потому, что как правило MySQL достаточно?

AlexKiriukha ★★★★
()
Ответ на: комментарий от AlexKiriukha

Именно, спрос рождает предложение, а спрос на постгреsql очень низок, т.к. быдло, которое кодит сайты, акромя мускуля нихера не знает и знать не хочет. Эффект рынка, хуле.

tim2k
()
Ответ на: комментарий от anonymous

> Что-то не особо он рулит, покажи мне хостера, предлагающего Postgres в качестве основной БД. Чего-то мускель все предлогают.

Дык, еще хостеры пыхпых сильно любят и что теперь на лемингов равнятся

real_maverick ★★★
()
Ответ на: комментарий от qqqq

> То есть по сути делать каждый раз ALTER? Мня. Нействительно "что замедляет запись на диск"...

сам-то понял что сказал? ик..сперт :)

anonymous
()
Ответ на: комментарий от anonymous

>> То есть по сути делать каждый раз ALTER? Мня. Нействительно "что замедляет запись на диск"...

> сам-то понял что сказал? ик..сперт :)

У Вас есть другой вариант добавления столбцов? :)

qqqq ★★
()

коммерция на лоре? О_о

anonymous
()

Интересно, а почему они решили не использовать Oracle? Вроде не нищеброды... Сложно представить такую специфику

Orlangoor ★★★★★
()
Ответ на: комментарий от qqqq

>>> То есть по сути делать каждый раз ALTER? Мня. Нействительно "что замедляет запись на диск"...

>> сам-то понял что сказал? ик..сперт :)

>У Вас есть другой вариант добавления столбцов? :)

Какого, нафиг, добавления? Речь идет о _хранении_ по столбцам, перестань фантазировать.

tailgunner ★★★★★
()
Ответ на: комментарий от lester_dev

> По-колоночное хранение данных, это помоему изврат.

Спасибо, ваше дилетантское мнение будет учтено при выпуске yahoo-2. :)

Я не скажу за всю Одессу, но с выпуском SSD вопрос "замедления записи" становится до смешного малым. Более того: практически все SELECT'ы фильтруют данные и за счёт непрерывности этих данных достигается лучшая производительность. Да и индексы иногда СПЕЦИАЛЬНО делают с хранением исходных данных - ускорение, ага.

matumba ★★★★★
()
Ответ на: комментарий от tailgunner

> GPL требует распространения изменений только в том случае, если распространяется измененная версия. Плиз дайте цитату из описания лицензии TERMS AND CONDITIONS. Это не стеб :)

anonymous
()
Ответ на: комментарий от anonymous

В GPL v2 это секция 2, особенно обрати внимание на 2b - там речь именно о распространении ("to all third parties"), чего Яху не делает.

tailgunner ★★★★★
()
Ответ на: комментарий от Bohtvaroh

>> Дети цветов. Иди читай ГПЛ.
> А если не секрет, в чём здесь ошибка?
GPL вполне позволяет нюхать самому, если пукнуть строго под одеялом.

Lumi ★★★★★
()
Ответ на: комментарий от tailgunner

>В GPL v2 это секция 2, особенно обрати внимание на 2b - там речь именно о распространении ("to all third parties"), чего Яху не делает.

А в GPL 3?

anonymous
()
Ответ на: комментарий от anonymous

>А щас GPL-мускель Сунь купил,и в энтерпрайз двигает, а BSD-слоник как влачил жалкое существование, так и влачит. И всякие Яхи и 1С его правят, юзают и сырцы жмотят.

Sun и Постгрес поддерживает, а все патчи от 1с к Постгресу доступны у них на сайте. Часть этих патчей уже вошла в Постгрес, а часть не войдет никогда потому, что это эмуляция поведения MS SQL

teodor
()
Ответ на: комментарий от anonymous

>>В GPL v2 это секция 2, особенно обрати внимание на 2b - там речь именно о распространении ("to all third parties"), чего Яху не делает.

>А в GPL 3?

Не читал. Из того, что я слышал об изменениях в v3, пункты о требовании к публикации изменений остались по сути теми же.

Но если тебя это всерьез интересует, тебе лучше поговорить с юристом.

tailgunner ★★★★★
()
Ответ на: комментарий от tim2k

> Именно, спрос рождает предложение, а спрос на постгреsql очень низок, т.к. быдло, которое кодит сайты, акромя мускуля нихера не знает и знать не хочет. Эффект рынка, хуле.

Спрос на постгре низок, ибо для его запуска долго нужно пилить напильником там, где мускул взлетает вообще без всяких проблем.

А вообще, практически все хостеры предлагают обе базы на равных, по сему тема про "базу данных по умолчанию" -- злостный 4.2.

eugine_kosenko ★★★
()
Ответ на: комментарий от Orlangoor

> Интересно, а почему они решили не использовать Oracle? Вроде не нищеброды... Сложно представить такую специфику

Потому как в закрытом Оракле очень трудно сделать разрезание записей вдоль.

eugine_kosenko ★★★
()
Ответ на: комментарий от matumba

>Я не скажу за всю Одессу, но с выпуском SSD вопрос "замедления записи" становится до смешного малым

Даже и без SSD. Это главным образом вопрос кеширования и грамотной разбивки данных... ИМХО реляционная модель не предназначена для хранения данных которые слишком часто меняются...

Macil ★★★★★
()
Ответ на: комментарий от Lumi

Спасибо.

> 1С (больная тема) -- редиски

Угу. Приложение, рассчитанное на блокировочную базу плохо работает с версионной. Отсюда и проблемы. Не говоря уж о тяжелой родовой травме с NULL'ом в MS SQL.

teodor
()
Ответ на: комментарий от Macil

> ИМХО реляционная модель не предназначена для хранения данных которые слишком часто меняются...

Если быть точным, реляционная модель вообще не о скорости, а о способе хранениz и доступа к данным. В модели индексов нет :), как нет их и в стандарте SQL.

teodor
()
Ответ на: комментарий от teodor

>> ИМХО реляционная модель не предназначена для хранения данных которые слишком часто меняются...

> Если быть точным, реляционная модель вообще не о скорости, а о способе хранениz и доступа к данным. В модели индексов нет :), как нет их и в стандарте SQL.

А если уж совсем точным, то РМ говорит только о доступе к данным. А способов хранения, индексов и т.п. в ней нет.

Поколоночное хранение рулит на аналитических серваках.

VoDA ★★
()
Ответ на: комментарий от Voker57

>Если бы Постгрес был лицензирован под ГПЛ, яху бы скорее юзало что-то другое

глупость.

dikiy ★★☆☆☆
()
Ответ на: комментарий от Orlangoor

>Интересно, а почему они решили не использовать Oracle? Вроде не нищеброды... Сложно представить такую специфику

Оракл конешно тырпрайз - но ты уверен что он выдержит нагрузки типа яху без напильника? А напильник кто будет держать? Правильно Ларри. Ты уверен что нежелание отдавать несколько миллионов долларов в год за базу с полной и 100% кабалой это показатель нищебродности?

r ★★★★★
()
Ответ на: комментарий от eugine_kosenko

>Спрос на постгре низок, ибо для его запуска долго нужно пилить напильником там, где мускул взлетает вообще без всяких проблем.

Я не понимаю где нужно применить напильник для запуска постгреса - стартонуть демона в любом дистре и полезть лапами в 1 конфигурационный файл. Что проще то?

r ★★★★★
()
Ответ на: комментарий от r

>В любом ГПЛ. Я не обязан раскрывать то что делаю лично для себя.

Яху не делает это лично для себя, оно это отдает людям в виде сервиса... В первых редакциях GPL 3 были вообще чудовищно строгие требования по этому поводу, но потом смягчили или вообще убрали, не помню, поэтому и спросил. А если этот пункт остался, то при условии, что в многих проектах написано "gpl v2 и выше", могут начаться проблемы...

anonymous
()
Ответ на: комментарий от anonymous

>Вот она гребаная BSD-лицензия. Если бы Постгрес был лицензирован под ГПЛ, комьюнити получило бы модификацию от Яхи.

Ага, ЩАЗЗЗЗ. Прочтите текст GPL и не порите чепуху. Пока не софт распространяется никто никому ничего не должен.

stellar
()
Ответ на: комментарий от anonymous

>Яху не делает это лично для себя, оно это отдает людям в виде сервиса...

Но не в виде бинарников. Для раскрывания штук которые отдаются в виде сервисов есть более другая лицензия - AGPL, но ИМХО базы данных все равно пролетят мимо - разве что кто-то будет раздавать коннекшены к базе как сервис.

>А если этот пункт остался, то при условии, что в многих проектах написано "gpl v2 и выше", могут начаться проблемы...

Не могут если написано gplv2 - значит тот кто пилит напильником может взять под GPLv2 - а там ничего такого нет.

r ★★★★★
()
Ответ на: комментарий от anonymous

> А если этот пункт остался, то при условии, что в многих проектах написано "gpl v2 и выше", могут начаться проблемы...

_или_ выше. Так что даже если этот пункт и остался, проблеы будут только у GPLv3-софта.

tailgunner ★★★★★
()
Ответ на: комментарий от r

> А напильник кто будет держать? Правильно Ларри. Ты уверен что нежелание отдавать несколько миллионов долларов в год...

За напильник, натягиваюший глаза на жопу (на поколоночное хранение), ларри запросит не миллионы, а десятки или сотни и несколько лет разработки.

teodor
()
Ответ на: комментарий от anonymous

>Яху не делает это лично для себя, оно это отдает людям в виде сервиса...

Вот потому никто никому ничего не должен. Читаем GPL v[2|3], там все написано.

stellar
()
Ответ на: комментарий от r

>Но не в виде бинарников. Для раскрывания штук которые отдаются в виде сервисов есть более другая лицензия - AGPL, но ИМХО базы данных все равно пролетят мимо - разве что кто-то будет раздавать коннекшены к базе как сервис.

Яху раздает сервис на хранение данных на их hadoop системе, а там все метаданные как раз в этой базе хранятся.

>Не могут если написано gplv2 - значит тот кто пилит напильником может взять под GPLv2 - а там ничего такого нет.

В версии 2 не могут, но разработчики могли бы переползти на 3 версию год назад, если Яху пользуется свежей базой, то возможно пришлось бы и отдать код...

anonymous
()
Ответ на: комментарий от tailgunner

>Так что даже если этот пункт и остался, проблеы будут только у GPLv3-софта.

Мы же здесь как раз такую гипотетическую ситуацию и рассматриваем: что было бы, если postre был на gpl.

anonymous
()
Ответ на: комментарий от anonymous

> Мы же здесь как раз такую гипотетическую ситуацию и рассматриваем: что было бы, если postre был на gpl.

Если бы на GPLv2 - было бы то же самое. На GPLv3 only - пока никто не прояснил.

tailgunner ★★★★★
()
Ответ на: комментарий от anonymous

>Яху раздает сервис на хранение данных на их hadoop системе, а там все метаданные как раз в этой базе хранятся.

Где они хранятся - неважно - в снаружу торчит дырка к который драйвером базы можно присоединится или нет? Если не торчит - никто ничего не должен даже в случае AGPL.

r ★★★★★
()
Ответ на: комментарий от r

>Где они хранятся - неважно - в снаружу торчит дырка к который драйвером базы можно присоединится или нет? Если не торчит - никто ничего не должен даже в случае AGPL.

Торчит API доступа к этой базе. Кстати, в Амазоне тот же hadoop.

anonymous
()
Ответ на: комментарий от anonymous

>Торчит API доступа к этой базе. Кстати, в Амазоне тот же hadoop.

Вот АПИ если оно бы было от AGPL проекта и надо было бы открывать. А то че там внутри если оно не подпадает под software as a whole (а сетевой коннекшен естественно не подпадает) никому отдавать не надо. ДАже если бы база была AGPL - они были бюы обязаны открыть ее только самим себе - потмоу что непосредственно никто с ней не соединяется.

r ★★★★★
()
Ответ на: комментарий от r

> Я не понимаю где нужно применить напильник для запуска постгреса - стартонуть демона в любом дистре и полезть лапами в 1 конфигурационный файл. Что проще то?

На VPS с ограниченными ресурсами. Особенно, под BSD. Там даже сервис нельзя проинициализировать, ибо по умолчанию он хочет создать 10 соединений, это много по памяти, а уменьшить число соединений нельзя. В общем, очень смешно получается...

eugine_kosenko ★★★
()
Ответ на: комментарий от anonymous

> Яху - это прежде всего оплот все-пожирающему майкрософту:

оплот? :). "Вода спадала стремительным дамкратом" (ц)? :)

eXOR ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.