LINUX.ORG.RU

Самая большая БД в мире работает на модифицированном PostgreSQL в Yahoo

 , , ,


0

0

Компания Yahoo утверждает, что ей удалось побить мировой рекорд, создав самую большую и нагруженную базу данных в мире. Объём данных 2 петабайта, нагрузка 24 млрд событий в сутки. Работает под управлением модифицированного PostgreSQL (одно из самых крупных изменений: ориентация на по-колоночное хранение вместо традиционного построчного, что замедляет запись на диск, но обеспечивает большую скорость доступа к данным для аналитических целей).

>>> Подробности

Ответ на: комментарий от eugine_kosenko

>На VPS с ограниченными ресурсами. Особенно, под BSD. Там даже сервис нельзя проинициализировать, ибо по умолчанию он хочет создать 10 соединений, это много по памяти, а уменьшить число соединений нельзя. В общем, очень смешно получается...

Бред. Вы, видимо, ни разу не открывали файл postgresql.conf. Там настраивается абсолютно все. Конкретно в свежей FreeBSD на GENERIC ядре безо всяких проблем можно сделать и 200 подключений и больше.

stellar
()
Ответ на: комментарий от iRunix

>Кто простите? В яблоках яху.

сорри, оговорился: аполло - адобовские, а яблоки - скоммуниздили яховский конфабулятор. А всё потому что яху очень _стандартно_ пишут веб-компоненты

anonymous
()
Ответ на: комментарий от stellar

> Бред.

Гуру, млять.

> Вы, видимо, ни разу не открывали файл postgresql.conf. 

Очевидно, не открывал. Как я могу открыть этот файл, если он создается
только во время initdb? А при инициализации он уже отваливается из-за
недостатка памяти.

Если Вы такой крутой админ, просвятите мя, грешного, в каком месте
лечить вот это?

$ sudo -u pgsql initdb -D /usr/local/pgsql/data/
The files belonging to this database system will be owned by user "pgsql".
This user must also own the server process.

The database cluster will be initialized with locale C.

creating directory /usr/local/pgsql/data/ ... ok
creating subdirectories ... ok
selecting default max_connections ... 10
selecting default shared_buffers/max_fsm_pages ... 400kB/20000
creating configuration files ... ok
creating template1 database in /usr/local/pgsql/data/~/base/1 ... FATAL:  could not create shared memory segment: Cannot allocate memory
DETAIL:  Failed system call was shmget(key=1, size=1490944, 03600).
HINT:  This error usually means that PostgreSQL's request for a shared memory segment exceeded available memory or swap space. To reduce the request size (currently 1490944 bytes), reduce PostgreSQL's shared_buffers parameter (currently 50) and/or its max_connections parameter (currently 1).
        The PostgreSQL documentation contains more information about shared memory configuration.
child process exited with exit code 1
initdb: removing data directory "/usr/local/pgsql/data/"

В этот момент постгре тока-тока поставлен из портов, в /usr/local/etc
про него вообще ничего нет, в /usr/local/pgsql только пустой каталог
data. Ну и? Где искать столь волшебный postgresql.conf? Неужели в
/usr/local/astral?

Школьнеги, мля.

И это при том, что mysql из портов запустился вообще без плясок с бубном.

eugine_kosenko ★★★
()
Ответ на: комментарий от anonymous

> Ты правда думаешь что в мыскле - по другому?

Там по любому проще.

eugine_kosenko ★★★
()
Ответ на: комментарий от anonymous

>А щас GPL-мускель Сунь купил,и в энтерпрайз двигает

завтра если мс купит sqlite ты наверное вообще обосрешься от счастья

>1С его правят, юзают и сырцы жмотят.

ты тупое быдло не знакомое с вопросом. чукча-нечитатель

black7
()
Ответ на: комментарий от anonymous

>Что-то не особо он рулит, покажи мне хостера, предлагающего Postgres в качестве основной БД. Чего-то мускель все предлогают.

хехе. а есть еще производственные бд, где мускель сосет. но где автору странички васи-пупкина про это знать

black7
()
Ответ на: комментарий от eugine_kosenko

>Если Вы такой крутой админ, просвятите мя, грешного

завязывай с чертями и очистишься от скверны

>Школьнеги, мля.

>И это при том, что mysql из портов запустился вообще без плясок с бубном.

ну да. среди майнтейнеров портов порядочно "школьников". в генте например эта ситуация замечательно отрабатывается

black7
()
Ответ на: комментарий от eugine_kosenko

Смишной какой. Ты читать умеешь? Тебе же постгрес сказал:

HINT: This error usually means that PostgreSQL's request for a shared memory segment exceeded available memory or swap space. To reduce the request size (currently 1490944 bytes), reduce PostgreSQL's shared_buffers parameter (currently 50) and/or its max_connections parameter (currently 1). The PostgreSQL documentation contains more information about shared memory configuration.

Если программа не запускается, потому что система не джает ей память - кто виноват? Постгрес просит 32 мегабайта по умолчанию, что на современных машинах, не говоря уж о серверах, просто детский объем. А в твоем примере система пожидилась на полтора мега! Shared memory вообще отключена? и ты надеешься, что постгрес сам настроит тебе систему?

> И это при том, что mysql из портов запустился вообще без плясок с бубном.

Надеюсь, ты его тоже в продакшион с дефолтовыми настройками поставил? :)

teodor
()
Ответ на: комментарий от teodor

+1 Ядро надо подкрутить - будет вам щастье :)

qqqq ★★
()
Ответ на: комментарий от r

>> Спрос на постгре низок, ибо для его запуска долго нужно пилить напильником там, где мускул взлетает вообще без всяких проблем.

> Я не понимаю где нужно применить напильник для запуска постгреса - стартонуть демона в любом дистре и полезть лапами в 1 конфигурационный файл. Что проще то?

пых-пых-кодерам нужно, чтобы "пилить напильником" было нечего - им и так работы хватает.

anonymous
()
Ответ на: комментарий от jackill

>Ты правда думаешь, что у хостера один сервер?

Я просто не думаю что хостеры - это 95% потребителей постгреса и мускуля.

r ★★★★★
()
Ответ на: комментарий от teodor

> Если программа не запускается, потому что система не джает ей память - кто виноват?

Там ещё веселее. Уверен на 99.(9)%, что у него вообще заблокирован SysV IPC. Просто потому, что по-умолчанию во всяких джейлах security.jail.sysvipc_allowed=0. Аналогично у него не будет работать любой другой софт, использующий сообщения, семафоры и разделяемую память.

Диагноз как всегда верен: не соответствует занимаемой должности.

baka-kun ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.