Архитектура eBay

И так, начальная ставка? А по теме, вообще круто :)

Интересно, какой именно j2ee сервер они используют.

А так, вполне здравая система ;)

Насколько я знаю, похаканный Tomcat.

Любопытно. В декабре 2002 года основой системы стал C++ бинарник для IIS размером 150 мб =)) 150 мб скомпилированного кода, что же так такого понаписано?? :)

По личному опыту, в случае c/c++ систем сайтов лучше линковать статично... Так быстрее, чуть-чуть загружается и работает.

Наверное от этого зависит...

А вообще, они, возможно, просто свой application server + логику на плюсах написали.

а движок/фреймворк какой? или чистый j2ee?

Примерно равно ядру Pro/Engineer, с точностью до десятка мегабайт. У них небось все циклы поразвернуты, встроена тройная проверка выполнения каждой инструкции проца, да оптимизация -O99, а писали систему заядылые гентушники.

Еще судя по pdf'ке из новости они вычистили из БД все хранимые процедуры, оставив только простейшие запросы. Даже join делают сами, а не средствами БД. Зачем?? Неужели выдрать данные, объеденить их на клиентской стороне и положить обратно в БД будет быстрее чем всё это сделать в пределах одной БД?

Хоть бы уж написали размер pdf-ки.

сказали бы - неповерил что такое вообще может держаться на таком проекте, но ведь нет - РАБОТАЕТ ;)

удивлен.

> размер pdf-ки

1,2 Мб

Спасибо

В случае sql язык запроса/хранимой процедуры еще надо отинтерпретировать.

В случае своей программы, никто не мешает написать свой оптимизатор... ;)

Оптимизация, оптимизации рознь.

Я тут тесты одни делал, и вот что интересно, создалось впечатление, что на современных процесорах кусок кода дольше загружается/выгружается (сумарно, естественно), чем выполняется... Я даже объяснение знаю ;)

Какой плевок ораклу в лицо:

-- No stored procedures;
-- Only very simple triggers;

:)

Вообще-то там PHP (ПЭХАПЭ ака ПЫХПЫХ)! Значед йа ашыбалсйа. :)

Спасибо! ;>

А при чем тут Линукс? Я так понял там у них одни Виндовс стоит?

про оракл -- чушь, т.к. в нём есть хранимые процедуры и триггеры, в общем, самые обычные.

> Какой плевок ораклу в лицо:
> -- No stored procedures;
> -- Only very simple triggers;
> :)

Даже в области сильно тяжелых биллингов на мильены рыл народ потихоньку начинает чесаться и активно смотреть в сторону простых баз, кластеров и реального времени, то бишь mysql'я и без всяких риал-мафакин-эпликейшн-кластерс. Видать доперло таки, почему Гуголь близок к всезохавыванию. Но уже поздно.

>Видать доперло таки, почему Гуголь близок к всезохавыванию. Но уже >поздно.

если ты думаешь что у гугля в основных системах вообще используется какая либо бд -то ты хреновый спец

> если ты думаешь что у гугля в основных системах вообще используется какая либо бд -то ты хреновый спец

Кинул пальцы, сыне? Теперь перечитай еще раз, но уже задействовав головной мозг.

>Кинул пальцы, сыне? Теперь перечитай еще раз, но уже задействовав >головной мозг.

Нее это я только в общем виде написал. Вот если бы начал подробно про то как в таких системах все устроено -тогда да кинул бы пальцы

А что вьюноша не знает что в поисковых системах нигде не применяется бд пусть даже распределенная?

Дык вот почитай:

http://infolab.stanford.edu/~backrub/google.html

> Неужели выдрать данные, объеденить их на клиентской стороне и положить обратно в БД будет быстрее чем всё это сделать в пределах одной БД?

Иногда - да. Я вот заметил, что порой проще разбивать сложные запросы, получая кучу id'шников, а потом делая запрос вида where <поле> IN (список). Но такое решение обгоняет только в узком диапазоне. Скажем, если join простой и данных мало, то быстрее выполнит движок бд. Если много знгачений для списка, то на обработке запроса время съестся...

потому что опенсурс это не только линукс и ГПЛ.

Любопытно, весьма любопытно..

> Нее это я только в общем виде написал. Вот если бы начал подробно про то как в таких системах все устроено -тогда да кинул бы пальцы
> А что вьюноша не знает что в поисковых системах нигде не применяется бд пусть даже распределенная?
> Дык вот почитай:
> http://infolab.stanford.edu/~backrub/google.html

Не, даже старым маразматикам очевидно, что наращивать мощу одного куска "большого железа" до бесконечности нельзя, а потому - все как выше было сказано. А уж как устроено - дык то мелкие технические подробности. И тоже в общем виде.

Странно даже, действительно, причем тут линукс? Они исходники чтоль опубликовали?

Архитектуру Windows, кстати, между прочим, тоже никто в секрете не держит.

>Презентация по архитектуре eBay. Это один из самых больших Java проектов в публичном интернете.

И что?

Давно известно, что любой проект можно написать почти на любой технологии. Весь вопрос только в количестве денег.

А их, судя по всему, было слишком много, чтобы позволить себе бегать между зоопарком систем, технологий и баз данных.

> то бишь mysql'я и без всяких риал-мафакин-эпликейшн-кластерс. Видать доперло таки, почему Гуголь близок к всезохавыванию.

MySQL к поисковым технологиям не имеет никакого отношения.

>сильно тяжелых биллингов на мильены рыл народ потихоньку начинает чесаться

Странно, и почему это ни один из биллингов сотовых операторов не написан с использованием MySQL? :) :)

> MySQL к поисковым технологиям не имеет никакого отношения.

Да хрен с ними, этими поисковыми технологиями.

> Странно, и почему это ни один из биллингов сотовых операторов не написан с использованием MySQL? :) :)

Потому что еще "альфа" и "исследование", прогеры еще с ума не сошли чтоб в продакшен забубенить такое (разочарован - думал что способны) ;) Но к этому рано или поздно придут, держать Оракел для обработки диких tps станет банально невыгодно.

>потому что опенсурс это не только линукс и ГПЛ.

а в каком месте там опенсурс?

>Потому что еще "альфа" и "исследование", прогеры еще с ума не сошли >чтоб в продакшен забубенить такое (разочарован - думал что способны) >;) Но к этому рано или поздно придут, держать Оракел для обработки >диких tps станет банально невыгодно.

Я конечно понимаю что ты фанат MySQL и разумные доводы для тебя -пустой звук,но скорее начнется 3я мировая чем MySQL заменит собой Оракл

Видимо новость пример того, к чему может привести использование закрытых "продуктов" под большой нагрузкой. Я полагаю, что минимизация обработки данных встроенными средствами СУБД возникла не от хорошей жизни, а просто потому, что oracle неповоротливый монстр живущий своей жизнью не расчитанной на 100000 строк нового кода каждые 2 недели и слишком часто глючит на сложных запросах, но деньги за него заплачены и приходится его использовать.

>не расчитанной на 100000 строк нового кода каждые 2 недели и слишком >часто глючит на сложных запросах, но деньги за него заплачены и >приходится его использовать.

Мсье разработчик собственного сервера бд? Покажи мне бд ,рассчитанную на приведенные выше нагрузки.

Понимаешь ,вот можно поставить оракл на машину с одним процом а можно с 50 процов,а для совсем запущенных случаев -юзать Oracle Streams
Но что бы кто ни говорил - лучше оракла еще никто ничего не придумал

$ pdftops eBaySDForum2006-11-29.pdf Error: PDF version 1.6 -- xpdf supports version 1.5 (continuing anyway) Error: Printing this document is not allowed.

PDF отправляется в битовую корзину.

>Мсье разработчик собственного сервера бд? Покажи мне бд ,рассчитанную на приведенные выше нагрузки.

>Понимаешь ,вот можно поставить оракл на машину с одним процом а можно с 50 процов,а для совсем запущенных случаев -юзать Oracle Streams
>Но что бы кто ни говорил - лучше оракла еще никто ничего не придумал

Нет в мире совершенства. Я не утверждаю что oracle плох и не масштабируем. Но стоит заметить, что oracle не "придуман", а изготовлен, в нём не больше изящества, чем в машине непрерывного литья заготовок или в буровой установке. Это продукт коллективного труда со всеми свойственными достоинствами и недостатками, из которых можно отметить свойственную всем наёмным сотрудникам компаний природную лень, т.е. делают они то, что могут в нужные сроки и за определённые деньги, они не лезут из кожи вон, чтобы получился лучший продукт, а просто "делают свою работу", как любит говорить интеллектуальное большинство жителей сша.
Конечно и в opensource есть подобные коллективы, но opensource продукт не может конкурировать за счёт рекламы, он должен обладать определёнными потребительскими свойствами, реклама может только заставить попробовать продукт, но не может заставить пользоваться им постоянно, как в случае с проприетарными программами, которые просто жаба давит выбросить, когда за них уже заплачено.

>Но что бы кто ни говорил - лучше оракла еще никто ничего не придумал

какая Ахинея.

>Конечно и в opensource есть подобные коллективы, но opensource продукт не может конкурировать за счёт рекламы, он должен обладать определёнными потребительскими свойствами, реклама может только заставить попробовать продукт, но не может заставить пользоваться им постоянно, как в случае с проприетарными программами, которые просто жаба давит выбросить, когда за них уже заплачено.

Какой феерический бред...

>Потому что еще "альфа" и "исследование", прогеры еще с ума не сошли чтоб в продакшен забубенить такое (разочарован - думал что способны) ;) Но к этому рано или поздно придут, держать Оракел для обработки диких tps станет банально невыгодно.

1) Сколько Вам лет?

2) Озвучьте Ваш профессиональный опыт, желательно -- ссылкой на резюме.

>Нет в мире совершенства. Я не утверждаю что oracle плох и не >масштабируем. Но стоит заметить, что oracle не "придуман", а изготовлен,

а исходники MySQL начитали под рэп укуренные эльфы из волшебной страны да?

Что только люди не придумают чтобы свое любимое нечто отстоять в спорах :)

>Видать доперло таки, почему Гуголь близок к всезохавыванию.

Потому что никаких мускулей не пользует.

>Давно известно, что любой проект можно написать почти на любой технологии.

Вне зависимости от количества денег - KDE на ассемблере - ниасилишь.

>Вне зависимости от количества денег - KDE на ассемблере - ниасилишь.

ты готов заплатить много денег за такую разработку?

>ты готов заплатить много денег за такую разработку?

Если ты говоришь, что асилишь на ассемблере KDE, если тебе достаточно заплатят - я тебе и за hello world не заплачу, есть более более приятные места спустить деньги впустую.

>Если ты говоришь, что асилишь на ассемблере KDE, если тебе достаточно >заплатят - я тебе и за hello world не заплачу, есть более более >приятные места спустить деньги впустую.

понимаешь,любая задача выполнима -только за разное время и разные деньги.

Если будет 10 лет разработки и $5-10 млн годовой бюджет -осилю не сомневайся :)

>>Давно известно, что любой проект можно написать почти на любой технологии.

>Вне зависимости от количества денег - KDE на ассемблере - ниасилишь.

Ну почему же.... Есть такая вещь, как MenuetOS, написана на ассемблере, у нее даже графическая среда есть. :) :)

Написать можно, вопрос только в том, сколько будет стоить разработка и сколько времени она займет.

>понимаешь,любая задача выполнима -только за разное время и разные деньги.

Есть такая фигня как энтропия разработки. Через 3 года ты не вспомнишь что писал сам. Следовательно степень документирования всего что движется должна быть такая дикая - что это время растягивается на своершенно дикое время. Уж не говоря о том что стоимость внесения архитектурных измененияй такая, что получение работающего варианта в любой перспективе представляется сомнительным.

>Если будет 10 лет разработки и $5-10 млн годовой бюджет -осилю не сомневайся :)

А почему не миллиард? Извини, но за такие бабки хней страдать - любой согласится. Или ты рассчитываешь нанять 200 человек?

Teradata? ;)