LINUX.ORG.RU
ФорумTalks

О высоконагруженных проектах


1

1

Настройка серверной архитектуры для веб приложения.

1 млн посещений в день
для высоконагруженного веб приложения

24 часа, по 60 минут, по 60 секунд => ~12 запросов в секунду

это при 16-ти потоках на 8 ядрах (да ещё размазанные по цепочке из трёх ДВУХПРОЦЕССОРНЫХ компьютеров, т.е. 32 потока и 16 ядер * 3)

не вижу высокой нагруженности...

100000 продуктов, пусть по 8 килобайт инфы на продукт, = 1 гигабайт в памяти.

Нагрузки на диск тоже не вижу (всё можно было сделать на одном сервере закешировав в памяти).

Всё дело в использовании технологии PHP ?



Последнее исправление: StrongDollar (всего исправлений: 2)

Распределение же

~12 запросов в секунду

Это в среднем по больнице. Пиковая нагрузка может быть на порядки больше.

Camel ★★★★★
()
Ответ на: Распределение же от Camel

Пиковая нагрузка может быть на порядки больше.

так у них там не одно ядро, а 48! 48 блин!

то есть большую часть времени это всё будет простаивать недогруженное.

StrongDollar
() автор топика
Ответ на: комментарий от StrongDollar

то есть большую часть времени это всё будет простаивать недогруженное.

От него не требуется стоять все-время-полностью-нагруженным. От него требуется выдержать новогоднюю распродажу, не отпугнув покупателей адскими лагами, и не просрав информацию о заказах и списанных с чужих счетов деньгах, когда php-говно разбудит oom-киллера («закешировав в памяти»).

Manhunt ★★★★★
()
Последнее исправление: Manhunt (всего исправлений: 3)
Ответ на: комментарий от StrongDollar

большую часть времени это всё будет простаивать недогруженное

Думаю, Spoofing одобрит.

orm-i-auga ★★★★★
()
Ответ на: комментарий от Manhunt

От него требуется выдержать новогоднюю распродажу

почему бы тогда не брать хостинг у компании, которая предоставляет мощности под заказ (типа amazon)?

под новый год хостер бы расширял парк техники, потом высвобожденные мощности использовал бы под новые проекты.

StrongDollar
() автор топика

Оно окупается? Если да — в чём проблема?

Не всем дано тянуть 150М запросов в сутки на 8 серверах (из которых половина на оффтопике) как StackExchange.

x3al ★★★★★
()
Ответ на: комментарий от StrongDollar

почему бы тогда не брать хостинг у компании, которая предоставляет мощности под заказ (типа amazon)?

Ты амазоновскую EULA читал? :D

Почемучки выли хором на все талксы, когда микрософт сфамильярничал и пощекотал их скайпом за жопу. Почему бы не брать, и правда?

Manhunt ★★★★★
()
Последнее исправление: Manhunt (всего исправлений: 1)

Где ты видел чтобы трафик и нагрузка равномерно на 24 часа распределялась? Наверняка часов на 5-6.

пхп непричом - он нагрузки не дает. Основной потребитель ресурсов БД.

ppy ★★★
()
Ответ на: комментарий от StrongDollar

что с ней не так?

Ты читать умеешь?

THE SERVICE OFFERINGS ARE PROVIDED “AS IS.” WE AND OUR AFFILIATES AND LICENSORS MAKE NO REPRESENTATIONS OR WARRANTIES OF ANY KIND, WHETHER EXPRESS, IMPLIED, STATUTORY OR OTHERWISE REGARDING THE SERVICE OFFERINGS OR THE THIRD PARTY CONTENT, INCLUDING ANY WARRANTY THAT THE SERVICE OFFERINGS OR THIRD PARTY CONTENT WILL BE UNINTERRUPTED, ERROR FREE OR FREE OF HARMFUL COMPONENTS, OR THAT ANY CONTENT, INCLUDING YOUR CONTENT OR THE THIRD PARTY CONTENT, WILL BE SECURE OR NOT OTHERWISE LOST OR DAMAGED. EXCEPT TO THE EXTENT PROHIBITED BY LAW, WE AND OUR AFFILIATES AND LICENSORS DISCLAIM ALL WARRANTIES, INCLUDING ANY IMPLIED WARRANTIES OF MERCHANTABILITY, SATISFACTORY QUALITY, FITNESS FOR A PARTICULAR PURPOSE, NON-INFRINGEMENT, OR QUIET ENJOYMENT, AND ANY WARRANTIES ARISING OUT OF ANY COURSE OF DEALING OR USAGE OF TRADE.

Manhunt ★★★★★
()
Ответ на: комментарий от grondek

тех, которые разные, там 10000 в день. Это так мало, что у них даже в архитектуре не отображено (иначе бы у них были отдельно сервера на отдачу контента и отдельно сервера на обновление данных).

может так дешевле будет - собрать по-больше дешевых компьютеров и сделать всё на них?

StrongDollar
() автор топика
Ответ на: комментарий от ppy

Основной потребитель ресурсов БД.

в магазине большинство контента - статический. Динамические там только остататки на складе. Откуда нагрузки на БД?

StrongDollar
() автор топика
Ответ на: комментарий от Manhunt

Это нормально, они себя защищают от наездов неадекватов. Но если смотреть на реальность - сервисы они предоставляют с большей надежностью, чем то, что будет собрано отдельно.

StrongDollar
() автор топика
Ответ на: комментарий от StrongDollar

Это нормально

... до тех пор, пока ты не являешься владельцем интернет-магазина. Пока весь твой бизнес не зависит от чужого произвола и безответственности.

Но если смотреть на реальность - сервисы они предоставляют с большей надежностью, чем то, что будет собрано отдельно.

Лол. В реальности мне известен как минимум один случай, когда амазон потерял машину полностью и бесследно. Ни бэкапов, вообще ничего. Амазоновский саппорт просто развёл ручками.

А ты в реальности пользовался амазонским хостингом? В каком объеме?

Manhunt ★★★★★
()
Ответ на: комментарий от Manhunt

до тех пор, пока ты не являешься владельцем интернет-магазина

Видел уже таких ответственных в одной торговой организации

Сначала у них одна из двух цепочек выйдет из строя,
потом у них денег не будет на новые сервера
и будет всё работать на последней цепочке
пока однажды не навернётся как следует

С амазоном - там хоть замену получить легко.

StrongDollar
() автор топика
Последнее исправление: StrongDollar (всего исправлений: 1)

1 млн посещений в день

... это не 1 млн запросов в день. На странице могут быть десятки картинок, скриптов; сама страница может подгружать всякий шлак динамически. Пользователь может просматривать не одну страницу, а бродить по сайту. И при всём при этом задержки не должны быть слишком большими, так как мы, люди, не любим ждать.

i-rinat ★★★★★
()
Ответ на: комментарий от StrongDollar

потом у них денег не будет на новые сервера

Ванга_завидует.жпег

С амазоном - там хоть замену получить легко.

Та не, нравится — насаживайся на зонд поглубже, я же не против. Потом будет очередной нытик-тред о прищемленных яйцах.

Manhunt ★★★★★
()
Ответ на: комментарий от i-rinat

почему бы тогда не сделать ферму из большего количества дешевых серверов специально для отдачи статического контента?

подгружать всякий шлак динамически

кроме остатков товаров больше ничего в голову не приходит. Всё остальное можно статически формировать.

StrongDollar
() автор топика
Ответ на: комментарий от Manhunt

нравится — насаживайся на зонд поглубже

нравится! У них там ещё есть предустановленный специальнообученный oracle, я сам так сделать не смогу

StrongDollar
() автор топика
Ответ на: комментарий от StrongDollar

нравится!

А вот афишировать это публично я бы на твоем месте постеснялся.

Manhunt ★★★★★
()
Ответ на: комментарий от Manhunt

Ванга_завидует.жпег

так это уже сейчас видно из текста объявления.

Очевидно, раз они это покупают, значит организация уже работала ранее. Значит у них была подобная система на более старых серверах. И при всём этом они протеряли опыт её эксплуатации и привлекают стороннего админа не передавая ему документацию!!!

Если у них не было денег на документирование, то и на сервера не будет, потому что жадность - норма жизни. Торгаши, каста такая.

StrongDollar
() автор топика
Ответ на: комментарий от StrongDollar

Значит у них была подобная система на более старых серверах.

Может, у них на амазоне система была? :D

они протеряли опыт её эксплуатации

Почему ты так думаешь?

и привлекают стороннего админа

Предыдущий админ вполне мог куда-то задеваться. Ротация кадров - норма жизни, мы же не в рабовладельческом обществе живём.

не передавая ему документацию!!!

Почему ты так думаешь?

Manhunt ★★★★★
()
Ответ на: комментарий от Manhunt

Почему ты так думаешь?

потому что ни слова об этом нет в объявлении. Предлагается давать оценки сроков на основании своего опыта (а не на основании их документации/накопленных знаний).

StrongDollar
() автор топика
Ответ на: комментарий от StrongDollar

потому что ни слова об этом нет в объявлении

В объявлении очень много чего еще не сказано. Ну и что с того? Они хотят человека, который был бы в теме. Когда такой найдётся, именно с *ним* будут обсуждать детали. В том числе, и документацию предоставят всю, какая есть.

Manhunt ★★★★★
()
Последнее исправление: Manhunt (всего исправлений: 2)
Ответ на: комментарий от Manhunt

В объявлении очень много чего еще не сказано.

вот это меня всегда в объявлениях потрясало. Никогда не рассказывают что-к-чему, главное хоть кого-нибудь привлечь, а потом навалят работы, которой в объявлении и близко не было.

StrongDollar
() автор топика
Ответ на: комментарий от StrongDollar

Тут два варианта. Либо всё сложнее, чем тебе видится, либо всё настолько просто, как тебе видится. В первом случае дело кончится темой на форуме, во втором случае ты спасёшь индустрию. В обоих вариантах ты ничего не теряешь, так что удачи.

i-rinat ★★★★★
()

не вижу высокой нагруженности...

Надо пиковую нагрузку смотреть. Распределение нагрузки по времени не так однородно.

Всё дело в использовании технологии PHP ?

Или питоне. Или mysql. Или ...

shahid ★★★★★
()

1 млн посещений в день
24 часа, по 60 минут, по 60 секунд => ~12 запросов в секунду

Т.е. по твоему один пользователь, делает только 1 запрос на сервер? Например скачивает одну картинку и уходит, да?

Если интернет магазин долго не отвечает на запрос - пользователь уходит в другой магазин. Тут долгие ответы на запросы очень дорого стоят.

pi11 ★★★★★
()
Ответ на: комментарий от shahid

Или питоне. Или mysql. Или ...

там только mysql, питона там нет

StrongDollar
() автор топика
Ответ на: комментарий от pi11

по твоему один пользователь, делает только 1 запрос на сервер? Например скачивает одну картинку и уходит, да?

открой уже для себя keep-alive и web-sockets

Пользователь устанавливает ОДНО соединение с сервером и ему туда всё что надо высылается.

StrongDollar
() автор топика
Ответ на: комментарий от StrongDollar

Да ты, как я погляжу, специалист. Где я говорил про соединения? На количество запросов это никак не влияет.

Ты же посчитал, что будет 12 _запросов_ в секунду.

pi11 ★★★★★
()
Последнее исправление: pi11 (всего исправлений: 1)

Истина где-то там

HTTP часть не относится к high-load вне рамок статики (картинки). При 12 запросах и при 30 селектах bottleneck'ом будет БД. Увеличим число посетителей до 1000 и получим 30 тыс. запросов к бд в секунду. Для сравнения читаем эту статью и понимаем, насколько жизнь сложна :)

P.S. В статье тесты проводятся на почти идеальных запросах, в реальности пишут селекты из 10-20 join'ов, что еще интересней.

P.S.II. Касательно статики, на виртуалке, на самых слабых Core i5/i7 (2-4х ядерных) nginx для данных менее 100к выдает не менее 20к ответов в секунду. Т.о. на любом проекте 5к/с для статики это как нефиг делать.

gh0stwizard ★★★★★
()
Последнее исправление: gh0stwizard (всего исправлений: 1)

Мля, спецы хреновы...
Запрос запросу рознь. На один запрос может отдаваться статичная фигня, а на другой рендериться адова 3-х мерная байда.

vasya_pupkin ★★★★★
()

Так чего ожидать от быдлокодеров?

DNA_Seq ★★☆☆☆
()

Вот и выросло поколение не слышавшее даже о нормальном распределении.

Tark ★★
()
Ответ на: комментарий от StrongDollar

Поиск по различных условиях, атрибутах, сортировка, сравнение товаров.
И опять таки тут узким местом будет база, но явно не PHP

kiotoze ★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.