LINUX.ORG.RU

Интересные факты о работе дата-центров Google

 ,


0

0

На конференции Google I/O было представлено (http://news.cnet.com/8301-10784_3-995...) много интересных фактов о технической стороне работы дата-центров, обеспечивающих работу инфраструктуры Google.

Например:

  • Всего у Google в настоящий момент 36 дата-центров, в каждом более 150 стоек, по 40 серверов в каждой. Итого, по самым скромным подсчетам около 200 тысяч серверов (в 2000 году было 4000 серверов).
  • За первый год работы нового кластера, из 6 тыс. машин (150 стоек по 40 серверов) ломается около тысячи, фиксируется несколько тысяч отказов в работе жестких дисков.
  • При сбое одного блока распределения питания разом останавливается от 500 до 1000 машин, введение в строй которых продолжается около 6 часов.
  • После выключения 5% машин кластера, например из-за выхода из строя системы охлаждения, на восстановление уходит два дня.
  • Каждый момент от 40 до 80 машин кластера недоступны в сети.
  • В обслуживание одного типичного поискового запроса вовлекается от 700 до 1000 серверов.

>>> Подробности

Ответ на: комментарий от anonymous

>В оригинальной новости написано, что они заказывают у интела отдельные circuit boards и все впихивают в хитрые стойки.

и это бюджетное решение? Я имею в виду отдельные circuit boards? С тиражом в несколько тысяч штук?

А стойки у них на фотках обычные, на 42, по моему, юнита. По 20 двухюнитовых серверов + патч панель со свичом.

AVL2 ★★★★★
()
Ответ на: комментарий от AVL2

> По 20 двухюнитовых серверов + патч панель со свичом.

Во-первых, мамки без корпусов ставить, только со спец. креплением, чтобы железа меньше было и вентилировалось лучше.

Во-вторых, нахрена нужна патч-панель? Все сервера одноранговые, никаких VLAN, так что все напрямую в свитч!

anonymous
()
Ответ на: комментарий от Komintern

> но на чем они зарабатывают деньги - до сих пор не понял.

на скромной маленькой панельке справой стороны страницы вывода результатов поиска. Кстати по-честному сп...ная идея брином и пейджем. сами они до ад-сенса додуматься не смогли :)

Ingwar ★★★★★
()

Впечатляет парк и кол-во народа. А самое главное, что они понимают, что стандартный 1U case не то что нужно при таких объемах.

anonymous
()

Факты действительно интересные и прямо скажем современным словом - "шокирующие"! :) Получается, что сколько ни пукай, а НАДЁЖНОЙ системы из писюков построить нельзя! Или придётся вводить такую избыточность, что проще поставить спаркосолярисы. Харды вообще убивают своей кривотой... хотя возможно, у них очень жлобская система охлаждения - по залу бегает уборщица и махает тряпкой. Посещал один датацентр, так у них стоят баллоны с креоном (или ещё какой фигнёй... Coca-Cola? :) ) - вот это система!

А вот вопрос: у одних людей *поклонился* комп работает без единого сбоя уже 6 лет (собирал сам), ничего не апгрейдил, но пересобирал комп раз 5 (переезды). А у них каждый шестой(!!!) комп - валится. Это как? (при том, что к серверу предъявляются куда более серьёзные запросы по надёжности). Я понимаю, 6000 железок - не хрен собачий, но извините... это такие говённые компоненты или что? Теоретически, ВСЕ эти 6000 аппаратов должны были пройти Quality Assurance, прежде чем вообще выйти за пределы завода. Так почему же вся эта громоздятина ломается?

И ещё вопрос: неужто для поиска нужно СТОЛЬКО машин? Теоретически, тут задача скорее на объём данных, чем на интенсивность вычислений. Или это гугл-мапс всё скушал? :)

matumba ★★★★★
()
Ответ на: комментарий от matumba

Инфраструктура гугла - это не только гуглмапс и поиск. Это документы, почта, пикаса, гуглвидео, инструменты для веб-спецов, новости, блог, переводчик и прочее и прочее (список порядка 40 пунктов).

anonymous
()
Ответ на: комментарий от jackill

Не файловой системы, а оперативной памяти. В системах такого масштаба, как Google, позволить себе несколько миллисекунд читать данные с жесткого диска - непозволительная роскошь. Все данные должны храниться в дисковом кеше.

anonymous
()
Ответ на: комментарий от matumba

> И ещё вопрос: неужто для поиска нужно СТОЛЬКО машин? Теоретически, тут задача скорее на объём данных, чем на интенсивность вычислений. Или это гугл-мапс всё скушал? :)

Нет, это поиск. Именно теоретически надо именно столько машин. Жесткие диски слишком медленны, поэтому база хранится в оперативной памяти. Памяти у одной машины ну никак не больше 32-64 гигов, а база занимает терабайты. Ну и еще это отказоустойчивость - все задублировано много раз.

anonymous
()
Ответ на: комментарий от matumba

>Получается, что сколько ни пукай, а НАДЁЖНОЙ системы из писюков построить нельзя!

В том то и дело, что у гугла сама СИСТЕМА явлется надёжной. Но собранная она из ненадёжных компонентов. Экономически это более целесообразно, чем ставить меганадёжные и мегадорогущие опенсолярисы с креновым охлаждением. Какая разница сколько дешёвых писюков умирает, если сама система в целом остаётся работоспособной? А если нет разницы, то зачем платить больше?

anonymous
()
Ответ на: комментарий от AVL2

> Имхо, кластер из полумиллиарда китайцев и такого же индус-зеркала, вооруженых рисовой бумагой с чернилами сделал бы тоже самое, что и эти датацентры, только при этом не наносил бы окружающей среде столько вреда и работал бы он на рисе с кари.

А фронтендом лоровские телепаты, для кеширования.

anonymous
()
Ответ на: комментарий от anonymous

Можно собрать сервак с redudant практически всего. Даже проц и память, мать не в счет. Только вот один корпус уже стоить будет за 500 у.е. И получается, что на сумму сервера в 2 килобакса получаем псюковое хорошее железо. А на туже сумму можно позволить 6-8 мелких машинок, причем, вероятность что все 6-8 машин откажут в один день - ничтожна.

anonymous
()
Ответ на: комментарий от anonymous

> Нет, это поиск. Именно теоретически надо именно столько машин. Жесткие диски слишком медленны, поэтому база хранится в оперативной памяти. Памяти у одной машины ну никак не больше 32-64 гигов, а база занимает терабайты. Ну и еще это отказоустойчивость - все задублировано много раз.

А зачем тогда жесткие диски на каждой машине? Вообще жесткие диски получается не нужны. Если система избыточная, то считать потерянные данные из оперативки другой машины. Или вообще сделать частичную переиндексацию (если это возможно) когда копий нет.

VF
()
Ответ на: комментарий от anonymous

> ...СИСТЕМА явлется надёжной. Но собранная она из ненадёжных компонентов.

Хорошо, пусть всё продублировано ненадёжными писюнами. Но разве репликация не снижает производительность системы? Да и сколько гемора получается для организации совместной работы всего центра... ужыз!

matumba ★★★★★
()
Ответ на: комментарий от matumba

>Но разве репликация не снижает производительность системы?

Нет, даже ускоряет.

>Да и сколько гемора получается для организации совместной работы всего центра... ужыз!

Поэтому в гугле не дураки, что такую систему сделали.

anonymous
()
Ответ на: комментарий от anonymous

>Во-вторых, нахрена нужна патч-панель? Все сервера одноранговые, никаких VLAN, так что все напрямую в свитч!

на фотографиях стойки с корпусами. Удобно обслуживать, простая замена да и просто найти 4 корпус сверху проще, чем плату.

AVL2 ★★★★★
()
Ответ на: комментарий от matumba

>А вот вопрос: у одних людей *поклонился* комп работает без единого сбоя уже 6 лет (собирал сам), ничего не апгрейдил, но пересобирал комп раз 5 (переезды). А у них каждый шестой(!!!) комп - валится. Это как?

Закон больших чисел. В гугле не одна тысяча серверов работает по пять-десять лет без перебоев. Основная масса оборудования выходит из строя в течение первого года эксплуатации. Затем кривая сбоев резко падает.

Кроме того, не забывай, что гугл считает каждый сбой. А у вас небось если после перезагрузки все наладилось, то это и не поломка.

AVL2 ★★★★★
()
Ответ на: комментарий от AVL2

>и это бюджетное решение?

Видимо да, ибо нигде не написано, что у них горят матери. :)

jackill ★★★★★
()
Ответ на: комментарий от matumba

>Получается, что сколько ни пукай, а НАДЁЖНОЙ системы из писюков построить нельзя!

"Our view is it's better to have twice as much hardware that's not as reliable than half as much that's more reliable," Dean said. "You have to provide reliability on a software level. If you're running 10,000 machines, something is going to die every day."

Если ты заметил, то вылетают у них блоки распределения питания, системы охлаждения, винты.

Винты у того же сана берутся из той же корзинки.

>В первый год в каждом кластере обычно произойдет 1,000 индивидуальных машинных сбоев, тысячи сбоев на жестких дисках, один сбой блока распределения питания, который отключит от 500 до 100 машин примерно на 6 часов. 20 стоек выйдет из строя, каждый раз отключая от сети от 40 до 80 машин, 5 стоек станут работать нестабильно, теряя половину сетевых пакетов, и один раз придется полностью перекоммутировать кластер, что затрагивает 5 процентов машин в любой момент времени в двухдневном диапазоне.

>Также примерно с вероятностью в 50 процентов кластер перегреется, отключив большую часть серверов менее чем на 5 минут, восстановление которых займет 1-2 дня.

Т.е. потом все войдет в струю. Система сложная. Чем больше частей, тем меньше надежность.

>неужто для поиска нужно СТОЛЬКО машин

Не забываем помимо поиска про:

1. Генерация индивидуальных страниц (страница + подбор контекстной рекламы).

2. Сервисы типа gmail, googledocs и т.п.

Не забывай, что в гугл люди приходят не с улицы по объявлению - там очень-очень сильные спецы. В т.ч. и менеджеры. Скорее всего дешевле и быстрее менять "ординарные" компоненты, чем ждать специфические запчасти от некоего поставщика.

jackill ★★★★★
()
Ответ на: комментарий от anonymous

>Не файловой системы, а оперативной памяти. В системах такого масштаба, как Google, позволить себе несколько миллисекунд читать данные с жесткого диска - непозволительная роскошь.

Судя по описанию GFS, все же данные хранятся и на винтах тоже.

А вспоминая про базы данных, наиболее быстрой является кластер MySQL - вот он хранит в памяти все, сбрасывая на диск только по команде или при выключении всего кластера.

jackill ★★★★★
()
Ответ на: комментарий от matumba

>Хорошо, пусть всё продублировано ненадёжными писюнами. Но разве репликация не снижает производительность системы? Да и сколько гемора получается для организации совместной работы всего центра... ужыз!

Наоборот, повышает.

jackill ★★★★★
()
Ответ на: комментарий от VF

> А зачем тогда жесткие диски на каждой машине? Вообще жесткие диски получается не нужны. Если система избыточная, то считать потерянные данные из оперативки другой машины. Или вообще сделать частичную переиндексацию (если это возможно) когда копий нет.

Будем точнее: информация все же лежит на винтах, но целиком или почти целиком кешируется в оперативной памяти.

anonymous
()
Ответ на: комментарий от anonymous

> подозреваю что писюки там по 1u каждый в 42u шкаф

И 46U шкафы бывают. И глубиной метр или больше, и сервера короче 500мм.
Ну или блейд, как уже сказали.

AS ★★★★★
()
Ответ на: комментарий от jackill

>Не файловой системы, а оперативной памяти. В системах такого масштаба, как Google, позволить себе несколько миллисекунд читать данные с жесткого диска - непозволительная роскошь.

Такие компании как гугл могут позволить себе написать собственную ФС (GFS) и кучу всего остального. На сколько я знаю сервер гугл перед "смертью" успевает послать сигнал "SOS" своим соседям, которые возьмут запросы к "покойнику" на себя. Много чего интересного в гугле написали...

anonymous
()
Ответ на: комментарий от matumba

>...а НАДЁЖНОЙ системы из писюков построить нельзя! Или придётся вводить такую избыточность, что проще поставить спаркосолярисы...

Ну да, конечно, "спаркосолярисы" ни%уя не летят. Летят абсолютно также.

>Харды вообще убивают своей кривотой... хотя возможно, у них очень жлобская система охлаждения - по залу бегает уборщица и махает тряпкой.

Скажу Вам по секрету, винты у "спаркосолярисов" тоже летят, даже с нормальной системой охлаждения.

qwe ★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.