LINUX.ORG.RU

Интересные факты о работе дата-центров Google

 ,


0

0

На конференции Google I/O было представлено (http://news.cnet.com/8301-10784_3-995...) много интересных фактов о технической стороне работы дата-центров, обеспечивающих работу инфраструктуры Google.

Например:

  • Всего у Google в настоящий момент 36 дата-центров, в каждом более 150 стоек, по 40 серверов в каждой. Итого, по самым скромным подсчетам около 200 тысяч серверов (в 2000 году было 4000 серверов).
  • За первый год работы нового кластера, из 6 тыс. машин (150 стоек по 40 серверов) ломается около тысячи, фиксируется несколько тысяч отказов в работе жестких дисков.
  • При сбое одного блока распределения питания разом останавливается от 500 до 1000 машин, введение в строй которых продолжается около 6 часов.
  • После выключения 5% машин кластера, например из-за выхода из строя системы охлаждения, на восстановление уходит два дня.
  • Каждый момент от 40 до 80 машин кластера недоступны в сети.
  • В обслуживание одного типичного поискового запроса вовлекается от 700 до 1000 серверов.

>>> Подробности

> За первый год работы нового кластера, из 6 тыс. машин (150 стоек по 40 серверов) ломается около тысячи, фиксируется несколько тысяч отказов в работе жестких дисков.

Они что там, винты от WD используют???

deis
()
Ответ на: комментарий от gln0fate

> вовлекается от 700 до 1000 серверов

нифига себе

kto_tama ★★★★★
()

А если представить что на всё это дело один бородатый админ... )))

PaulKaz
()

в ауте...

anonymous
()
Ответ на: комментарий от alo33

> Почему тег java? из-за того что сервы падают? зы: по ссылке не ходил

Тэг java был по очень простой причине. В описаниях гугловых архитектур, в качестве платформы разработки мелькает частенько java. Где то читал (ссылку предоставить не могу, sorry), что было решение на основе hadoop (это как раз java) у гугля.

real_maverick ★★★
() автор топика
Ответ на: комментарий от xstream

> а где ключевые слова linux и opensource?

ну дык сервера то на линуксе ;-)

real_maverick ★★★
() автор топика
Ответ на: комментарий от deis

> Они что там, винты от WD используют???

скорее сигейты новые :) А вобще там диски под постоянной нагрузкой, да и температура выше среднего, несмотря на кондиционеры

enby ★★
()

честно говоря не впечатлило :). 500-1000 серверов поднять коммандой из 2-10 человек можно гораздо быстрее, проверено в различных российских датацентрах неоднократно :). Сначала все сервера включаешь, потом консольку туда где что-то по нагиосу не поднялось. автоматическое включение серверов включать нельзя т.к. при старте сервер жрёт больше всего энергии и пилоты будут срабатывать.

anonymous
()
Ответ на: комментарий от enby

> да и температура выше среднего, несмотря на кондиционеры

посмотри доки от гугла по хардам, там по этому поводу написано что прям такой зависимости от температуры нет. Да и откуда данные что у них повышенная температура?

anonymous
()
Ответ на: комментарий от real_maverick

>Тэг java был по очень простой причине. В описаниях гугловых архитектур, в качестве платформы разработки мелькает частенько java. Где то читал (ссылку предоставить не могу, sorry), что было решение на основе hadoop (это как раз java) у гугля.

Hadoop - это конкурент bigtable от yahoo, так что гугл никак это не использует. Да и hadoop это не java.

anonymous
()
Ответ на: комментарий от GFORGX

> Мда, а я думал, у них там всё гораздо продуманнее и организованнее.

У них всё очень продумано. Прекрасный пример, когда из ненадёжных компонентов строят надёжную систему.

Legioner ★★★★★
()
Ответ на: комментарий от anonymous

> честно говоря не впечатлило :). 500-1000 серверов поднять коммандой из 2-10 человек можно гораздо быстрее, проверено в различных российских датацентрах неоднократно :). Сначала все сервера включаешь, потом консольку туда где что-то по нагиосу не поднялось. автоматическое включение серверов включать нельзя т.к. при старте сервер жрёт больше всего энергии и пилоты будут срабатывать.

Почитай про MapReduce, также рекомендую посмотреть какого размера кластеры поддерживает опенсорсный Hadoop, и сравнить с Гугловскими кластерами.

faustus
()
Ответ на: комментарий от anonymous

ну да. людям работать надо, а не Ътырпрайз-понты крутить

anonymous
()
Ответ на: комментарий от faustus

> Почитай про MapReduce, также рекомендую посмотреть какого размера кластеры поддерживает опенсорсный Hadoop, и сравнить с Гугловскими кластерами.

ты что курил? В данном случае "поднять" это не настроить а восстановить работу компов после сбоя по питанию.

anonymous
()

раньше читал что у них более 450k машин... и слабо верится что их кол-во уменьшилось.

anonymous
()
Ответ на: комментарий от faustus

>Почитай про MapReduce, также рекомендую посмотреть какого размера кластеры поддерживает опенсорсный Hadoop, и сравнить с Гугловскими кластерами.

Hadoop уже успешно запустили на кластере из 2000 машин. И по своей архитектуре он вполне может жить и на гораздо больших кластерах.

Да, и почитай про Hadoop - он как раз и предоставляет сервис MapReduce вместе с аналогом гугловской распределённой файловой системы.

anonymous
()
Ответ на: комментарий от anonymous

> и как 40 обычных писюков в стойку запихать?

а что мешает в стойку 45u запихнуть? свитч 48 портов, 5 пилотов. 39 серверов остаётся. Если там блейд-сервера...

anonymous
()

Буду краток - с размахом!

ManJak ★★★★★
()

А все мелкой конторки МС боятся, а тут такое.

redgremlin ★★★★★
()

>Всего у Google в настоящий момент 36 дата-центров, в каждом более 150 стоек, по 40 серверов в каждой. Итого, по самым скромным подсчетам около 200 тысяч серверов

36 * 150 * 40 = 216000 Шестьнадцатью тыщами больше, шестьнадцатью меньше .

anonymous
()
Ответ на: комментарий от anonymous

>честно говоря не впечатлило :). 500-1000 серверов поднять коммандой из 2-10 человек можно гораздо быстрее, проверено в различных российских датацентрах неоднократно :). Сначала все сервера включаешь, потом консольку туда где что-то по нагиосу не поднялось. автоматическое включение серверов включать нельзя т.к. при старте сервер жрёт больше всего энергии и пилоты будут срабатывать.

Гугл использует слегка модифицированную ext2. Машины там часто просто перезаливаются с нуля вместо ожидания, пока все поднимется и проверится. Так что это вполне ожидаемое время. Так что ваш опыт поднятия 1000 серверов здесь неактуален.

anonymous
()
Ответ на: комментарий от anonymous

> Так что ваш опыт поднятия 1000 серверов здесь неактуален.

Гадание на кофейной гуще. Ты сам не знаешь что они 6 часов делают.

anonymous
()
Ответ на: комментарий от anonymous

>Hadoop - это конкурент bigtable от yahoo, так что гугл никак это не использует. Да и hadoop это не java.

Зачем врать? Hadoop написан на java, и вовсе не от yahoo.

anonymous
()
Ответ на: комментарий от anonymous

> >Hadoop - это конкурент bigtable от yahoo, так что гугл никак это не использует. Да и hadoop это не java.

> Зачем врать? Hadoop написан на java, и вовсе не от yahoo.

Гм, простите не удержался от того, чтобы уточнить. Действительно, первый анонимус явно что-то недопонял.

1) Hadoop это не конкурент bigtable, потому что конкурент bigtable это HBase (недавно выделился в отдельный от hadoop проект) и Hypertable (сейчас в альфа стадии)

2) Hadoop это все таки java, даже если вам это не нравится

3) И он не от yahoo, yahoo стало его использовать

В общем:

http://wiki.apache.org/hadoop/

http://en.wikipedia.org/wiki/Hadoop

http://ru.wikipedia.org/wiki/Hadoop - правда по-русски весьма мало и на мой взгляд несколько коряво

Для тру (лень переводить):

Hadoop is a framework for running applications on large clusters built of commodity hardware. The Hadoop framework transparently provides applications both reliability and data motion. Hadoop implements a computational paradigm named Map/Reduce, where the application is divided into many small fragments of work, each of which may be executed or reexecuted on any node in the cluster. In addition, it provides a distributed file system (HDFS) that stores data on the compute nodes, providing very high aggregate bandwidth across the cluster. Both Map/Reduce and the distributed file system are designed so that node failures are automatically handled by the framework.

По теме: объемы конечно впечатляют.

Vark
()

Имхо, кластер из полумиллиарда китайцев и такого же индус-зеркала, вооруженых рисовой бумагой с чернилами сделал бы тоже самое, что и эти датацентры, только при этом не наносил бы окружающей среде столько вреда и работал бы он на рисе с кари.

AVL2 ★★★★★
()

ёптваю.. сколько ж админов и прочих айтишников это все поддерживают. это ж сотни тысяч человек... мда. масштабы гугля впечатляют, но на чем они зарабатывают деньги - до сих пор не понял.

Komintern ★★★★★
()
Ответ на: комментарий от anonymous

>Зачем врать? Hadoop написан на java, и вовсе не от yahoo.

Хорошо, yahoo его использует и является главным спонсором. Ку?

anonymous
()
Ответ на: комментарий от Vark

>1) Hadoop это не конкурент bigtable, потому что конкурент bigtable это HBase (недавно выделился в отдельный от hadoop проект) и Hypertable (сейчас в альфа стадии)

У него та же задача, что и у bigtable+mapreduce, яйца те же, вид другой.

>2) Hadoop это все таки java, даже если вам это не нравится

Я почему-то подумал, что hdfs не на java... Ошибся.

>3) И он не от yahoo, yahoo стало его использовать

Yahoo! has been the largest contributor. Первоначальный автор работает в yahoo над этим проектом (хотя он теперь какой-то директор), yahoo является главным спонсором.

anonymous
()
Ответ на: комментарий от Komintern

>ёптваю.. сколько ж админов и прочих айтишников это все поддерживают. это ж сотни тысяч человек... мда. масштабы гугля впечатляют, но на чем они зарабатывают деньги - до сих пор не понял

В гугле в прошлом году работало около 16 тысяч человек. IT около 3.

anonymous
()
Ответ на: комментарий от anonymous

>В гугле в прошлом году работало около 16 тысяч человек. IT около 3.

В смысле IT - треть от всего количества

anonymous
()
Ответ на: комментарий от anonymous

>Hadoop - это конкурент bigtable от yahoo, так что гугл никак это не использует. Да и hadoop это не java.

Не использует, это точно. Однако использует java:

Apache Hadoop is a Free Java software framework that supports data intensive distributed applications running on large clusters of commodity computers. [1] It enables applications to easily scale out to thousands of nodes and petabytes of data. Hadoop was inspired by Google's MapReduce and Google File System (GFS) papers.

jackill ★★★★★
()
Ответ на: комментарий от faustus

>также рекомендую посмотреть какого размера кластеры поддерживает опенсорсный Hadoop

Насколько я помню, существует ограничение на размер данных отдельной машины, ограничиваемой размером ее файловой системы Что-то изменилось?

jackill ★★★★★
()
Ответ на: комментарий от anonymous

>и как 40 обычных писюков в стойку запихать?

В оригинальной новости написано, что они заказывают у интела отдельные circuit boards и все впихивают в хитрые стойки.

jackill ★★★★★
()
Ответ на: комментарий от anonymous

> У него та же задача, что и у bigtable+mapreduce, яйца те же, вид другой.

У Hadoop+Hbase таже задача, что и у bigtable+mapreduce - да, это так, но не у одного hadoop :) Если вы скачаете последний релиз Hadoop, то вы получите Hadoop+HDFS без HBase. Вы просто не точно выразились.

> Yahoo! has been the largest contributor. Первоначальный автор работает в yahoo над этим проектом (хотя он теперь какой-то директор), yahoo является главным спонсором.

Отсюда разве следует, что Hadoop от Yahoo ?

Вообще автор это Doug Cutting и он же автор например Lucene. Да, судя по всему Yahoo его давно спонсировало, но на постоянную работу к ним он пошел только весной 2006-го. Hadoop, судя по всему, зародился немного раньше:

MapReduce

Posted by tomwhite on September 25, 2005 at 10:36 PM | Comments (3)

Doug Cutting has done it again. The creator of Lucene and Nutch has implemented (with Mike Cafarella and others) a distributed platform for high volume data processing called MapReduce.

http://weblogs.java.net/blog/tomwhite/archive/2005/09/mapreduce.html

http://jeremy.zawodny.com/blog/archives/006471.html

http://en.wikipedia.org/wiki/Doug_Cutting

Ну а потом Yahoo попробовали Hadoop и им понравилось :)

Vark
()
Ответ на: комментарий от Vark

> на чем они зарабатывают деньги - до сих пор не понял

Продают пришельцам с Антареса порцессорное время за золото.

А если серьезно - на рекламе у них все держится. И на некоторый платных услугах.

anonymous
()
Ответ на: комментарий от jackill

> В оригинальной новости написано, что они заказывают у интела отдельные circuit boards и все впихивают в хитрые стойки.

мало того, там фотографии есть

anonymous
()

>Итого, по самым скромным подсчетам около 200 тысяч серверов

I say we take off and nuke the entire site from orbit. It's the only way to be sure.

anonymous
()

Интересная статистика, да..

MiracleMan ★★★★★
()
Ответ на: комментарий от anonymous

>> Итого, по самым скромным подсчетам около 200 тысяч серверов

> I say we take off and nuke the entire site from orbit. It's the only way to be sure.

(c) "Aliens" 8)

tailgunner ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.