у ВСЕХ.

просто 500-ки дохли безвозвратно.

Где то подвох.

Пишут что контроллеры SiI3132, SiI3124 - это fakeraid.

Проц. E8600, двухядерник, - не самый быстрый даже для десктопа.

Винтов 45 шт.

Собсна как проц. переварит такой гигантский софт-raid?

видимо като переваривает.

Хотя честно говоря не верится, тем более что RAID6

не подскажешь, где проводок брал. или сам паял платку? на том диске вся моя учеба+работа.

>Собсна как проц. переварит такой гигантский софт-raid?

Так ведь вроде почти ничем кроме этого не занят. Первая критика/сомнение по делу :)

Снизошел до оскорблений, красавец. Сопли сперва утри, потом, возможно, получишь право комментировать мои посты ;-) Для начала: http://en.wikipedia.org/wiki/Blade_server . Чтобы ты понял, что такое blade-сервер и чем он отличается от других систем. Дата-центры Гугла используют массовые комплектующие с целью унификации и дешевизны, плюс при таком подходе они не зависят от конкретного производителя и поставщика. У тебя, наверное, какой-то другой интернет, на локалхосте. Загугли по-человечески, осознай степень своего идиотизма и помалкивай, пока взрослые дяди тут разговаривают.

Не входит и не выходит.

>блоки питания - 1 на МП, 1 на харды.

Один БП только на НЖМД,другой на оставшиеся накопители и всё прочее. При выходе из строя того который питает системную плату данные становятся недоступны. Неэнтерпрайзно.

>Салазки там не нужны ибо все и так вынимается..

Вытащить можно, хотя это не слишком удобно. С салазками удобнее. потянул за рычаг -- НЖМД снялся с разъёмов. А вот вставлять уже совсем неудобно, без направляющих запросто можно повредить разъёмы на бэкплейне. Неэнтерпрайзно.

Blackblaze какая-то очень нишевая штука получилась. Обычно, когда контора дорастает до хранилища размером в несколько петабайт, эти петабайты должны быть доступны всегда, и тут не до наколенных поделок.

ба-лин, стока места на десктопе бы... эх =)

При тех же темпах развития это произойдёт уже довольно скоро.

> А вот вставлять уже совсем неудобно, без направляющих запросто можно повредить разъёмы на бэкплейне. Неэнтерпрайзно.

Повредил один разъём? Фиг с ним. Когд повредится больше допустимого процента - поменяем бекплейн, благо он дёшев. Ещё как энтерпрайзно ;)

Не этерпразйно.

>Повредил один разъём? Фиг с ним. Когд повредится больше допустимого процента - поменяем бекплейн, благо он дёшев. Ещё как энтерпрайзно ;)

Ага, выключаем сервер хранения, достаём из стойки, разбираем (причём разбираем очень серьёзно), меняем бэкплейн, собираем обратно, вставляем в стойку, молимся что всё собрали правильно. Ну вас, с таким энтепрайзом.

Сначала должно выйти из строя более половины хардов, затем при вставке каждого харда должен поломаться разъём и только потом придётся разбирать сервер.

Кстати, зачем собирать его "правильно" я так и не понял. Если вокруг куча таких серверов, информацию можно просто перезалить из соседнего.

>Ага, выключаем сервер хранения, достаём из стойки, разбираем (причём разбираем очень серьёзно), меняем бэкплейн, собираем обратно, вставляем в стойку, молимся что всё собрали правильно

Да ёлочки же палочки! Именно так, только без молитв. Подохло много винтов - ладно, гасим, меняем. Не заводится железка - кол с ней, она дешёвая, новую поставят.

Кстати, довольно интересное решение. Если рассчитывать на то, что такой блок прослужит год, то клиентам в среднем можно предоставить по 500Гб. Если блок выстоит три года, то уже 1.5Тб. Думаю, что столько места мало кому нужно, а посему ребята неплохо зарабатывают.

> Снизошел до оскорблений, красавец. Сопли сперва утри, потом, возможно, получишь право комментировать мои посты ;-) Для начала: http://en.wikipedia.org/wiki/Blade_server . Чтобы ты понял, что такое blade-сервер и чем он отличается от других систем.

И чем отличается то, что на видео от блейда ?

> Дата-центры Гугла используют массовые комплектующие с целью унификации и дешевизны, плюс при таком подходе они не зависят от конкретного производителя и поставщика. У тебя, наверное, какой-то другой интернет, на локалхосте. Загугли по-человечески, осознай степень своего идиотизма и помалкивай, пока взрослые дяди тут разговаривают.

Ты все такие там работаешь или подтвердишь свои слова ?

> Почему ты за эти деньги не взять SUN с гарантией и нормальным корпусом ?

потому что там написано что брали и чего это стоило.

см. "Appendix A: Detailed Backblaze Storage Pod Parts List" по первой ссылке.

то что ты написал - это дорогое решение которое полагается на стабильность железа. а ребята полагаются на софт и тот факт что короб за 7.5килобаксов можно на 40 тысяч наклепать пять штук.

> потому что там написано что брали и чего это стоило.

Я читал. HP мне вот уже который год меняет дорогие SAS по 300 Гб. Я думаю, что за это стоит переплатить ;)

> то что ты написал - это дорогое решение которое полагается на стабильность железа. а ребята полагаются на софт и тот факт что короб за 7.5килобаксов можно на 40 тысяч наклепать пять штук.

Я больше с железом в этом плане работаю. Я бы все таки выбрал готовый SAN с iSCSI и резервированием мощностей. Да и замена одного диска выходит слишком расточительной, нужно выдвигать весь юнит и уже потом копаться.

для начала надо определить какой баг - CC или LBA0.

затем берем датакабель( САМЫЙ ПРОСТОЙ )от Сименса (вроде говорили что только от 45 серии хотя у меня от 65 пошел) и распаиваем на сервисный разъем.

Распайка и дальнейшее легко гуглится по Seagate LBA0.

з.ы. в линухе вместо гипертерминала юзал minicom.

Новость зачотная. Заиметь бы такое на десктопе... :) Хотя бы десятую часть этого добра.

> И чем отличается то, что на видео от блейда ?

Посмотри еще раз внимательно и подумай.

> Ты все такие там работаешь или подтвердишь свои слова?

Для подтверждения чеши в гугл. Я там не работаю, просто знаю и все. Откуда - уже не существенно. Хочешь - сри дальше.

>Собсна как проц. переварит такой гигантский софт-raid?

>Так ведь вроде почти ничем кроме этого не занят. Первая критика/сомнение по делу :)

Ну а отдавать это все разве не надо (чего там - гигабит)? Опять же файловая система, тоже над ней думать надо.

Так раз оно у них работает - значит проц всё-таки справляется. В самом деле интересно, насколько он при этом загружен.

> Посмотри еще раз внимательно и подумай.

Это и есть блейд, если ты не заметил. Разница только в охлаждении и наличии UPS на самой плате.

> Для подтверждения чеши в гугл. Я там не работаю, просто знаю и все. Откуда - уже не существенно. Хочешь - сри дальше.

Если ты там не работаешь, так зачем говорить ? Wikipedia не является авторитетным источником. Запомни это.

баг cc. только кабель фиг найдешь. мож какой инет магазин торгует? никто не заказывал?

Интересно, ведь они закупают диски в одно время и вероятно из одной партии. Есть вероятность, что как только закончится время гарантии на диски диски начнут массово отказывать в узком интервеле времени?

>Опять же файловая система, тоже над ней думать надо.

А чего над ней думать? JFS - луше в данном случае ничего не придумать.

>Интересно, ведь они закупают диски в одно время и вероятно из одной партии. Есть вероятность, что как только закончится время гарантии на диски диски начнут массово отказывать в узком интервеле времени?

1.5 TB SATA Data Drive Seagate ST31500341AS 1.5TB Barracuda 7200.11 SATA 3Gb/s 3.5″

Хотя если бы что-то подобное случалось когда-нибудь, был бы большой скандал и мы бы об этом знали.

> Это и есть блейд, если ты не заметил. Разница только в охлаждении и наличии UPS на самой плате.

Так, вот мы и подобрались к сути. Определение блейда в студию.

> Если ты там не работаешь, так зачем говорить ? Wikipedia не является авторитетным источником. Запомни это.

Учить меня не надо, пожалуйста. Эта информация не из википедии.

> баг cc. только кабель фиг найдешь. мож какой инет магазин торгует? никто не заказывал?

Такой кабель с переходниками на разные винты есть в комплекте с PC-3000. На сайте у них продается в рассыруху, но обойдется дорого, тысячи 2, и я не уверен что они их продают тем кто у них комплекс не покупал.

По сути там обычный ком-провод для юсб и переходник, ком для юсб можно купить в любом магазине, схема переходника для порта сигейтов есть в инете.

я в евросети брал.

у них еще в некоторых магазах есть.

там не обычный ком а 3-вольтовый.

не знаешь - молчи.

пятивольтовый диск пожжет с большой вероятностью.

Перевод на русский

На хабре статью уже кто-то переводить взялся:
http://habrahabr.ru/blogs/hardware/68832/

И обсуждалово там поинтересней :)

> Новость зачотная. Заиметь бы такое на десктопе... :) Хотя бы десятую часть этого добра.

В смысле 6.7 тб? ну, это не так много

Не совсем безвозвратно. Можно было смастерить шнурок винт<->ком-порт, подключиться к нему терминалом и перепрошить.

>А конторка хвастается, что хранит данные клиентов на наколеночной поделке.

:) Посмотри на железо гугла.

Контора говорит, что есть бэкапы. Так что не вижу проблем. Видимо, как-то они просчитали риски и цены.

>интересно, а сколько все это сооружение "жрет"?

Посмотри на распечатку - там четко указаны два БП по 760Ватт.

>1. Отсутствие гарантии

Гарантии сами по себе ничего не дают. Раз у них это работает, значит, гарантия есть.

>2. Непродуманное питание

Мда, питание не очень. Однако его можно "исправить".

>3. Плохая вентиляция

Если в зоне 16 градусов, то имхо с вентиляцией все хорошо.

>Дадада, один сраный серенький проводок. Но такая система не надежна. Что будет, если они включатся или выключатся не одновременно? По хорошему БП надо сводить специальной кастомной платой с лоад балансом и блекджеком.

Ничего. Вот если посреди работы отключатся, тогда будет несколько обидно. Однако есть бэкап.

> Гарантии сами по себе ничего не дают. Раз у них это работает, значит, гарантия есть.

Суть в том, что купив Dell, HP, Sun итд они будут обслуживать мои серверы до конца гарантии. Я просто звоню, отправляю отчет в HP с данными от их утилиты и на следующий день курьер привозит мне диск на замену. А представляешь сколько тут дисков менять ?

> Если в зоне 16 градусов, то имхо с вентиляцией все хорошо.

У меня есть т.с. в обслуживании сервер старенький. Что-то вроде на Asus с 3Ware контроллером на 16 дисков и все это в очень неудобном корпусе Генезис. Так вот, один раз были проблемы с вентиляцией и все Сигейты сразу же умерли в нем, умер и контроллер за $1k. Купил контроллер, купил дисков, ставлю - BBU модуль не подходит, говорит к этой ревизии контроллера не подходит. Нарастил провода для BBU, вынес за куллеры и контроллер перестал сильно греться. Но там вдруг отвалились провода у куллеров, замены не нашел - поставил слабее. Вообщем еще тот геморой, а сервер заменить нельзя, ибо рейд и нужно будет переносить все с контроллером. Так что после этого я лучше возьму супермикрочку бюджетненькую и буду плевать в потолок, вместо копания отверткой в этом ящике.

> там не обычный ком а 3-вольтовый.

а это что? http://www.acelab.ru/dep.pc/images/usbterminal.jpg на нем отчетливо видно +5V вот собственно переходники http://www.acelab.ru/dep.pc/images/perexodniki.jpg

схему этих самых usbterminal можно спокойно найти в инете вагон и маленькую тележку там есть и на 3 и на 5в

почитать по поводу восстановления можно сдесь http://people.overclockers.ru/showman/record1 правда там юзают шнурки PL-2303, но подходят и на CP2101, собственно шнурок от pc3000 сделан на CP2101

> не знаешь - молчи.

ну, ну какой серьезный, маме дома, рот затыкать будешь

>Я просто звоню, отправляю отчет в HP с данными от их утилиты и на следующий день курьер привозит мне диск на замену. А представляешь сколько тут дисков менять ?

Хм. Гугл изначально меняли сами. Причем принцип у них простой - брать только те детали, которые есть массово на рынке.

Если мы посмотрим на их статистику по винтам, то увидим, что сначала они сдыхают в первые 8-9 месяцев, а потом уже примерно через 3-3.5 года.

http://tastyresearch.com/2007/08/09/hard-drive-failure-statistics-at-google/

Также можно посмотреть на температуру и ее влияние на вылет. Довольно неожиданно.

Также заметим, что вылетает не более 12 процентов.

Я так понимаю, что раз основная цель их бизнеса хранение данных, то у них есть админы и специально обученный человек, покупающий железо и возвращающий его по гарантии. Поскольку держать такого человека им все равно бы пришлось, получается дешевле, чем брать дорогой сервер.

Не думаю, что они меняют огромное количество дисков. У меня тут сервер стоит довольно древний (упер себе в коллекцию): 2xP3 (Xeon), 1Gb RAM, 6 SCSI винтов в аппаратном рейде (100 гигов каждый). Работала эта штука 5 лет. Проблема с перегревами написана у нее через весь корпус (и даже вылетала из-за этого неоднократно, пока не доставили дополнительных непредусмотренных вентиляторов и не открыли крышку. Винты целые.

Использовалась как хранилище.

>Так вот, один раз были проблемы с вентиляцией и все Сигейты сразу же умерли в нем, умер и контроллер за $1k. Купил контроллер, купил дисков, ставлю - BBU модуль не подходит, говорит к этой ревизии контроллера не подходит. Нарастил провода для BBU, вынес за куллеры и контроллер перестал сильно греться.

Заметим, что у героев топика софтовый рейд.

Может я чего просмотрел по ссылке, но мне кажется не плохо было бы добавить какой-нибудь ИБП.

всего за 8 штук баксов ?

Ну вот, теперь будет где складировать порнуху :))

> Про серваки sun ничего не скажу, сам не юзал

Зато я скажу. Ломаются с той же вероятностью, что и все остальные, только ремонт геморройней

> эти петабайты должны быть доступны всегда, и тут не до наколенных поделок.

Ре-зер-ви-ро-ва-ни-е!!!!

> Проц. E8600, двухядерник, - не самый быстрый даже для десктопа. Винтов 45 шт. Собсна как проц. переварит такой гигантский софт-raid?

Замечательно переварит. Посмотри ради интереса, какие процессоры стоят на платах "хардварных" raid-контроллероы.

> А еще я знаю, что если в RAID6 вылетит больше половины дисков (в случае Backblaze это очень возможно из-за раздельной схемы питания)

То как бы все равно ничего не случится, ибо между самими коробками также есть избыточность.

> Процессоры 4 x $700

Зачем 4 процессора на сторадж? Аналогично и с "серверной материнкой" - единственное требование к материнской плате - максимальная надежность и максимальное количество портов.

> но нормальный SATA контроллер с BBU стоит порядка $1000-1500.

И на кой он нужен? Работать будет только процессор, кэш здесь не нужен абсолютно.