LINUX.ORG.RU

«Открытый» дисковый массив на 67 Тб

 blackblaze, , ,


0

1

Разработчики из компании Backblaze ( предоставляющей услуги по хранению неограниченного объема данных клиентов за помесячную плату) открыли в общий доступ конструкцию разработанного ими «супернакопителя» The Pod («Стручок») объёмом до 67 терабайт данных с постоянным доступом через протокол HTTPS.

Цена такого накопителя при изготовлении собственными руками составляет менее 8 тысяч долларов – это намного меньше, чем предлагают именитые производители.

Программная начинка состоит из связки Apache+Tomcat.

Схемы и описание устройства

Спецификация

>>> Подробности

А что, засунуть в компьютер пачку дисков, несколько контроллеров и поставить туда линукс стало проблемой?

mgdn
()

Просто адская плотность набивки дисковых накопителей в этот ящик... И щито с тепловыделением/теплоотводом у заморских инженеров проблем прям нету?

oc
()

>неограниченного объема данных
>объёмом до 67 терабайт


>доступом через протокол HTTPS

madcore ★★★★★
()

ua9oas

Запрашивает Миша Рыцаревъ: интересно, а сколько все это сооружение "жрет"? А какие интересно характеристики будут иметь "винты" через несколько лет и лет через 10? А флешки? А будут-ли дешеветь SSD накопители? А почему они такие дорогие? А кто продает все это по самым выгодным ценам? (насколько все это в Китае стоит дешевле, чем у нас, на Руси?)

ua9oas
()
Ответ на: комментарий от madcore

>неограниченного объема данных ага. прикинь сколько ты будешь заливать хотябы 30 терабайт на томже самом ADSL или 10мегабит канале. так что всё нормально.

lv77 ★★★
() автор топика
Ответ на: ua9oas от ua9oas

много будешь знать - скоро состаришься

Reset ★★★★★
()
Ответ на: комментарий от lv77

>прикинь сколько ты будешь заливать хотябы 30 терабайт на томже самом ADSL или 10мегабит канале. так что всё нормально.

Предполагается, что у меня есть средства и на услугу хранения, и на нормальный канал.

madcore ★★★★★
()

молодцы ребята.

только УПАСИ Бог туда чуть более жрущие харды ставить...

за самопальный корпус отдельный зачет :)

Slackware_user ★★★★★
()
Ответ на: комментарий от mgdn

> А что, засунуть в компьютер пачку дисков, несколько контроллеров и поставить туда линукс стало проблемой?

1. Корпус с возможностью замены всех этих дисков
2. Бэкплейны для всего этого дела
3. HPC(?) для подключения нужного количества контроллеров
4. Количество блоков питания
5. И самое главное, нужно все это охладить.

xpahos ★★★★★
()

>Обслуживанием накопителя занимается операционная система Debian Libux 4

мде

anonymous
()
Ответ на: комментарий от xtron

> интересно где они корпус заказывали?

Здесь вся соль именно в самопальном 4U корпусе.

SKYRiDER ★★★
()
Ответ на: комментарий от Astyanax

> Уже который раз убеждаюсь в высказывании: "Мы не настолько богаты, чтобы покупать дешевые вещи".

На это Google ответила своей статистикой - мы не настолько богаты что-бы переплачивать за дорогие винты, если они выходят из строя с тем же постоянством, что и не дорогие. И рассуждения чувака из Sun о "AFR and MTBF", "2400 hours of operation per year. But a year has 8760 hours." - фуфло.

Да и насчёт теории по погрузке и скорости он как бы тоже лечит пиковыми вещами, а реальность - зачем платить максимум скорости, когда нужна лишь треть её. Судя по [url=http://blog.backblaze.com/wp-content/uploads/2009/08/tim-datacenter-servers.j...] в конторе умеют считать нагрузку.

И о системной плате DG43NB, с 1 процессором и озу в 4Gb он рассуждает так как о типичном сервере.

А по факту эту железку надо рассматривать, как один большой винт на 64TB, со средними характеристиками.

Резонно лишь замечание о отсутствии батарей у контроллеров...

rnz
()
Ответ на: комментарий от xtron

>интересно где они корпус заказывали ?

Большая вероятность что это шкаф из Ikea. Один гик уже делал так.

kristall ★★
()
Ответ на: комментарий от madcore

5 долларов в месяц - стоимость услуги.

Вы смешали в кучу то, что они объясняют как создать устройство хранения на 67 терабайт за 8 килобаксов и то, что они предлагают услугу хранения "неограниченного" количества байт.

eugene2k
()

Очень грамотно организовано. Парни молодцы.

Manhunt ★★★★★
()

мне понравилась конструкция

а БП похож на Zippy Emacs :)

dagger
()
Ответ на: комментарий от anonymous

Ответ сантехника резонен, но есть нюансы. С производительностью ничего не сделаешь, а вот если принять некоторые шаги по резервированию то будет вполне юзабельно. Т.е. построить два таких независимых диско-кластера дешевле чем решения от других вендоров.

true_admin ★★★★★
()

Корпус зачетный. Весьма...

Кстати, кто-нибудь их бэкапным сервисом пользовался?

Harliff ★★★★★
()
Ответ на: комментарий от Harliff

С сайта:

"Is Backblaze going to offer Linux support?"

We would love to do a Linux version of Backblaze. However, we are currently focused on making the best online backup experience for Mac and Windows. The good thing is that the code is cross-platform so when we do release a Linux version it will benefit from all the improvements we've made for the Mac and Windows versions. Right now we don't have any support for public API's for people to upload/download to the Backblaze storage servers.

:(

Harliff ★★★★★
()
Ответ на: комментарий от true_admin

> а вот если принять некоторые шаги по резервированию то будет вполне юзабельно. Т.е. построить два таких независимых диско-кластера

В статье об этом прямо говорится: Backblaze Storage Pods are building blocks upon which a larger system can be organized that doesn’t allow for a single point of failure. Each pod in itself is just a big chunk of raw storage for an inexpensive price; it is not a “solution” in itself.

Manhunt ★★★★★
()
Ответ на: комментарий от madcore

> А конторка хвастается, что хранит данные клиентов на наколеночной поделке.

Чем эта "наколенная поделка" хуже заводской? Отсутствием логотипа SUN, IBM, DELL, HP, etc.?

andreyu ★★★★★
()
Ответ на: комментарий от andreyu

во во

ни ужели вы думаете что они вкидывают 8килобаксов в железо а оно потом не работает или мрет?!

корпус добротный. просветы меж винтов кажутся мелкими... это да. но протянут кулеры. просто вой дикий.

железка отличная.

dk-
()
Ответ на: комментарий от xtron

> интересно где они корпус заказывали ?

Мона наинженерить чертёж. А дядя Вася с завода всё сделает за немного денег или бутылок.

Arceny ★★
()
Ответ на: комментарий от madcore

> А конторка хвастается, что хранит данные клиентов на наколеночной поделке.

Ты в курсе, из чего Google собирает свои стойки серверные?

liksys ★★★★
()
Ответ на: комментарий от andreyu

>Чем эта "наколенная поделка" хуже заводской?

Дешевые комплектующие для десктопов (сделаны без учета серверных нагрузок, етц), два PSU без схемы дистрибуции питания, пропускная SATA превышена и SATA-контроллеры без резервного питания.

Нирикаминдую для сириус бизнеса.

IBAH
()
Ответ на: комментарий от IBAH

IBAH,
ну как бы да. и что?
не везде нужно перечисленное.
да и нормальные питальники без всяких извратов нормально вместе работают.

dk-
()
Ответ на: комментарий от dk-

>а оно потом не работает или мрет?!

Хорошие технологии на паблик не открывают. Хорошие технологии держат за семью замками.

Хотя, если поставить надежные харды, серверные контроллеры, серверную же мат.плату с железячками по мощнее, приладить свой кастомный БП в количестве одной штуки - будет неплохая контент-помойка для провайдера, например. Но будет ли эта конструкция дешевле, скажем, Дэловских?

IBAH
()
Ответ на: комментарий от dk-

>не везде нужно перечисленное.

Эдакая нишевая шайтан-коробка, да. Но я бы такие не поставил бы даже в качестве медиаконтент-сервера. Риск данные просрать зело велик.

IBAH
()
Ответ на: комментарий от andreyu

> Чем эта "наколенная поделка" хуже заводской? Отсутствием логотипа SUN, IBM, DELL, HP, etc.?

1. Отсутствие гарантии
2. Непродуманное питание
3. Плохая вентиляция

xpahos ★★★★★
()
Ответ на: комментарий от andreyu

>Чем эта "наколенная поделка" хуже заводской? Отсутствием логотипа SUN, IBM, DELL, HP, etc.?

Кроме прочих параметров, отказоустойчивостью.
Хотя не спорю, для определенных ниш переплачивать смысла нет.

madcore ★★★★★
()
Ответ на: комментарий от liksys

> Ты в курсе, из чего Google собирает свои стойки серверные?

Привет, как там с зарплатой в гугле ? Может я к вам устроюсь там ? :)

xpahos ★★★★★
()
Ответ на: комментарий от IBAH

gfs поверх нескольких таких ящиков вполне отказоустойчивое решение. Да при этом стоимость растет в два раза. Но и производительность кластера растет тоже в два раза.

Что то схемки платки в которую втыкаются диски не заметил... Насколько ее дорого делать интересно?

psv1967 ★★★★★
()
Ответ на: комментарий от xpahos

Проблема только в бэкплейнах, я думаю. Корпус заказной не так сложно сделать, несколько бп соединит даже школьник. Контроллеров же, как видно, четыре (из них три двухпортовые - можно легко обойтись тремя четырехпортовыми). В серверную материнку их можно легко поставить. Контроллеры, кстати, со средней ценой в сорок три бакса. Серверней некуда.

mgdn
()
Ответ на: комментарий от mgdn

Невнимательно прочитал статью - бэкплейны, похоже фабричные, не заказные. Ну а о пяти дисках на одном канале SATA уже сказано.

mgdn
()
Ответ на: комментарий от mgdn

>несколько бп соединит даже школьник

Дадада, один сраный серенький проводок. Но такая система не надежна. Что будет, если они включатся или выключатся не одновременно? По хорошему БП надо сводить специальной кастомной платой с лоад балансом и блекджеком.

>Серверней некуда

Ага, без батареек для защиты кеша.

IBAH
()

ох щит. сколько же ему надо охлаждения...

bernd ★★★★★
()

Нарушил традиции, прошел по ссылке.

>Обслуживанием накопителя занимается операционная система Debian Libux 4

>Debian Libux 4

>Libux

facepalm.jpg

oguretz
()
Ответ на: комментарий от IBAH

>система не надежна

А десктопные винты надежны? А дешевая матплата? Можно спорить долго, но если все описанное сделать

>По хорошему

, то цена будет, опять же другой.

mgdn
()
Ответ на: комментарий от mgdn

> Проблема только в бэкплейнах, я думаю. Корпус заказной не так сложно сделать, несколько бп соединит даже школьник. Контроллеров же, как видно, четыре (из них три двухпортовые - можно легко обойтись тремя четырехпортовыми). В серверную материнку их можно легко поставить. Контроллеры, кстати, со средней ценой в сорок три бакса. Серверней некуда.

Я не знаю где брали по 43 бакса контроллеры, но нормальный SATA контроллер с BBU стоит порядка $1000-1500. Это приблизительно 16-ти дисковый RAID 0+1, берем средненькие 750-1000 Гб WD($200) и получаем около 8 Тб массив. Какую серверную материнскую плату возьмем ? Tyan Thunder n6650W $500 - $600. Итого 4 x PCI-E, 2 x PCI-X - 48 Тб. Получаем около $30 000. Процессоры 4 x $700. Память не знаю сколько стоит, давно не покупал. Ну пусть мы поставим по 4 Гб и пусть она будет стоить $200. Корпус, салазки и корзинки пусть нам таже говногенезис предоставит(ну разобрали несколько старых корпусов и используем куски от них) - еще около $2000-3000. Ну там еще нужно будет сетевые карты(1 x Intel Pro 1000 2 Port - $250). Ну и тысяч в 40 ты уложишься со всеми мелочами. Почему ты за эти деньги не взять SUN с гарантией и нормальным корпусом ?

xpahos ★★★★★
()
Ответ на: комментарий от xpahos

да, и я думаю, что Tecram и 3ware не умеют объединять PCI-E и PCI-X контроллеры в один рейд.

xpahos ★★★★★
()
Ответ на: комментарий от IBAH

> Дешевые комплектующие для десктопов

а я вот сыт по горло брендовым железом. Брендовую четырёхюнитную дуру ЧЕТЫРЕ раза меняли. Дров нихрена нет, утилиты мониторинга для древнего rhel4 только есть, аппаратный рейд скорее тормозит сервер чем ускоряет...

Почему-то все верят в миф что серверные комплектующие надёжнее. Что sas-диски не дохнут, что память не бывает битой(отчасти спасает ecc), итд итп.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.