Вышла GlusterFS-2.0

Таки Cluster Или Gluster???

Вот и Gnu/Hurd чем то пригодился.

>было записано 830 Гигабайт

>чтобы увеличить объём хранилища до 5-8 Терабайт

Ето много?

не понял 5-8 терабайт?! а чего за объемы то такие детские, да еще только после увеличения... а сейчас сколько?

> системой сбора было записано 830 Гигабайт данных

типичный размер pron ;) на хоум десктопе - один sata диск средней паршивости

реально не понимаю в чем профит

пошел по ссылкам, на сайте документации не нашел, какая то вещь в себе

p.s. необходимо хранить туеву хучу мелких файлов, думал посмотреть... ;(

порыл...

вот это вот тоже самое http://gluster.com ???

с этого сайта нашел доки (ведущие правда на org ;)) http://www.gluster.org/docs/index.php/GlusterFS

>реально не понимаю в чем профит

у разрабов не хватает денег на винты, видно же. А сама ФС, судя по всему, поддерживает и большие объёмы данных.

>GlusterFS is a clustered file-system capable of scaling to several peta-bytes

>у разрабов не хватает денег на винты, видно же. А сама ФС, судя по всему, поддерживает и большие объёмы данных.

Может я чего-то не догоняю, но терабайтные винты уже продаются вроде...

>Может я чего-то не догоняю, но терабайтные винты уже продаются вроде...

ага, и именно на них у них не хватает денег. :) Всё выглядело до безобразия примитивно - нашли 4 винта на 250 гигов, соединили в кластер, поставили туда своё поделие, перекачали на него восемь с половиной сотен гигов порнухи с местного сервера и полученное счастье моментально обмыли.

>830 Гигабайт
>увеличить объём хранилища до 5-8 Терабайт.

Жэсть.

Эти винты только очень неспешные =( А SAS таких крупных не бывает

А в массив нельзя было 4 винта соединить? Странные какие-то физики нынче пошли...

>Может я чего-то не догоняю, но терабайтные винты уже продаются вроде...

Ну-ну покажи мне SCSI или SAS на терабайт...

>Ну-ну покажи мне SCSI или SAS на терабайт...

А надо обязательно SCSI? Вон гугль всю мировую почту, документы, фотки и еще много чего на SATA дисках держит. И ничего, работает всё... Хотя, конечно, могут иметь место узко-специализированные задачи... Но в наше-то смутное время?

> А надо обязательно SCSI? Вон гугль всю мировую почту, документы, фотки и еще много чего на SATA дисках держит. И ничего, работает всё... Хотя, конечно, могут иметь место узко-специализированные задачи...

Ну если надо регистрировать в реальном времени поток данных от большого количества датчиков, причем замеры при физических экспериментах на ускорителях должны проводиться с дикой скоростью (я даже не могу оценить с какой, спрашивай у физиков), то скорость записи винтов весьма, весьма критична.

>у разрабов не хватает денег на винты, видно же. А сама ФС, судя по всему, поддерживает и большие объёмы данных.

Нищеброды-програмеры даже не могут толком проверить сколько же потянет их ФС. Прослезился :)

вот у вас тут всё шуточки и приколы, а чуваки там науку двигают и реально что-то полезное пишут.

Физики... Слака в комплекте?

> Ну-ну покажи мне SCSI или SAS на терабайт...

http://price.ru/bin/price/prodlist?curr=2&vcid=010803&pnam=sas 1tb&base=1&where=2&sort=1&acod=incity&cid=070111

> Нищеброды-програмеры даже не могут толком проверить сколько же потянет их ФС. Прослезился :)

Поплачь лучше над своей дислексией, чудо.

>вот у вас тут всё шуточки и приколы, а чуваки там науку двигают и реально что-то полезное пишут.

Реальные чуваки в астралах сидят а не в каких-то там институтах высоких энергий :)

>Ну если надо регистрировать в реальном времени поток данных от большого количества датчиков, причем замеры при физических экспериментах на ускорителях должны проводиться с дикой скоростью (я даже не могу оценить с какой, спрашивай у физиков), то скорость записи винтов весьма, весьма критична.

А ОЗУ для чего придумали, имхо SCSI не нужен, SATA вполне хватит

>А ОЗУ для чего придумали

800 гигов оперативки продашь?

>имхо SCSI не нужен, SATA вполне хватит

Сата - отстой для нищебродов, скази - труЪ. Хотя бы потому что диски несколько "умнее" и завалов при чтении/записи не возникает.

А кто нибудь может внятно объяснить, чем они, эти все кластерные файловые системы отличаются? Я вот тут озадачился выбором системы распределённого хранения (проектирую тут кой чего), вот и думаю: lustre или GFS? А может этот Gluster? Может есть у кого не только опыт чтения интернетовских статей?

Те же деньги лучше потратить на RAID массив из SATA.

>http://price.ru/bin/price/prodlist?curr=2&vcid=010803&pnam=sas 1tb&base=1&where=2&sort=1&acod=incity&cid=070111

Так ведь там все винты 7200. Надежность у них конечно высокая но вот скорость? Плюс они всеравно примерно в 1.5-2 раза дороже аналогичных SATA, поэтому упреки различных личностей в нишебродстве мимо кассы.

>Те же деньги лучше потратить на RAID массив из SATA.

А если еще учесть стоимость обслуживания массивов из SOHO дисков.

>А если еще учесть стоимость обслуживания массивов из SOHO дисков.

С расценками не ознакомите, просто интересно стало насколько оно дороже обслуживания обычных SOHO дисков.

Насколько я понимаю glusterfs по функциям сравнима с gpfs от ibm, только скорость будет медленнее, но зато не придётся башлять ibm по 300 бакинских за процессор, типа лицензия, т.е. можно забацать себе расширяемый SAN для бедных

Сата слишком тупой для райдов. Скази же именно для райдов и разрабатывался. Семь устройств на одном канале с одновременной передачей данных это не шутка

>С расценками не ознакомите

Да я как бе и не в курсе, но логика подсказывает, что с учетом более частого выхода из строя (основываясь на статистике), обслуживание должно быть дороже.

>Сата слишком тупой для райдов. Скази же именно для райдов и разрабатывался.

Таки скази вроде как R.I.P. ему на смену пришол SAS?

//Не троллю, понятно что скази будет еще очень долго жить, но разработки в этой области ЕМНИП свернуты.

Не путайте теплое с мягким.
При большом количестве мелких операций записи/чтения нужна не скорость линейной записи а количество операций в секунду.
На линейных потоках SATA нормально себя ведут с хорошими контроллерами.
А вот если но обеспечить IOPS-ы (в основном базы данных) то тут пока SAS/SSD вне конкуренции.

> то скорость записи винтов весьма, весьма критична.

Если ты про последовательную запись (в один поток), то можешь хоть IDE использовать.

> не понял 5-8 терабайт?! а чего за объемы то такие детские, да еще только после увеличения... а сейчас сколько?

сейчас подключено 4 диска по 500 Гигабайт на 4 узлах (диски покупались когда Терабайтных на рынке ещё не было), я же написал, дублирующие узлы, поэтому суммарный объём хранилища 1ТБ, а "сырой" 2ТБ. В любой момент можно из 4-х узлов выключить два, по одному в каждой паре (отказ/настройка/etc), даже в этом случае все данные будут доступны, после подключения узла хранения обратно есть примитивная процедура запуска синхронизации данных на подключенном узле (самовосстановление кластерной ФС), что я проверил, более 100 ГБ данных были записаны на один узел, а затем дублированы на другой при самовосстановлении, где диск был случайно отключен некоторое время ;). Сейчас есть proof of concept, можно покупать 1.5-2 Терабайтные диски и устанавливать в узлы. Объём 5-8 Терабайт это 10-16 "сырых" не дублированных. Расширять можно до Петабайтов без проблем со стороны ФС. Данные с разных узлов читаются естественно в параллель, разработчики обещают доделать балансировку нагрузки чтения с дублирующих узлов. Гигабитный SAN это дешёвое решение, в нашем случае оно подходит, практически в 100% случаев данные читаются заданиями последовательно, задержки интерконнекта не волнуют. Кто не умеет считать деньги, у того их не будет хватать всё время ;)

Если вам нужно выбрать кластерную ФС, то советовать выбрать glusterfs я не буду, поскольку кластерные ФС активно развиваются и выбирать лучше под конкретный набор требований после тестирования.

5-8 ТБ помещаются в ОДНОМ писюке, не говоря про более ынтырпрайз решения. не понял чем тут вообще гордятся. в какой-нибудь супермикро sc-826 влезет 12 хардов по 2 ТБ, на фоне этого на новость хочется сказать "молодец, возьми с полки пирожок"

Умеет-ли GlusterFS хранить файлы больших размеров (больше чем физический диск)?

>супермикро sc-826 влезет 12 хардов по 2 ТБ, на фоне этого на новость хочется сказать "молодец, возьми с полки пирожок"

когда там плата контроллера сдохнет можешь два пирожка взять, а как туда ещё 12 хардов засунуть?

> механизму трансляторов (translators), позаимствованому в операционной системе GNU/Hurd.

> Вот и Gnu/Hurd чем то пригодился.

В Гну/УщербЪ трансляторы позаимствовали из БЕОСи, так что не очень то и пригодился.

> В Гну/УщербЪ трансляторы позаимствовали из БЕОСи

GNU/Hurd придумал их задолго до появления BeOS.

Давно на гластер посматриваю хотя сейчас вот это использую

ss@hyperblade-master:~> df -H -t pvfs2
Файловая система       Разм   Исп   Дост  Исп% смонтирована на
tcp://hyperblade-master:3334/pvfs2-fs
                       5,6T   3,6T   2,0T  65% /mnt/pvfs2

> 5-8 ТБ помещаются в ОДНОМ писюке

ещё раз, данные с разных нод читаются параллельно, агрегатная скорость - сумма скоростей интерфейсов узлов хранения, добавлять узлы можно пока есть потребность, диски на ВСЕХ узлах видны как единое хранилище

> данные с разных нод читаются параллельно, агрегатная скорость - сумма скоростей интерфейсов узлов

Боттлнек будет в толщине одного интерфейса :)

(если не юзается ROMIO или еще какие хитрости)

> Умеет-ли GlusterFS хранить файлы больших размеров (больше чем физический диск)?

http://gluster.org/docs/index.php/Translators_v2.0#Stripe_Translator http://www.gluster.org/docs/index.php/GlusterFS_FAQ#You_say_striping_is_bad.2...

одна из причин существования stripe xlator это возможность иметь файл не умещающийся на одной ноде хранения

> Боттлнек будет в толщине одного интерфейса :)

я говорю о суммарной скорости доступа к хранилищу, а не скорости доступа к данным от одного клиента ;)

>я говорю о суммарной скорости доступа к хранилищу, а не скорости доступа к данным от одного клиента ;)

Другими словами суммарная температура по больнице может быть выше чем температура на солнце (включая обитателей морга) ;)

> Таки скази вроде как R.I.P. ему на смену пришол SAS?

SAS это и есть скази...

> Сата слишком тупой для райдов. Скази же именно для райдов и разрабатывался. Семь устройств на одном канале с одновременной передачей данных это не шутка

Боюсь, у меня для тебя плохие новости.. ))) Времена, когда все диски нужно было вешать на один канал закончились в райное 2000-ого года. Сейчас почти все контролеры работают с дисками обеих типов и цепляют их каждый на отдельный канал.

По большому счёту это уже вопрос понтов. Пока будут суровые дядьки за 40-ник с тяжело нажитым опытом 90-ых верить, что только скази - луч света в их тёмном цартсве, скази, конечно, на рынке будут. )))

на прошлой неделе по скидке прикупил терабайтовый САТА за 99 долларов.
Заметил что минимум цены за гигабайт - недавно уже сместился на 1.5Т диски (~$150).
2ТБ стоят пока дороже ($350).

Так что 9Т - это 6 дисков - будет работать под самым дешёвым писюком сегодня (и стоить меньше штуки: $900)

у нас на кластере стоит сабж уже год, в начале были кое-какие проблемы, сейчас тьфу-тьфу работает, но обновлюсь =) А глюки проявлялись под большой нагрузкой.