Все эти мегараспараллеливающиеся хранилища - от жадности в первую очередь.

Кто нибудь этим пользуется? Расскажите впечатления.

крысы с корабля бегут?

Вообще уже пора использовать базы данных на основе файловой системы.

>изначально написанное для Facebook

... и используемое им в данный момент, или как?

твиттеру прежде всего нужно с говно-руби сползти

Да вроде да. http://www.facebook.com/note.php?note_id=24413138919&id=9445547199&index=9 Они её открыли еще в стадии беты и собирались с помощью сообщества запланированные фичи делать.

+1

БД появились когда ФС были не лучше всяких FATов, для компенсации недостатков тогдашних ФС.

Но сечас времена изменились и ФС существенно выигрывают у БД в производительности.

> твиттеру прежде всего нужно с говно-руби сползти

Ну дык, если им настолько дорог труд программиста, что они на кластерную систему хранения на Джаве переходят, то почему бы им не остаться на руби?

руби ещё хуже джавы

offtop

Twitter - креативная технология:

http://pleaserobme.com/why

Hey, do you have a Twitter account? Have you ever noticed those messages in which people tell you where they are? Pretty annoying, eh. Well, they're actually also potentially pretty dangerous. We're about to tell you why.

Тогда не вижу причин не приветствовать подобное начинание. На фэйсбуке огромные нагрузки на хранилище, с которыми оно вполне справляется, значит вещь годная.

Шариш. Вконтакту тоже скоро надо будет с мускуля слезать.

Есть линк на описание устройства контакта? Хоть какой-нибудь? Очень интересно.

> Но сечас времена изменились и ФС существенно выигрывают у БД в производительности.

Ну да. А когда вдруг требуются БД-специфичные фичи, производительность ФС-основанных решений вдруг проседает на два-три порядка.

Например какие? Речь идет о способе хранения данных а не о БД-специфичных фичах, они то как раз останутся. Просто исчезнет еще одна прослойка.

когда-то давно я читал на ЛОРе пост о том, что пора переходить на файловую систему на основе SQL, а теперь наоборот. Класс.

>Речь идет о способе хранения данных а не о БД-специфичных фичах, они то как раз останутся. Просто исчезнет еще одна прослойка.

А не есть ли это случай, подпадающий под бритву Оккама? Нужны ли в файловой системе все эти БД-специфичные фичи? Их там и своих вон сколько - не разгребешь.

Ну в базе основанной на ФС, SQL не приживется.

Вопрос не в том чтобы ФС снабдить фичами базы, а в том чтобы получать к базе доступ на прямую миную абстракцию существующих ФС. В целом это может не быть ФС в общепринятом виде.

> Например какие? Речь идет о способе хранения данных а не о БД-специфичных фичах, они то как раз останутся. Просто исчезнет еще одна прослойка.

БД-срачей уже было предостаточно.
http://www.linux.org.ru/forum/talks/3599295

На фэйсбуке огромные нагрузки на хранилище, с которыми оно вполне справляется, значит вещь годная

Справляется. За счет того, что гарантирует, что не все транзакции пропишутся. А в энтерпрайзе это не пройдет. Представь, что ты в банкомате положил деньги на счет, а транзакция не прошла

> Вопрос не в том чтобы ФС снабдить фичами базы, а в том чтобы получать к базе доступ на прямую миную абстракцию существующих ФС. В целом это может не быть ФС в общепринятом виде.

Ага, давайте снабдим фичами ФС базу. Все равно ведь надо каким-то образом управлять кластерами, фрагментацией, поиском данных на физическом устройстве и т.д. Разделение на два слоя - ФС и БД вполне логично для подавляющего числа задач.

> За счет того, что гарантирует, что не все транзакции пропишутся.

Можно линк?

Это ничего не доказывает. Сам посчитай, какая схема быстрее: клиент-сервер-фс-база или клиент-база ?

А как же, http://habrahabr.ru/tag/nosql http://habrahabr.ru/blogs/hi/77909/

>Есть линк на описание устройства контакта? Хоть какой-нибудь? Очень интересно.

http://www.google.ru/search?hl=ru&newwindow=1&client=firefox-a&hs=5XP&rls=com...

Welcom

>Справляется. За счет того, что гарантирует, что не все транзакции пропишутся. А в энтерпрайзе это не пройдет. Представь, что ты в банкомате положил деньги на счет, а транзакция не прошла

Разумеется, но ведь мы говорим не о банкоматах, а о твиттере. Уровень необходимости обязательной обработки всех транзакций там по сути тот же, что на фэйсбуке - та же соц.сеть.

> когда-то давно я читал на ЛОРе пост о том, что пора переходить на файловую систему на основе SQL, а теперь наоборот.

Наверное это было тогда, когда ещё ждали WinFS.

А почему не рассматривался кластер серверов под управлением какого-то там Оракла к примеру, он бы справился с нагрузкой бы.

Быть может они члены The I-Hate-Oracle Club.

>руби ещё хуже джавы

Завидно что-ли, что он на руби?

Не нравиться, напишите свой твиттер, без руби и блекджека.

>Все равно ведь надо каким-то образом управлять кластерами, фрагментацией, поиском данных на физическом устройстве и т.д.

Не обязательно. Тот же мускул, движок innodb, умеет хранить данные прямо на диске минуя фс

Сходил по ссылке

...а там:

Why does Cassandra slow down after doing a lot of inserts?

This is a symptom of having Cassandra's memtable thresholds too high, resulting in a storm of GC operations as the JVM frantically tries to free enough heap to continue to operate. You can increase the amount of memory the JVM uses, or decrease the insert threshold before Cassandra flushes its memtables. See MemtableThresholds for details.

Так жаба все-таки тормозит, да?

не завидно, а мерзко. руби - это такой выкидышь, что без боли на него смотреть невозможно

ты просто его не осилил. среди популярных скриптовых языков пока лучше ничего нету.

>>когда-то давно я читал на ЛОРе пост о том, что пора переходить на файловую систему на основе SQL

И поставить на неё MySQL!!!111

Любимое оправдание говноедов(простите) - ты не осилил. А руби и правда, ужас. Правда с новой VM сейчас он догнал Py2.6, но до Py3.0 далековато.

без боли невозможно смотреть на твою орфографию

Вообще уже пора использовать базы данных на основе файловой системы.

Стоп. Насколько я помню фс древовидная а скуль нет.
( за это в принципе создатель скуля и ругал скуль )

Или я не понял ?

Твиттер еще и на руби? Кошмар какой. А зачем вобще этот твиттер нужен? Кто нить знает? Я думал для ссылок, но есть вроде бы делисиоз для этого.

Запрашивает Миша Рыцаревъ

Стандартные вопросы на этот случай жизни: а не бывает ли так, что с выходом нового в нем

появляются недостатки те, которых раньше не было? (регрессия) А изменяется ли его

совместимость со старым железом? (хуже или лучше после этого становится?) Когда ядро станет

таким, что в нем усовершенствовать и улучшать станет уже в общем то нечего? И что будет собой

представлять это «светлое будущее»? Какие недостатки в нем еще остались? А насколько оно

сейчас совершенней ядра винды? (интересно, а заимствуют ли чего из него специалисты MS?) А

если открыть ея исходники, то будут ли те же линукс-специалисты таким же образом заниматься еще и с виндой? А то есть же слух например вот этот- http://www.infopk.ru/index.php?showtopic=16990 . (еще вот этот вот необычный еще есть- http://www.softboard.ru/lofiversion/index.php/t47513.html ) Да и базы же там всякие продают (Я например встречал более 80 их наименований. Интересно, а чего на этот счет я еще не встречал?). Может,- таким же образом наши умельцы и код винды раздобудут? (интересно, а для кого он наиболее интересен?) А какой есть русскоязычный сайт- аналог kernel.org ? (а как пользоваться сервисом онлайн-перевода?) То, что я нашел- это все бывало хорошо работавшим лишь в прошлом. А сейчас все то- почему то заброшено. Заброшенных или неполноценных сайтов о линуксе- много, ох как много! (теперь некоторые из таковых хороши лишь как «виртуальный музей» и историческое пособие. Например вот это- http://linuxkernel.ru/ ). Подскажите, а что в рунете на этот счет теперь лучшее?

Ганс прав.

«Если вы используете дополнительный слой для хранения данных у вас просто плохая файловая система.» (Ганс Райзер)

И таки мы с mv уже обсуждали и пришли к выводу, что БД хранящая данные не в файлах на файловой системе, но использующая для этого разделы НЖМД может быть рассмотрена как файловая система.

> Все равно ведь надо каким-то образом управлять кластерами, фрагментацией, поиском данных на физическом устройстве и т.д.

Встречайте: Oracle ASM. В 11.2 на его основе даже сделали файловую систему ASMFS, но я еще не пробовал. А сам ASM очень даже хорош для базы данных, как для RAC - само собой, так и для standalone. Есть опыт.

> Сам посчитай, какая схема быстрее: клиент-сервер-фс-база или клиент-база ?

По этому поводу мне очень нравится эпизод из мультфильма «Ишь ты, Масленица!»: Покуда твой конь четырьмя ногами: раз, два, три, четыре, мальчишка на двух ногах: раз-два, раз-два… Давай коня постерегу, а ты бегом: раз-два, раз-два. :)

>среди популярных скриптовых языков пока лучше ничего нету.

питон уже непопулярен?

> ты просто его не осилил. среди популярных скриптовых языков пока лучше ничего нету.

Очень смелое заявление )))

угу, а данные типа в астрале хранятся.

> среди популярных скриптовых языков пока лучше ничего нету.

Лучшего для чего?

> Сам посчитай, какая схема быстрее: клиент-сервер-фс-база или клиент-база ?

Ололо. Можно подумать клиент сразу обращается к БД минуя сервер.