LINUX.ORG.RU
ФорумAdmin

Готовый софт для облаков?


0

1

Облака-шмоблака, в огороде бабка.

Росла-росла наша конторка, да и выросла до десятков серверов по всему миру (пробовали разные датацентры, ололо). В итоге, появилась смешная идея - раз уж у нас есть много серверов по всему миру, почему б не заюзать их под что-нить полезное. Например, под распределённый кластер для размазывания нагрузки (есть сервисы, периодически попадающие под ddos, трафик других сервисов зачастую выходит за лимиты хостера). Вот только беглый поиск по гуглям не выявил ничего полезного в этом направлении. Всё что есть - распределённые системы виртуализации (виртуализация - шмиртуализация, нафиг-нафиг) или параллелизация выполнения типа MPI.

Интересует софт для организации облаков:

1. Для организации распределённой системы доставки контента. То есть выкладываю я 1 файл на 1 сервер и хочу, что б обратившись к любой из нодов кластера я мог этот файл получить (через редирект, например). Но при этом не было тупого копирования всех файлов на все ноды, а было умное, т.е. например, популярные файлы есть везде и идёт минимизация трафика с учётом геолокации, а непопулярные - где попало (даже не где попало, а где свободного трафика больше).

2. Для организации распределённой вычислительной среды по схеме чё-то вроде google apps. Т.е. выкладываю я скрипт в одном месте и сразу же везде он может работать. Разумеется, без sql, допустим, с какой-нить nosql-базой, распределённой точно так же, по всему миру.

Бывает ли доступный (читай, opensource) софт такой природы или все повелители облаков пишут всё сами под конкретные нужды?

★★★★★

Напиши с нуля, задачка интересная и несложная, за неделю вместе с вебинтерфейсем и прочими фигнями сделаешь.

Есть какие-то свободные «облачные» библиотеки и фреймворки, но те что я видел был, извините, хренью. А они почти(не пишу «все» т.к. всех не видел) все хрень т.к. изначально кто-то «на коленках» решал свою задачу а потом уже расширял функционал и гордо обзывал «движком облачных технологий».

true_admin ★★★★★
()
Ответ на: комментарий от isden

херня там. Там простая тупа софтина для запуска образов в виртуалке, это совсем не то. Причём до амазоновской реализации(с которой она типа слизана) ей как до луны. Я считаю это bloatware.

true_admin ★★★★★
()
Ответ на: комментарий от isden

Как уже сказал true_admin, херня там. Я тоже, наслушавшись маркетологов, полный оптимизма пошёл читать к ним на сайт. Фиг там, ничего и близко.

AngryElf ★★★★★
() автор топика
Ответ на: комментарий от true_admin

> Напиши с нуля, задачка интересная и несложная, за неделю вместе с вебинтерфейсем и прочими фигнями сделаешь.

Эт понятно, что можно. Не хотелось просто велосипед изобретать. Но, видимо, не велосипед. Буду пробивать бюджет... )

Есть какие-то свободные «облачные» библиотеки и фреймворки, но те что я видел был, извините, хренью. А они почти(не пишу «все» т.к. всех не видел) все хрень т.к. изначально кто-то «на коленках» решал свою задачу а потом уже расширял функционал и гордо обзывал «движком облачных технологий».

Ну своё с такого же и начнётся, собсно, вариантов нету :)

AngryElf ★★★★★
() автор топика

> 1. Для организации распределённой системы доставки контента. То есть
...

2. Для организации распределённой вычислительной среды по ...


«хочу игру ... грабить корованы»(тм) Примерно так это звучит.

Все эти гриды слишком специфичны по отношению к задаче с одной стороны, с другой стороны только выглядят простыми. По этому и нет «общего решения» - каждый решает свои проблемы более менее просто, но устраивающий некую группу юзеров тулкит широкого профиля смастерить очень сложно. Ну и пока просто само количество подобных систем относительно небольшое.

Ваш же опыт говорит об этом - у вас уже всего много, а никакого гридооблака до сих пор не было нужно. В принципе уже на нескольких VPS'ах можно получить выгоды от грид решения, достигнув некоей независимости от датацентра. Но так как компаниям(включая вашу) до сих пор было проще просто держать по серверу(или кластеру) на проект, то и количество тех кто делает действительно распределенные системы относительно небольшое. А раз небольшое то и количество тех кто не просто выкладывает свои наработки но и еще делает их более менее универсальными, вообще исчезающе мало.

Тем более что ту же независимость от датацентра делают арендой резервных серверов под конкретный проект и репликацией. Всякие кластерые mysql/postgres для этого в том числе. На сколько я помню еще больше коммерческих решений.

PS
Отсюда собственно вытекает подозрение, что возможно, вы там у себя в конторе беситесь от незнаю чего :) В принципе для русских контор характерное явление это дисбаланс между стоимостью железа/услуг vs стоимостью кадров(во всем мире дешовое железо а тут наоборот, как будто дешевые мозги) и творческая недореализация сотрудников(там где во всем мире сотрудники идут делать рисеч в том числе в универы и в собственные разработки, тут сотрудник на рабочем месте выходит с рацпредложением замутить вундервафлю) :):):)

kernel ★★☆
()
Ответ на: комментарий от kernel

Хе-хе. Респект :)

Впринципе, всё разложено по полочкам, всё понятно, где надо - каюсь, где надо - понимаю. Спасибо :)

Впринципе, все доводы понятны. Смущало то, что, например, для свежего buzzword'а «виртуализация» есть с десяток готовых решений, что под облака, что без них. А вот для более простых (или более сложных?) облаков совсем ничего нету.

AngryElf ★★★★★
() автор топика
Ответ на: комментарий от AngryElf

> Смущало то, что, например, для свежего buzzword'а «виртуализация»

«Свежему» баззворду виртуализация лет десять где-то уже только чисто линуксовому, а до этого солярные контейнеры, бсдшные jail'ы и повсеместно юзаемые юниксовые chroot'ы :) И это не считая IBM с его массовой виртуализацией начиная со второй половины 60-х штатно входящую в каждый мейнфрейм ;)

Данную конкретную его инкарнацию вызвало тихое и незаметное, но быстрое :), распостранение VPS хостингов на базе ctx патча к ведру линукса. Стремительность процесса показала что виртуализация это не теория а конкретная потребность.

Это вызвало сильное желание всех подряд срубить на процессе бабло, что вызвало появление компаний типа xen, развитие уже существовавших «тяжелых» средств виртуализации вроде vmware и сам базз-шторм - скрытая и открытая реклама этих самых компаний.

А вот для более простых (или более сложных?) облаков совсем ничего нету.


Изобретение «грид на PC» требует изобретения «виртуализация на PC» :):):)

Желание заниматся гридами собственно не случайно - идея то в общем то появляется у любого компутерного инженера который занимается задачами опреденного уровня в этой области. Вот с полгодика назад KRON73 выходил с идеей мозгового штурма на тему создания общественного грида :) Соответственно появление грид технологий как более менее массовых неизбежно. Но вот как оно пойдет, в какой форме и тп пока неясно. По этому собственно и на слуху облака, пример движения в том же направлении - там всю сложность отдали клиенту, дав ему возможность делать внутренности как ему угодно.

То есть время мучать эту задачу на уровне решения своих потребностей, выкладывания разработок под FOSS лицензиями и обмен информацией. Как только критическая масса накопится - будут и тулкиты, и все что нужно.

PS
Кстате имхо в гугле поймут что им же выгодней выкладывать не только API ну и саму серверную часть их аппэнжина. Тогда проблема будет частично решена, по крайней мере для тех кому нравится аппэнжин.

kernel ★★☆
()
Ответ на: комментарий от kernel

> «Свежему» баззворду виртуализация лет десять где-то уже только чисто линуксовому, а до этого солярные контейнеры, бсдшные jail'ы и повсеместно юзаемые юниксовые chroot'ы :) И это не считая IBM с его массовой виртуализацией начиная со второй половины 60-х штатно входящую в каждый мейнфрейм ;)

Понятно, что виртуализация - не вчерашнее изобретение. Я о массовом затуманивании мозгов говорю, которое началось в последние 2-3 года.

Кстате имхо в гугле поймут что им же выгодней выкладывать не только API ну и саму серверную часть их аппэнжина. Тогда проблема будет частично решена, по крайней мере для тех кому нравится аппэнжин.

Системные требования у него будут, думаю, вай-вай. «Возьмите 10.000 серверов....». Да и не выложат они ничего. Как я понимаю, на appengine крутятся все их сервисы (gmail, поиск и всё-всё).

AngryElf ★★★★★
() автор топика

Чтобы взять опенсорцный код и на нем враз сделать распределенную CDN - это ты конечно губу раскатал, но думаю полезно будет посмотреть на Apache Hadoop и уже на основе его попробовать что-нибудь построить.

Насчет распределения нагрузки, есть ведь и более простые чем all-in-one методы. DNS roundrobin, (reverse) proxies, multi-master DBMS, distributed filesystems etc etc etc. Hadoop многие вещи объединяет, но не думаю чтоб так уж сложно было построить своё из существующих решений под каждую конкретную задачу.

volh ★★
()
Ответ на: комментарий от AngryElf

>Как я понимаю, на appengine крутятся все их сервисы (gmail, поиск и всё-всё).

Неправильно понимаешь. Таки уже почитай http://highscalability.com/google-architecture . Вышеозначенный Hadoop - это ЕМНИП первая попытка построить открытый стек аналогичный гугловому.

volh ★★
()
Ответ на: комментарий от volh

Не очень понимаю, что я не понимаю :)

appengine построен на тех же mapreduce/bigtable. Да, подозреваю, что гуглевские аппликации не хостятся конкретно на appengine, но работают точно так же. В статье по ссылке ни слова не говорится, что это не так. Собсно, потому что никто этого никогда не узнает, не работая в гугле. Но логически рассуждая - почему нет? appengine явно является более упрощённой и приспособленной для юзеров средой выполнения по сравнению с тем, что доступно гуглевцам. Вопрос - для чего они юзают более мощный вариант appengine? Ответ, по-моему, очевиден... Но это всё домыслы.

За hadoop спасибо, будем посмотреть.

AngryElf ★★★★★
() автор топика
Ответ на: комментарий от AngryElf

>Да, подозреваю, что гуглевские аппликации не хостятся конкретно на appengine, но работают точно так же.

Ну тык, гуглевская инфраструктура и его appengine - это как доктор ЗлоЪ и его МиниМы :) Они внешне похожи, различаются размером на порядки, и второй даже говорить не умеет.

Удачи.

volh ★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.