GridGain Open Source Grid computing

Я использовал GridGain для запуска юнит-тестов на кластере из 10 машин (они одновременно служат и build-фабрикой для C++).

Все, действительно, работало без особых проблем. Инсталляция/настройка - как и для всякого Java-приложения, ничего необычного.

Пока что складывается впечатление, что GridGain - это средство запуска unit-тестов на кластерах o_O Но unit-тесты паралельны по своей сути, и данными между собой не обмениваются...

>Но unit-тесты паралельны по своей сути, и данными между собой не обмениваются...

Есть много таких задач. Например в обработке больших массивов данных. Это не счетная задача которую сложно параллелилить - задача до нельзя простая - данных _тупо много_. Например транскодинг различного рода мультимедии или ее анализ - обмениваться данными не надо. А средство масштабирования ой как необходимо.

Apache - это который Geronimo? :))

>Пока что складывается впечатление, что GridGain - это средство запуска unit-тестов на кластерах o_O Но unit-тесты паралельны по своей сути, и данными между собой не обмениваются...

GridGain умеет интегрироваться со всякими GigaSpaces для обмена данными.

Ну и еще есть более другие средства. Например, Tangasol [Oracle] Coherence - аналога для других платформ НЕ СУЩЕСТВУЕТ (точнее, есть порт для .NET - но его можно не считать).

>> GridGain умеет интегрироваться со всякими GigaSpaces для обмена данными.

Наконец то диалог стал конструктивным.

GridGain постороен на SPI архитектуре и есть возможность написать свой SPI и сынтегрировать с другим продуктом.

Помимо GigaSpaces и Tangosole продукт интегрируется с JBoss cache. В планах интеграция с EhCache.

Что касается кешей данных поддерживается технология affinity split - когда задача выполняется на ноде где находятся данные, что минимизирует обмен между нодами.

Что до Тангосол то поддерживается discovery, communication и checkpoint (сохранение промежуточных результатов) на основе Tangosol.

> Что до Тангосол то поддерживается discovery, communication и checkpoint (сохранение промежуточных результатов) на основе Tangosol.

Тогда поставим вопрос по-другому: если checkpointing и communication обеспечивает Tangosol, что обеспечивает сам GridGain? Обобщенный интерфейс к распределенному кэшу? Еще более "по-другому" поставленный вопрос: какие нужны модификации к существующему приложению (скажем, мультимедиа-кодировщику), чтобы запуститься на гриде?

>> Тогда поставим вопрос по-другому: если checkpointing и communication обеспечивает Tangosol, что обеспечивает сам GridGain?

GridGain обеспечивает простой API для выполнения вашей таски, осуществляет failover "переброс упавшей задачи на другую ноду", load balancing. Интеграция с конкретным продуктом это не просто 10-20 строчек, иногда дохожит до 1000 строк чтобы обеспечить полноценное, правильное и надежное использование.

По сути GridGain создает и поддерживает всю инфраструктуру, а конкретные продукты (тот же тангосол) обеспечивают "низкоуровневые" операции. То есть эти 1000 строк кода вам писать не надо а достаточно сделать выдов функции API GridGain.

> GridGain обеспечивает простой API для выполнения вашей таски, осуществляет failover "переброс упавшей задачи на другую ноду", load balancing.

Это всё он обеспечивает сам, без сторонних продуктов?

>> Это всё он обеспечивает сам, без сторонних продуктов?

Да, вы можете выбрать shared storage checkpoint, multicast/tcp discovery и communication и не использовать сторонних продуктов совсем.