История изменений
Исправление Norgat, (текущая версия) :
Не hadoop, а Storm скорее (софт риал тайм сбор данных, hadoop это про batch processing, как и Spark).
Storm, возможно, воткнём на этапе обработки данных. Но для него нужен поток данных, который он где-то будет хранить (задачи могут генерироваться, как внутри кластера обработки, так и снаружи). Правда там зоопарк для запуска и мониторинга ещё тот (ZooKeper + Nimbus + сам Storm только запуска кластера).
И то не факт, что вообще стоит брать эту Java прослойку под кластер, тут смотреть надо, а оправдает ли она себя вообще.
Исходная версия Norgat, :
Не hadoop, а Storm скорее (софт риал тайм сбор данных, hadoop это про batch processing, как и Spark).
Storm, возможно, воткнём на этапе обработки данных. Но для него нужен поток данных, который он где-то будет хранить (задачи могут генерироваться, как внутри кластера обработки, так и снаружи). Правда там зоопарк для запуска и мониторинга ещё тот (ZooKeper + Nimbus + сам Storm только запуска кластера)