Google разрешил использование технологии MapReduce в Apache Hadoop

> метода MapReduce

Прошелся по ссылкам, и ничего не понял.

На входе - множество пар ключ-значение. Они независимо преобразуются (map operation) на разных узлах кластера. Результат преобразования - это тоже пары ключ-значение. Результирующее множество пар объединяется (reduce). Все это с балансировкой нагрузки и вотчдогами.

Так? Если так, то схема тривиальная. Объясните кто-нибудь вкратце, в чем суть изобретения-то?

>Очередной раз google на деле показал хорошее отношение к проектам с открытым исходным кодом.

С моей точки зрения, сабж (отказ от патента на ПО) — нейтральный поступок по отношению к свободному ПО, а никак не хороший.

«Большой папочка» разрешил подержать (технологию).

Ждём, когда майкро$офт официально разрешит моно.

«Большой папочка» разрешил подержать (технологию).

большой папочка - IMHO - не слабо вкладывает в открытость и пользует естественно тоже не слабо

Ишты, как раздобрилась очередная ИМПЕРИЯ ЗЛА.

apache он разрешил, а ребят, которые деньги на ём зарабатывают эффективно, может и засудить. а попробуй обойтись без mapreduce сейчас.

> Если так, то схема тривиальная. Объясните кто-нибудь вкратце, в чем суть изобретения-то?

Это патенты!

А она его где-то запрещала?

>а ребят, которые деньги на ём зарабатывают эффективно, может и засудить

не троллинга ради - известен ли вам хоть один прецедент, в ходе которого Google засудил бы кого-то за юзание своих патентов в сфере ПО ?

>Компания Google официально делегировала развиваемым под эгидой Apache свободным проектам

А другим свободным проектам? Нет? И вы ещё хвалите гугл?

>Объясните кто-нибудь вкратце, в чем суть изобретения-то?

получаешь патент
ждешь, когда кто-нибудь реализует то, что в нем написано
троллишь реализовавшего
???????
PROFIT

Нет, но патент на такую довольно абстрактную штуку как MapReduce вызывает особенно большое беспокойство, других подобных по величине у гугла я не помню.

Если так, то это не совсем свободные проекты - на форки же эти разрешения нельзя применить?

Правильно, Старший брат должен быть добрым. Поначалу.

> А она его где-то запрещала?

Нет, но и не разрешала, а патенты-то все у неё.

Это тривиальное изобретение позволило гуглу на дешёвом не серверном железе организовать лучший по своим временам поиск.

Кроме того, в большинстве случаев между идеей и реализацией идеи - дистанция огромного размера. Самое сложное - это детали, те самые ватчдоги и балансировка нагрузки.

Вот чёрт, а для одной конторы несколько лет назад скрипты писал по обработки логов, только я не знал что это map->reduce называется, теперь контору засудят? :).

Пойду запатентую пузырьковую сортировку и весь мир будет у моих ног!

Патенты на ПО - зло.

> Это тривиальное изобретение позволило гуглу на дешёвом не серверном железе организовать лучший по своим временам поиск.

Солнышко, это тривиальное изобретение еще задолого до появления гугла позволяло считать на больших машинках всякие архиполезные для Человечества штуки... такие как взрыв атомной бомбы. Посему даже в бородатом и седом MPI есть для этого специальные примитивы.

Если «самая не злая» компания вдруг таки изобрела нечто действительно новое - попробуй объяснить в чем суть новизны? Кроме, конечно, того, что ей выдали на это патент.

> Вот чёрт, а для одной конторы несколько лет назад скрипты писал по обработки логов, только я не знал что это map->reduce называется, теперь контору засудят? :).

С конторы - бабки, с тебя - почки (в G-gle Kidney Bank, естественно). Патвен уже в пути.

>Пойду запатентую пузырьковую сортировку и весь мир будет у моих ног!

попробуй объяснить в чем суть новизны? Кроме, конечно, того, что ей выдали на это патент.

если изобретение уже используется давно и многими, то патент не выдается патентным бюро

> С моей точки зрения, сабж (отказ от патента на ПО) — нейтральный поступок по отношению к свободному ПО, а никак не хороший.

Им (Apache) доверили горбатиться и писать код за хлебушек и водичку. А могли бы и засудить. А вот насчет проклятых проприетарщиков, что хотят писать код за бутерброд с сыром, пока ничего не сказали. Видимо будут потом дрючить и отбирать бутерброд, когда он у них появится. Видишь какой хороший поступок?

> если изобретение уже используется давно и многими, то патент не выдается патентным бюро

Глупости. Вот яркий пример:

http://netoscope.narod.ru/news/2001/07/04/2795.html

Но таких случаев (пусть и не столь выраженных) - пруд пруди. Ты действительно думаешь, что кто-то там серьезно врубался, что это за map-reduce такой? :)

если изобретение уже используется давно и многими, то патент не выдается патентным бюро

Патентное ведомство не особо в этом разбирается(увы), поэтому OSDL организовало поиски prior art по некоторым направлениям и даже чего-то добилось, в гугле можно найти подробности.

>Глупости. Вот яркий пример:

http://netoscope.narod.ru/news/2001/07/04/2795.html

Но таких случаев (пусть и не столь выраженных) - пруд пруди. Ты действительно думаешь, что кто-то там серьезно врубался, что это за map-reduce такой? :)

я про сферическое бюро в вакууме

ps патенты на по не нужны

> Так? Если так, то схема тривиальная. Объясните кто-нибудь вкратце, в чем суть изобретения-то?

Изобретения нет, как и в 99% программных патентов. MapReduce - суть распараллеливание операций Map и Reduce. Это инженерное решение, поэтому Hadoop так долго и пилят. Вся суть в скалабильности.

> Это тривиальное изобретение позволило гуглу на дешёвом не серверном железе организовать лучший по своим временам поиск.

Хороший поиск Гуглу позолила организовать реализация ничем не оригинального алгоритма PageRank. Как эту реализацию распараллеливать - дело десятое - для эффективного параллельного умножения матрицы на вектор существует миллион алгоритмов.

Кроме того, в большинстве случаев между идеей и реализацией идеи - дистанция огромного размера. Самое сложное - это детали, те самые ватчдоги и балансировка нагрузки.

Ну, если в патенте описываются именно детали, то у Hadoop вообще не должно быть проблем с патентами, не так ли? Ведь не по гугловскому же патенту они писали свою реализацию? Или, все таки, в максимально туманном патенте делается заявка на *все* возможные реализации, как это принято в США с софтверными патентами?

> Очередной раз google на деле показал хорошее отношение к проектам с открытым исходным кодом.

Если б они хотели показать хорошее отношение, они б отдали эти патенты в свободное пользование всему свободному ПО — как делали другие компании, в частности IBM. А так — гугл «разрешил» апачу. Ну и ну. Я б на месте apache foundation и разрешения не спрашивал, а искал бы prior art. Конечно, даже если есть prior art, кто позволит себе издержки в суде, чтобы судиться с google? Вот так и появляются новости типа «google разрешил». Однако чего же в этом хорошего? Куда лучше было бы, если бы google наоборот подал в суд на apache foundation — для всех, кроме последних, конечно. А так висит эта ситуация с софтверными ПО и висит себе дамокловым мечом.

> На входе - множество пар ключ-значение. Они независимо преобразуются (map operation) на разных узлах кластера. Результат преобразования - это тоже пары ключ-значение. Результирующее множество пар объединяется (reduce). Все это с балансировкой нагрузки и вотчдогами.

Так? Если так, то схема тривиальная. Объясните кто-нибудь вкратце, в чем суть изобретения-то?

это патент, а не изобретение. кто первый зарегистрировал, того и тапки / патент

> С моей точки зрения, сабж (отказ от патента на ПО) — нейтральный поступок по отношению к свободному ПО, а никак не хороший.

Google не отказывался от патента - это было бы очень глупо, т.к. найдется патентный тролль, что начнет терроризировать google заново зарегав патент.

Google разрешил Apache использовать свой патент БЕЗ УПЛАТЫ И БЕЗ ИНЫХ ОГРАНИЧЕНИЙ.

> Ну, если в патенте описываются именно детали, то у Hadoop вообще не должно быть проблем с патентами, не так ли?

Не так =) Патент на MapReduce. Потому любая контора что реализует MR должна Google за пользование патентом. ИЛИ не применять алгоритм MR в своем софте.

а если яндекс задумает воспользоваться этой апачевой софтиной - ему претензии будут?

если да, то фигня это разрешение.

Это понятно. Но главное — что этот поступок нельзя назвать хорошим, это нейтральный поступок. Вот если бы заставили платить, то тогда бы был плохой.

> Очередной раз google на деле показал хорошее отношение к проектам с открытым исходным кодом.

Очередной раз Google на деле показал, что он такой же хитрожопый как Apple. Этим «технологиям масштабирования» лет двадцать пять. Гугла тогда еще в проекте не было (даже гаражном). Другое дело, что все это были академические проекты и научные статьи (consistent hashing и т.п.). А сейчас это стало востребовано. И кто-нибудь явно в скором времени бы судился с Гуглом (и был бы прав). А так вроде как с барской руки, Гугл «делится» инновациями. Противно, чесслово.

Суть патента в том что бы его не получил кто-нибудь еще.
В США так принято. Патенты многие конторы делают не что бы потом кого-то троллить, а что бы кто-нить не затроллил их самих.

а если яндекс задумает воспользоваться этой апачевой софтиной - ему претензии будут?

Нет, потому что яндекс это не США. Патенты это чисто причина см выше, т.е. в США так надо, с целью самообороны. Для серьезного бизнеса надо патенты в тех сферах где он работает получать, что бы потом не затроллили.

а если яндекс решит вылезти на рынок сша?

ну и даже переформулирую - яху захотят использовать эту апачевую софтину оставляют ли они себе возможность наезда по этому патенту?

если да - это разрешение ничего не стоит?

Спроси об этом у Гугла. Я думаю что нет, такой патент наверное можно отсудить - типа до патентования если кто-то уже реализовывал. Просто у гугла он на всякий случай, что бы шавки мелкие не тяфкали на слона.

так я и спрашиваю что именно они разрешили?

в их заявлении ответ на этот вопрос есть, или нет?

Читая новости о патентных заморочках, все время вспоминаю старый анекдот:

- У вас есть велосипидоры?
- Что вы себе позволяете?!
- Вы полагаете, велосипедики звучит лучше?

> Хороший поиск Гуглу позолила организовать реализация ничем не оригинального алгоритма PageRank.

ну расскажи, какие же были у PageRank предшественники

> ну расскажи, какие же были у PageRank предшественники

Зачем мне тебе что-либо рассказывать? Возьми оригинальный TR про PageRank, и почитай Sec. 2.1 про Related Work, а именно про citation index. Если тебе в школе уже рассказали про собственные вектора матриц, может даже что-нибудь и поймешь.

про собственные вектора мне рассказали еще в детском саду, а ссылочку дай, почитать основателей полезно

> ну и даже переформулирую - яху захотят использовать эту апачевую софтину оставляют ли они себе возможность наезда по этому патенту?

яху давно использует hadoop, и является одним из крупнейших его пользователей и саппортеров.
Также - Амазон A9, Twitter и другие, смотрите здесь:
http://wiki.apache.org/hadoop/PoweredBy

Когда я «игрался» с Hadoop'om - меня неподецки напрягал XML, как обёртка для запросов/ответов из нодов. Куда меньшие сковородки можно было бы ставить при больших нагрузках - если бы использовали простой протокол, который определить было - как два пальца ... Видимо, пионерия это дело начинала.
Ну, хотя бы типа передаваемых и возвращаемых мапов в виде пропертей или по типу MIME, т.е. с нормальными одно-символьными delimiter'ами. И такие результаты можно было-бы сразу последовательно грузить в хэш, без обогревания помещений интенсивным (и ненадёжным) парсингом, не говоря о таскании повсюду парсеров. Ведь любой фреймвок даёт ненужный оверхед. А здесь - просто было обойтись без фреймвока.

сорри, там с тех времён кажется уже и нормальные делимитеры поддерживаются.

Вот туториал:
http://hadoop.apache.org/common/docs/current/mapred_tutorial.html

(хм, и документация вроде появилась за несколько лет. Где-то надо реализовать кластер на этом чуде)

это фактически - распределённая файловая система с несколькими фишками.

И даже C API появился!
(http://hadoop.apache.org/common/docs/current/libhdfs.html)

Как раз по работе столкнулся с Apache Hadoop. Документация к сожалению никакая, но проект развивается активно, вроде работает. =)

> Вот туториал:
http://hadoop.apache.org/common/docs/current/mapred_tutorial.html

К сожалению там пловина классов уже deprecated, классы связанные с map reduce переехали с пакета mapred в mapreduce. Лучше смотреть примеры в транке.

(хм, и документация вроде появилась за несколько лет. Где-то надо реализовать кластер на этом чуде)

В виртуалбоксе заводится с пол-пинка.

Хороший тутор:

http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_(Single-Node_...
http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_(Multi-Node_C...