«Hello World» на нейросетях?

https://www.coursera.org/course/ml

Насколько я помню этот курс, нейросетей там нет. Хз, проходил его ещё когда курсеры не было, что-то могло измениться

нейросети это что виртуальное и абстрактное

Нейросети — это модели, реализующие эвристические алгоритмы оптимизации.

Для начала советую узнать что-нибудь о курсе методов оптимизации (взять при этом книжку не бородатых годов), если, конечно, еще не знаешь.

Совершенно неверное определение нейросетей.

2 оп, это сложнее чем писать сраный персептрон, но и полезнее http://deeplearning.net/software/theano/

http://caffe.berkeleyvision.org

А теперь расскажи мне, для чего применяются нейросети.

Как расскажешь, подумай еще над тем, как ставится задача обучения.

Caffe - это довольно близко к тому что мне хочется

Давай говорить не на снисходительных тонах типа «ты подумаешь», а по сути. Модели реализующие эвристические алгоритмы оптимизации, вообще размытое понятие, которое ничего не объясняет. Нейросети это алгоритмы оптимизации, или нейросети настраиваются эвристически? Ни первое, ни второе не верно: нейросети настраиваются почти всегда вполне себе аналитически обоснованными методами оптимизации. То что нейросети решают какую-то очень конкретную задачу оптимизации тоже мало чего говорит: любую задачу можно поставить как задачу оптимизации, вообще любую. А в машинном обучении функционал, который нужно минимизировать, на самом деле даже посчитать нельзя.

Что можно сказать про нейросети, так что это просто модель классификатора, которую надо настраивать так, как получается.

Ну а теперь ты можешь все же рассказать что такое «модель реализующая эвристическую оптимизацию»

Вот как раз с аналитическими решениями в нейросетях плохова-то, методы обучения НС часто как и говорит буддист действует таки эврестически, очень многое зависит от их стартовых данных и подбора коэффицментов, который так же далеко не всегда налитичен. Так что по сути буддист-то сказал верно.

Проходил на курсере. Нейросети есть. Тоже рекомендую этот курс ТС.

Использование градиентного спуска для невыпуклого функционала - не эвристика. А про аналитическое решение я не говорил.

Меня заинтересовало понятие «модели, реализующие эвристические алгоритмы оптимизации»

Есть какие-то успехи в некоем подобии «матанализа» для нейронных сетей? Например, любой школьник знает, что у пораболы ветви симметричные и только 1 экстремум. Также любой студент младших курсов знает, что не нужно делать аппроксимацию прямой (вернее почти прямой, допустим немного «зашумленной» прямой) полиномом высокого порядка.

В нейронных сетях до сих пор познают дзен, перебирая структуру/сложность сети, добавляют наугад новые правила или все таки можно сделать какой-то анализ - какие результаты получиться в итоге?

Кое-что есть. Легко доказывается, например, что нейросеть с одним скрытым слоем и достаточно большим количеством нейронов может аппроксимировать произвольную непрерывную функцию с любой желаемой точностью. Отсюда следует, что простые (полносвязные) сети с большим количества слоёв особого смысла не имеют. Также, одно время игрались с алгоритмами обучения, при которых архитекрута сети выбирается сама динамически. Почему их все не используют? Потому что надроченный аспирант с выбором архитектуры справляется лучше. И вообще, машинное обучение другой ногой стоит где-то в психологии и нейрофизиологии. Например, сейчас в моде свёрточные сети, они хорошо работают в машинном зрении, потому что их архитектура напоминает настоящие зрительные сети нейронов у животых. По этому принципу их и строят. Алсо, не нравится такой гуманитарный подход - используй другие классификаторы, где шаманства меньше. SVM тот же.

Как-то так:

http://www.amazon.com/Combining-Pattern-Classifiers-Methods-Algorithms/dp/047...

Ктстаи, тебе еще может быть полезно вот это

https://dl.dropboxusercontent.com/u/19557502/ecml-pkdd_slides.pdf

и может это http://www.toptal.com/machine-learning/an-introduction-to-deep-learning-from-...

Легко, реализуй xor на однослойном персептроне

Отсюда следует, что простые (полносвязные) сети с большим количества слоёв особого смысла не имеют.

Теоретически так оно и есть. На практике в этот один слой получается большой, что не очень хорошо с точки зрения производительности. Хотя это может быть верно только ежели с моей колокольни смотреть, когда сеть надо считать около миллиона раз в секунду на обычном железе.

Также, одно время игрались с алгоритмами обучения, при которых архитекрута сети выбирается сама динамически.

Знаю про optimal brain destruction (довольно военное название, да), какие еще бывают?

Алсо, не нравится такой гуманитарный подход - используй другие классификаторы, где шаманства меньше. SVM тот же.

Плюс много.

Использование градиентного спуска для невыпуклого функционала - не эвристика

Эвристика начинается там, где надо решить с конфигурацией сети - числом нейронов, слоёв, биасами. :)

Для начала советую узнать что-нибудь о курсе методов оптимизации (взять при этом книжку не бородатых годов)

Как раз на днях решил вспомнить университетский курс, посоветуй что почитать.

Я бы посоветовал Акулича (djvu в интернетах легко находится), т.к. сам в нее периодически заглядываю, но она, скорее всего, уже бородатых годов.

Знаю про optimal brain destruction (довольно военное название, да), какие еще бывают?

В FANN, например, есть cascade-correlation: http://leenissen.dk/fann/html/files/fann_cascade-h.html

Ещё пробовали всякие генетические алгоритмы для выбора структуры сети, но там шаманства ещё больше.

Канон: Вентцель, Исследование операций. Также насоветую своего научрука: А.М. Цирлин, Условная оптимизация.

По последним достижениям: Reiner-Hoang, Global Optimization: Deterministic Approaches; Ю.Е. Нестеров, Методы выпуклой оптимизации; S. Luke, Essentials of Metaheuristics; Хансен-Уолстер, Глобальная оптимизация с помощью методов интервального анализа.

Фамилия знакомая, наверное, по нему и учились. Найду, почитаю. Спасибо.

Спасибо.

Именно, и это уже нихера не мифическая «модель реализующая эвристические модели оптимизации», это подбор структурных параметров, где обычно оптимизация не при чем.

Есть, я его проходил на курсере, все хорошо :)

В FANN, например, есть cascade-correlation: http://leenissen.dk/fann/html/files/fann_cascade-h.html

Спасибо, гляну.

Ещё пробовали всякие генетические алгоритмы для выбора структуры сети, но там шаманства ещё больше.

Ну да, шаманство кругом. Я нашел как то для себя конфигурацию которая более-менее работает для аппроксимации моей задачи. Почему она такая и как работает я объяснить не могу.

какие еще бывают?

Мне в своё время очень понравился NEAT и HyperNEAT. Это алгоритм который совмещает в себе генетику и нейросети. Если почитать оригинальные статьи, там есть ссылки на ещё ряд алгоритмов того же типа.

Не получится. ЕМНИП, для XOR - минимально допустимая структура сети 2-2-1: 2 входа, 2 в скрытых нейронов, 1 выход. Формально, это уже многослойный перцептрон.

Вообще, в идеале для теоретического «Hello world» достаточно книги Хайкина по нейронным сетям. Для практического - проприетарной платной Statistica с нейросетевым модулем.

Неплохо, есть грамотные люди. Ну и нелинейная функция активации

Для практического - проприетарной платной Statistica с нейросетевым модулем.

А примеры есть? Ато теории я уже наелся

Примеры чего? Примеры использования Statictica в документации или на сайте. Для задач аппроксимации функции достаточно приготовить подходящую таблицу обучающих примеров. Для кластеризации там есть специально подготовленные базы.

Немного ада и угара

http://perpetum-mobile.ru/realizatsiya-odnosloinoi-neiroseti-perceptron/

http://perpetum-mobile.ru/neironnaya-set-dlya-klassifikacii-produktov/