Вопрос по backpropagation.

почему так

матан, сэр. Предыдущую дробь dE/dw умножили на dS/dS (внезапно единицу). Здесь не «почему», а «зачем» - чтобы получить третье выражение, заменив dS/dw на xi

Что умножили на dS/dS (единицу) - я понял. Но сцуко! Зачем? Хитрый матанный ход? А можно как-то сюда прикрутить интуитивное объяснение действия?

Зачем?

чтобы получить третье выражение

на dS/dS (внезапно единицу)

Сама по себе запись dS/dS может и не быть единицей, а быть ближе к неопределенности 0/0. Все зависит от характера упоротости того математика, что её писал.

Это обычная производная сложной функции. Воспринимай как f(g(x))' по x = f' по g * g' по x.

Типа как [(x^2+1)^2]' = {2*(x^2+1)}*{2x}. В первых фигурных скобках как раз df/dg, во вторых dg/dx.

За рассмотрение производной как дроби получают двойку на экзамене, df/dx — просто удобное обозначение, которое во многих случаях ведет себя как дробь.

Нужна будет еще помощь с матаном — кастуй.

Нужна будет еще помощь с матаном — кастуй.

Это круто. Щас помощ по матану мне нужна часто.

Как дроби я её не рассматривал до тех пор, пока не прочитал в википедии: «Определяется как предел отношения приращения функции к приращению её аргумента при стремлении приращения аргумента к нулю, если такой предел существует» тут производная

Так дробь это или не дробь? Отношение - это что такое тогда?

До этого я пытался вспомнить что такое производная на память и определял её как «производная функции в точке X - это приращение функции, когда X увеличивается на стремящееся к нулю число». Отношение нафига прикрутили я до сих пор не понимаю. Вот откуда дробь. Так есть там дробь или нет? И что такое тогда это «отношение»?

В подавляющем большинстве случаев, в том числе в рамках приложений, ты можешь считать, что это дробь. Но на самом деле не дробь, а «предел дроби» :)

Ты сейчас его окончательно запутаешь)

У математиков почти везде пределы и бесконечность. Что с них взять! Это же абстракция, вымысел, но очень полезный вымысел. Вот механики больше рассматривают производную часто как раз как конечное отношение, но при достаточно маленьких приращениях

Да, это я зря :)

За рассмотрение производной как дроби получают двойку на экзамене

В подавляющем большинстве случаев, в том числе в рамках приложений, ты можешь считать, что это дробь

не разберется)

не разберется)

Сделай так чтобы это не случилось, нахер тут твои заунывные прогнозы?

Производная — это как быстро растёт функция в точке.

Теперь представь, что ты хочешь это выяснить по графику, т.е. «численно». Ты берёшь приращение dx или (\Delta x) и смотришь как функция (для простоты) увеличилась за этот промежуток. Допустим, приращение было такое, что функция там виляла или ещё почему, но тебе надо «более лучшую точность» — и ты приращение уменьшаешь, но тогда и приращение функции уменьшится, а вот их отношение — практически нет, отсюда и отношение приращения функции к приращению аргумента.

Теперь ты продолжаешь уменьшать приращение аргумента ещё больше, и в какой-то момент отношение перестаёт меняться вообще — вуаля — это и есть предел.

Ага, и он потом будет думать, что понял, что такое производная. Отношение может стремиться к значению сверху или снизу. Отношение может постоянно понижаться или увеличиваться в значении, а предел будет существовать, тем не менее.

Мне кажется, что предел сложно объяснить в картинках. Мозго-дробительная вещь. Все таки один из фундаментов математики, что отличает её от всех других наук. Сложность лучше признать, чем пытаться её завуалировать

Когда надо будет, он на основе вот такого вот понимания и обобщит. Или спросит.

Сложность лучше признать, чем пытаться её завуалировать

Херню проповедуешь. Я так и вижу, как тебя в первом классе общеобразовательной школы заставили осознать сложность... ну пусть умножения: «А вот умножать можно не только числа, но и много чего ещё, поэтому не будем мы тебя умножению учить, сиди осознавай сложность!»

Теперь представь, что ты хочешь это выяснить по графику, т.е. «численно». Ты берёшь приращение dx или (\Delta x) и смотришь как функция (для простоты) увеличилась за этот промежуток. Допустим, приращение было такое, что функция там виляла или ещё почему, но тебе надо «более лучшую точность» — и ты приращение уменьшаешь, но тогда и приращение функции уменьшится, а вот их отношение — практически нет, отсюда и отношение приращения функции к приращению аргумента.

Теперь ты продолжаешь уменьшать приращение аргумента ещё больше, и в какой-то момент отношение перестаёт меняться вообще — вуаля — это и есть предел.

О-о-о, шикардосное объяснение! Миллиард цистерн чаю этому господину! Жалко что ты анон!

Я бы тебе рекомендовал посмотреть на формальное определение и удостовериться, что это всего лишь формальная запись описанного процесса. А для закрепления таким же образом разбери \epsilon-\delta определение непрерывности функции. После этого ты сможешь примерно понимать матан. https://en.wikipedia.org/wiki/Continuous_function#Weierstrass_and_Jordan_defi...

Шикардосное, но неправильное. Определение предела по базе понять и так просто.

Очередная жертва академпропаганды. На курсики по хайпосетям записался, деньги заплатил, время потратил, так еще и бегает и академикам в ножки кланяется.

А теперь смотри как у белых людей:

https://docs.oracle.com/javase/7/docs/api/

Все мельчаших подробностях описано и гипертекстом связано. Вот это — стройно и красиво!

Решил зачитать русскую википедию.

В этом твоя ошибка. Никогда не учись по русской википедии. НИКОГДА НЕ УЧИСЬ ПО РУССКОЙ ВИКИПЕДИИ.

Конкретно backprop крайне доходчиво объясняет Andrey Ng:

https://www.youtube.com/watch?v=jf6h1x2vUBY

https://www.youtube.com/watch?v=mOmkv5SI9hU

Зачот.