LINUX.ORG.RU

Нейронные сети, ассоциативная память

 ,


1

2

Вырвано из контекста:

Если ключевые образы набора имеют вид xj = x0 + v, где v - некоторый стохастический вектор, то, вероятнее всего, память распознает вектор x0 и ассоциирует его с вектором y0, а не с вектором из фактического множества образов, использованных в процессе обучения. Здесь x0 и y0 - никогда ранее не виденная пара сигналов.

из текста следует, что x0 - константа, содержащаяся в каждом входном векторе при обучении. Тогда, если после обучения подать на вход x0+v', мы получим ответ фактически на x0, то есть составляющая v в ключе учитывается намного слабее чем x0. Так? Почему?

Я думал, что если x0 - константа, содержащаяся во всех входных наборах при обучении, то (если считать, что после обучения на вход подают сигналы x0+v') это будет равносильно следующему - обучать входными наборами xj = (x0 + v) - x0 = v, после обучения подать на вход v'. То есть x0 ни на что не влияет при выборке по ключу, так как по сути является просто точкой отсчета для обучения, как несущая частота, на которую накладывают сигнал.

дай почитать?

сеть выявляет очевидный общий признак, который есть во входных данных.

составляющая v в ключе учитывается намного слабее чем x0. Так? Почему?

потому что x0 чаще повторяется. хотя например если x0 по объему информации намного меньше v, то не факт что именно x0 будет ключевым.

То есть x0 ни на что не влияет при выборке

а вот смотря какая сеть и как обучать, можно и так сделать

nubideus
()

сеть «выучит» первую главную компоненту, которая в отсутствии нормализации данных и есть вектор в точку с координатами средних.

другое дело, что насколько тупой перцептрон надо использовать, что бы только первую главную компоненту извлекать :)

psv1967 ★★★★★
()

Зря вырвал фразу из контекста. Речь шла про простую конкретную модель памяти на носнове матрицы корреляции. И основной смысл послания был в том, что при обучении схожими векторами (существенно не ортогональными) получешь мусор. Извлечение из памяти выглядит как

Y = sum[ cos(Xk, X) * Yk ],

где (Yk, Xk) обучающий материал. Для похожих {Xn} имеем (условие в тексте 2.51):

cos(Xi, Xj) -> 1, i != j

из-за чего извлекаемый вектор Y получается мусорным, т.е. память ничего не «запомнила» и из неё нельзя извлечь базовый набор.

то есть составляющая v в ключе учитывается намного слабее чем x0. Так? Почему?

в силу условия 2.51, сам по себе |v| << |X| и он оказывает небольшое влияние на cos(...)

mashina ★★★★★
()
Ответ на: комментарий от nubideus

дай почитать?

Хайкин. Нейронные сети. Полный курс. Второе издание, страница 131

потому что x0 чаще повторяется.

сам по себе нет, но в составе каждого набора при обучении. И как это доказывает, что сеть, получив на вход x0+v', где v' -> v даст ответ как на x0?

pseudo-cat ★★★
() автор топика
Ответ на: комментарий от psv1967

Все равно не понимаю почему сеть будет апроксемировать вектора x0+v' к x0 а не к ближайшему x0+v. V-вектора для обучения, v'-после

pseudo-cat ★★★
() автор топика
Ответ на: комментарий от mashina

Так, память сглаживает, это понятно. Но почему нельзя считать, что она запоминает разницу между V если x0 константа? Если вектора из набора V отличаются слабо, то получается, что при подаче вектора v0, лежащем достаточно близко к vi и vj, сеть может выбрать неправильный вектор так как сглаживание может стереть и так небольшую разницу между vi и vj. Но при чем здесь x0? Он на что-то влияет? Разве это не аналог порога для отсечения шумов, к примеру

pseudo-cat ★★★
() автор топика
Ответ на: комментарий от pseudo-cat

потому что для этого надо что бы было перенесено начало координат из которых строятся вектора. сама сеть этого не делает. в ней нет операции перенести центр координат. надо например нормализовать данные.

... или работать не с одной главной компонентой, а несколькими.

psv1967 ★★★★★
()
Последнее исправление: psv1967 (всего исправлений: 1)
Ответ на: комментарий от pseudo-cat

Но почему нельзя считать, что она запоминает разницу между V если x0 константа?

Тебе дана конкретная модель памяти с формулами для обучения и извлечения. И даны её основные свойства, их можно прямо увидеть из формул:

1. запомнить без помех можно только ортогональные векторы {Хn},

1. вместимость памяти равна размерности пространства векторов X, оно же совпадает с максимальным кол-вом ортогональных векторов.

Т.е. разницу между близкими (Xi, Xj) она не «видит», это особенность данной модели. Какая-то другая, более сложная модель, вполне возможно увидит эту особенность.

Если написано про память, то это не означает, что к рассматриваемым примерам можешь прилепить все свои фантазии, связанные со словом 'память'. Никогда нельзя отрываться от контекста и считать что тебе хочется.

То есть вектор x0 уменьшает и без того малое расстояние между векторами v?

Расстояние между несколькми векторами V и так достаточно большое т.к. они произвольные. Добавление X0 делает их все похожими.

Но как только кол-во векторов V становится много больше размерности пространства, то они уже сами между собой становятся похожими (со стороны модели) и снова приходишь к точно такой же проблеме.

mashina ★★★★★
()
Ответ на: комментарий от mashina

Но как только кол-во векторов V становится много больше размерности пространства

какого пространства?

pseudo-cat ★★★
() автор топика
Ответ на: комментарий от pseudo-cat

пр-ва векторов Xk, Vk, Yk. По условиям, все они принадлежат метрическому пр-ву размерности m

mashina ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.