ha4kell

RSS-записи, выгружаются автоматически, иногда до нескольких сотен за день доходит.

Просто не читай желтую прессу.

http://habrahabr.ru/post/39341/

У меня в универе начался курс по нейронным сетям и хочу поделиться информацией с вами, заодно и сам буду лучше воспринимать информацию, а значит выигравшими будут все. Поехали.

Спасибо за пример. Вот такой третьесортный шлак просто читать не надо, и никакого завала не будет.

На самом деле, там в начале статьи приведен список литературы. Собсно, только он и ценен))

Да-да, лучшие умы бьются на моделью пользователя, а тут приходит д'Артаньян и хочет слабать на коленке за один вечер.

А как ты это себе представляешь? Ты скармливаешь нейросети просто текст и пометку понравилось/не понравилось, а она потом такая умнеет, самообучается и дальше все понимает? Прикольно.

Ты бы сделал для начала какую-то ручную классификацию, например количество слов в статье, источник статьи, частота букв/слов и посмотрел. Может у тебя критерии незатейливые, всплыла бы какая-то явная закономерность

text mining

Нейронные сети - это такая чёрная магия. Для классификации (тебе ведь не кластеризация нужна?) есть более формальные методы, knn например, или NB.

Ты скармливаешь нейросети просто текст и пометку понравилось/не понравилось, а она потом такая умнеет, самообучается и дальше все понимает?

Классная идея. А может так можно научить компьютер смешные анекдоты отбирать? :-)

https://en.wikipedia.org/wiki/Naive_Bayes_classifier

например

dave, yoghurt, invy

Спасибо :) Нагуглил по вашим комментам NLTK и scikit-learn для python, как раз то, что хотел. Буду разбираться.

Кстати, в процессе гугления наткнулся на статейку Troll Detection with Scikit-Learn, занятная штука, только для английского языка, правда.

Ну, и кто на ЛОРе попробует внедрить? :)))

Модераторов, ведущих себя как боты, и так полно.

Нейронные сети - это точно не по этой теме.
Придумай свою разделяющую функцию и решающее правило. У меня сходу есть решение с байесом. Правда вероятно тебе понадобится хороший stemmer - таких уже 100500 уже написано.

https://www.coursera.org/course/neuralnets

По работе именно с текстом немного, но упоминается сетка обученная на википедии.

Более менее удобная библиотечка http://www.heatonresearch.com/encog

Вы тут допишитесь самообучающихся программ. Терминатор ничему не научил?

Маюши может предложить посмотреть в сторону вот такой штуки.

Не знаю, пригодится или нет, но посмотреть стоит.

Да-да, лучшие умы бьются на моделью пользователя, а тут приходит д'Артаньян и хочет слабать на коленке за один вечер.

Неправда!

Я пробую. Но не на л0ре.

Штука пригодилась, спасибо :)

Если это кому-то интересно вдруг

Да, штука действительно пригодилась, пусть это и самописный Байес (через NLTK и scikit-learn, думаю, было бы кошернее).

Но и в текущем костыльном состоянии мои нужды покрывает полностью. За неделю по рассылкам набралась достаточная выборка для обучения, чтобы ~90% угадывать правильно.

Единственное замечание: по умолчанию в штуке токенайзер установлен в разбиение по n-граммам. Результаты выдаёт крайне негодные; непонятно, почему автор решил его включить. Но в комплекте идёт ещё токенайзер по словам (в оригинале было \S+, т.е. по разделителю-пробелу бьёт, я заменил на \w+ - по словам, в моём случае больше подходит). Для русских слов работает кривовато - падежи, склонения etc; но этим займусь потом как-нибудь, в принципе, и в таком состоянии неплохие результаты.

Оно на самом деле угадывает интересные штуки?..

Удивительно.