Программы морфологического / графематического / синтаксического / постморфологического анализа

Старая сборка, проведенная одним из сотрудником Alt Linux:

ftp://ftp.altlinux.org/pub/people/kirill/aot/

Сразу бросилось в глаза, что словари для Linux и Windows качаются отдельно, что странно, по-моему.

Ни а силил новости :-(

...ляди, такие тулзы были хорошие -- нет, ща все закрыли нахрен.

Формат архива, символ конца строки, кодировка,...

Зачем надо было такой длинный заголовок без пробелов набирать? Вы кому навредить хотели мне или ЛОР-у?

даже сходив по ссылке ничего не понял:( Что это делает то?

Попробовал их он-лайновый переводчик.
Даю фразу:
---
Где-то я это уже видел, только вот не могу вспомнить, где.
---

Получаю:
---
I this have already somewhere seen me only here can not remember where.
---

Это что? Даже на подстрочник не тянет. Ужас.

http://www.aot.ru/onlinedemo.html

Онлайн-демо.
Морфология - проверь, как изменяется по лицам или числам заданное слово.
Для русского, англ, нем яз.

Скольким пользователям на ЛОР-е такая вещь будет жизненно необходимо?

Самый лучший онлайн-переводчик - www.translate.ru

Для AOT переводчик - побочный продукт.

translate.google.com не лучше

Somewhere, I have already seen, not only here can remember where.

> такие тулзы были хорошие -- нет, ща все закрыли нахрен.

Что закрыли, по теме вроде как раз качать можно, причём под LGPL.

Promt:

Somewhere I already saw it, only here I can not recollect, where.

Теперь мы знаем, какие программы рекомендовать Санычу! Кстати, как там слово "линукс" записано?

> Старая сборка, проведенная одним из сотрудником Alt Linux:

Которая ещё и не работает за отсутствием группы файлов. Кою, впрочем, удалось восстановить и таки собрать это чудо. Пользоваться не так, чтобы очень удобно, но лучшего и забесплатно встречать пока не довелось :o(

> Somewhere I already saw it, only here I can not recollect, where.
С некоторыми оговорками, пойдёт (слово "вот" его сбило немного).
ПО сравнению с безсмысленным набором
слов у АОТ, это просто отличный перевод. :)

СУЩЕСТВИТЕЛЬНОЕ мр,
ед
ЛИНУКС им
ЛИНУКСА рд
ЛИНУКСУ дт
ЛИНУКС вн
ЛИНУКСОМ тв
ЛИНУКСЕ пр
мн
ЛИНУКСЫ им
ЛИНУКСОВ рд
ЛИНУКСАМ дт
ЛИНУКСЫ вн
ЛИНУКСАМИ тв
ЛИНУКСАХ пр

СУЩЕСТВИТЕЛЬНОЕ мр,
ед
ЛОРОВЕЦ им
ЛОРОВЦА рд
ЛОРОВЦУ дт
ЛОРОВЦА вн
ЛОРОВЦЕМ тв
ЛОРОВЦЕ пр
мн
ЛОРОВЦЫ им
ЛОРОВЦЕВ рд
ЛОРОВЦАМ дт
ЛОРОВЦЕВ вн
ЛОРОВЦАМИ тв
ЛОРОВЦАХ пр

Новости - сто лет в обед.

Все исходники были доступны еще в 2004 году.Как говорится, "а мужики-то и не знают". Для FreeBSD порт доступен с 26 May 2005, а для Debian - с конца 2006 года. И все работает без проблем.

ед
КАПЕЦВЕНД им
КАПЕЦВЕНДА рд
КАПЕЦВЕНДУ дт
КАПЕЦВЕНД вн
КАПЕЦВЕНДОМ тв
КАПЕЦВЕНДЕ пр
мн
КАПЕЦВЕНДЫ им
КАПЕЦВЕНДОВ рд
КАПЕЦВЕНДАМ дт
КАПЕЦВЕНДЫ вн
КАПЕЦВЕНДАМИ тв
КАПЕЦВЕНДАХ пр

о_О

> для Debian - с конца 2006 года. И все работает без проблем.

Опа! А можно ссылку на пакет для Debian где всё работает?

К сожалению, вся информация - на работе. Могу поискать завтра, если это действительно необходимо.

Когда-то давным-давно жили-были старик со старухой и не было у них ни детей, ни внуков.

Результат(АОТ):

Once, langsyne zhit'-byt' old with beldam, and had they children grandsons.

Результат(Гугл транслейт):

A long zhili-byli old man with staruhoy and they have not been any children or grandchildren.

Да ладно вам. AOT это не переводчик (где действительно проще к google translate обращаться), но морфо- и син- анализатор. Вопрос -- видели ли вы подобные анализаторы забесплатно где ещё? Разве что mystem от Яндекса, но он функционально зело более убогий (да и без исходников).

> Скольким пользователям на ЛОР-е такая вещь будет жизненно необходимо?

Это необходимо при разработке более-менее грамотной поисковой системы. Но быдломонокодерам этого не понять =)

> СУЩЕСТВИТЕЛЬНОЕ мр,
> ед
> ЛИНУКС им

Саныч, ау!

Уау, какой аффтар умный, я даже так не мог и написать, что уж там про выговорить...

От тульских мастеров-самоучек слышу.

Я знаю что это такое и для чего это нужно.

Кстати в Promt и Abbyy морфологический модуль лучше справлялся с добавлением незнакомых слов. Указав часть речи они практически безошибочно определяли словоизменение.

У этого - неправильно определяется часть речи, а если и оперделял, то отказывается изменять слово.

Собственно это - самое главное качество морфологической системы.

Уберите словарь - что тогда будет? Со словарем и тупой может просклонят/проспрягать.

А вот без словаря - хрена лысого. А русский язык очень богат на самодельные слова.

Примеры неправильного оперделения:

паскалист
линуксоид - неправильно определил Винительный падеж
пригородов - не распознал варианта Фамилия, хотя Пригородовым - ОК.

Для сравнения поставьте последнюю демку FineReader.
Там есть интерфейс к морфологическому модулю.

>Формат архива

Зип и нет проблем

>символ конца строки

лишних 2 строчки кода...

> кодировка

юникод наше всё :)

> Самый лучший онлайн-переводчик - www.translate.ru
и чем лучше?

> Где-то я это уже видел, только вот не могу вспомнить, где.
перевод
> Somewhere I already saw it, only here I can not recollect, where.

Found Dict ID Lemma Grammems - но, ПОШЕЛ Я КАК ТО ДОМОЙ И ПРИШОЛ ДОМОЙ С ср,жр,мр,пр,тв,вн,дт,рд,им,ед,мн, НЕУБИВАЙМЕНЯ

Тем, что построен на самом лучшем движке в мире - от Промт.

А можно ликбез по теме? Что это? Для чего это? Для кого это?

Вроде как по ссылкам объясняется:

http://aot.ru/docs/sokirko/Dialog2004.htm

может он и лучший, но текст все равно уродует сильно

а если ОНА, ЛОРОВКА, ЛОРОВНИЦА или ЛОРЧАНКА?

> Once, langsyne zhit'-byt' old with beldam, and had they children grandsons.

А если туда-сюда пару раз попереводить? =)

>> Скольким пользователям на ЛОР-е такая вещь будет жизненно необходимо?

>Это необходимо при разработке более-менее грамотной поисковой системы.

Или тузегов^W бредогенераторов похожих на человеческое. Кстати, надо упячку просколнять.

> Вроде как по ссылкам объясняется:

> http://aot.ru/docs/sokirko/Dialog2004.htm

Слишком много слэнга (или бакаф :) ) Из этого можно получить словарь для ispell лучше Лебедевского?

> Это необходимо при разработке более-менее грамотной поисковой системы

Ну, положим для поиска достаточно выделения основы, что умеет также и snowball, и stemka (если из открытых). Вот для чего-то более интересного, навроде извлечения фактов из текста - да, очень нужно.

> Слишком много слэнга (или бакаф :) ) Из этого можно получить словарь для ispell лучше Лебедевского?

Не знаю. В общем, как я понимаю, сабж нужен для построения своих программ, умеющих работать с естественным текстом несколько на более продвинутом уровне, чем искать что-то регэкспами.

> А можно ликбез по теме? Что это? Для чего это? Для кого это?

Указанные инструменты служат для: а) разметки текста признаками слов (часть речи, род, число, падеж и т.д.); б) получения парадигм слов (т.е. для каждого слова можем получить все словоформы); в) синтаксический анализ текста (выделение подлежащих, сказуемых и т.д.)

Для кого? Для разработчиков ПО, которое обрабатывает тексты на естественных языках. Например, поисковые системы (хотя для них достаточно выделения основ у слов, так что АОТ не очень нужен), системы автоматической классификации текстов, системы извлечения фактов из текста, системы машинного перевода и т.д.

> Из этого можно получить словарь для ispell лучше Лебедевского?

Зависит от качества словаря АОТ. Я не проводил сравнения, но есть подозрение, что у АОТа сейчас словарь получше.

Кстати, если интересно, то тут: http://mathlingvo.ru/nlpseminar есть видео двух докладов про извлечение фактов из текста. В первой системе используется AGFL для синтаксического разбора, а во второй - АОТ, насколько я помню.

кажется это можно будет допилисть и заюзать в боте... спасибо за ссылки.

это та самая морфология, которая считает, что "стек" и "стекло" имеют одинаковый корень?

Стекло таки жидкость. Образовано от слова "течь".