Где б взять текстов?

в интернете

«Войну и мир» возьми.

Да ладно, а то я не догадывался?

Энциклопедии, Словари (Даль, Ожегов) - должно быть не трудно достать

ну мало ли

В принципе, наклеить туда объемных произведений - вариант, да.

Полно книг в txt же было раньше. Пропали?

Да то верно - просто в валявшемся на харде запас не устроил (хотя, вангую - я уже слишком строг к своему велосипеду), вот и подумал - может нашлась бы готовая склейка.

На рутрекере библиотека Мошкова в plain text есть. Если надо больше, то флибусту можно найти на просторах, но там уже fb2.

Дампы библиотек есть, в том числе, в txt. Я для английского такой на 10 ГБ вытягивал. Правда, затем пришлось это дело парсить и выкидывать всякие лицензии, оглавления и т.п.

Кстати, предложенную выше Войну и мир не советую, там французского столько же, сколько русского. Также из библиотек лучше выкидывать всякие словари и т.п., в которых есть своя собственная внутренняя разметка.

http://opencorpora.org/?page=downloads

http://www.ruscorpora.ru/corpora-usage.html

ищи Донцову, Машкову и таких-же - они дамские романы/детективы клепают со скоростью превосходящей твои возможности по анализу. Зато словарь минимален :-)

«ищи Донцову, Машкову и таких-же» Оно парсить успевать не будет. «Зато словарь минимален» И этим оно и хреново - думаю, не будет соблюден баланс между ненужностью всего специализированного и всяким общим. Впрочем, кажется и так сгенерировал более чем достаточный для начала набор данных.

Так в plain text куча форматов спокойно конвертируется: html, chm, doc/docx, epub, lit, odt, pdb, pdf, ppt. ps, rtf, tex,... и т.д. И даже из djvu можно выдирать текстовый слой. И это всё без OCR'а.

Да в общем-то даже не в конвертации (пока речь не о ocr или отсутствии готового конвертера) дело, а в охвате. Пока решил для себя склейкой нескольких словарей.

Полно книг в txt же было раньше. Пропали?

lib.ru емнип сливает просто .txt

Лучше бери весь русскоязычный интернет и построй грамматику на его основе. На книжные правила забей.

«Войну и мир» возьми.

Там же половина на французском =)