http://habrahabr.ru/blogs/algorithm/103467/

Спасибо.

сравнимый по количеству символов, допустим, с «Войной и Миром», то процесс будет стремиться к бесконечности.

В лучшем случае 20 мегабайт текста разобрать на слова? lol.

пожалуйста, но вообще такие вопросы задавать в Devel, там шанс получить адекватный ответ на подобный вопрос чуть выше (пожалуй это единственное исключение)

> Возможно ли написание такой программы?

Разбить текст на слова и подсчитать их количество? Возможно. Я разрешаю.

Вопрос-то в чём? Посчитать количество упоминаний слов в конкретной форме в тексте? Или посчитать количество слов, в какой бы форме оно в тексте ни было? Если второе, то - если не нужно идеальной точности - стеммер в помощь.

Скорее второе, да.

awk, grep, wc

Сейчас попробую найти стеммер, которым я пользовался несколько лет назад при решении аналогичной задачи. Может, и найду.

Думаю perl самый раз подойдет для этого, он как раз задумывался как язык обработки текста

Нашёл. Вот: http://www.keva.ru/stemka/stemka.html , опен-сорс.
Разбивает слова на предпологаемые морфемы с довольно большой точностью, примерно так:

админвзыскан|ие
админвзыскан|и|я
админвзыскан|и|ю
админвзыскан|и|ем|
админвзыскан|и|и
админвзыскан|и|й
админвзыскан|и|ям
админвзыскан|и|ями
админвзыскан|и|ях|
крова|т|ь
свежесобра|н|н|ый
красив|ый
швидки|й

Стеммер, конечно, не столько выделяет морфемы, сколько неизменяемую часть слова, но для примерного подсчёта слов сойдёт.

Угу, само собой. Только сначала надо морфологический анализатор на нём написать, а потом уже всё ОК будет.

он как раз задумывался как язык обработки текста

И что же там такого кроме регулярных выражений, которые есть и в других языках?

Спасибо.

Только не очень понял, зачем разбиваются слова.

Если надо считать количество слов независимо от того, в какой форме они используются, надо как-то докопаться до «исходного» слова. По науке это делается морфологическим анализатором для соответствующего языка, но я опенсорсных и готовых к употреблению не видал. Второй вариант - выделить на основе статистических данных по языку некоторую неизменяемую часть слова. Слова, у которых она одна и та же - скорее всего, одно и то же слово (надо ещё сделать, конечно, оглядку на суффиксы и префиксы). Это делает стеммер.

Если я правильно понял, то задача куда проще. Разбивание не требуется. Т.е. «админ» и «админы» считаются отдельно, а не как админ|X. Но принцип ясен.

Выше сам же говорил «скорее второе, да» - где вторым было «считать в любой форме как одно слово».

Стормозил.

Ну тогда считывай текстовый файл до пробела и инкрементируй значение соответствующего ключа в хеше. Если реально очень много значений (что вряд ли, в русском что-то типа 200 000 слов при средней длине, вроде, в 8 знаков - то есть что-то типа полутора метров), можешь БД заюзать какую-нибудь, типа SQLite.

cat source.txt | sed 's/ /\n/g' | sort | uniq -c

>Думаю perl самый раз подойдет для этого, он как раз задумывался как язык обработки текста

Ты глубоко заблуждаешься.

(Мне в Python'е больше всего понравилась работа со строками - там это действительно удобно).

echo «Мама мыла раму» | sed s/" «/\\n/g | sed s/$/» - 1"/g

Можешь не благодарить.

ЗЫ В наших госструктурах вот такие гении и пишут ТЗ программистам.

По моему это один из примеров книги с ламой (Рэндал Шварц - Изучаем Perl)

>Правда есть мысль, что если взять текст, сравнимый по количеству символов, допустим, с «Войной и Миром», то процесс будет стремиться к бесконечности.

Нет конечно, линейный рост только. Это же не парное выравнивание символов нескольких текстов

>И что же там такого кроме регулярных выражений, которые есть и в других языках?

хеши например

хеши например

Есть практически везде.

>(Рэндал Шварц - Изучаем Perl)

Короче, 2е задание 5й главы, ответы есть в конце

Вопрос удобства. А так и на брейнфаке все реализовать можно, язык же тьюринг-полный

короче, вот

http://bitbest.ru/i/v02081c5P6531397.png

Спасибо, интересная ссылка. Раньше приходилось просто отбрасывать окончания (список окончаний слов в русском языке легко найти).

cat input.txt | tr " " «\n» | tr -s «\n» | sort -b | uniq -c

Работает с одним минусом - слово, со стоящей после него точкой или запятой, считает отдельным. т.е. «привет» и «привет,». Как-то так.

значит надо почистить [:punct:] через sed:
$ echo ".abc." | sed 's/[[:punct:]]//g'
abc