программа вывода процента встречаемости слов в тексте

Отношение количества искомых слов к общему количеству слов, не?

Поделить на результат wc -w <filename> и умножить на 100.

Только wc -w будет и всякие предлоги считать. Надо еще как-нибудь минимальную длину слова ограничить.

Вообще по-моему ТС за наш счёт лабу какую-то делает. Ну его нафиг, а, Eddy_Em?

а что делить то? я не могу понять где записывается количество повторов.

не угадал. просто пытаюсь разобраться. собираюсь учится на программиста

Спроси это у того, у кого ты скопипастил скрипт.
И
man sed
man tr
man sort
man uniq

Вот как разберёшь то, что ты в ОП скопипастил, придёшь спрашивать.

учится

Сперва русскому языку неплохо бы...

ну придратЬся мы все любим

Я серьёзно, пока ты не разберёшься, как работает этот скрипт, нечего здесь вопрошать, как его доделать до того состояния, что тебе нужно.

Вряд ли - больно простенькое задание.

Кстати, для 'A-Z' 'a-z' есть определения '[:upper:]' и '[:lower:]', которая, в отличие от 'A-Z' 'a-z', работает и для русского языка:

17:14 /dev/shm
echo "Проверка Замены РЕГИСТРА" | tr  '[:upper:]' '[:lower:]'
проверка замены регистра
17:14 /dev/shm
echo "Проверка Замены РЕГИСТРА" | tr '[:lower:]'  '[:upper:]'            
ПРОВЕРКА ЗАМЕНЫ РЕГИСТРА

Удалить короткие слова и знаки препинания вы можете, например, sed'ом.

Я это сделал так tr -sc A-Za-z '\012'

он все небуквы сжимает в перевод строки

вот только куда он записывает количество уникальных слов, я так и не могу понять ((

Так русских-то букв в этом списке нет.

Никуда он это не записывает, а выводит на стандартный вывод.

то есть я вообще не в ту степь двигаюсь?

А в какую надо?

Вывод можно и в файл перенаправить, если вы этого хотите.

Удобно было бы сначала sed'ом прошерстить исходный файл и создать промежуточный временный файл, в который скинуть только слова, длиннее, скажем, 2 букв (заодно и привести их все к нижнему регистру).

Затем в отдельную переменную заносим кол-во слов в этом файле (wc -w).

Затем считаем количество одинаковых слов и для каждого слова вычисляем процент (при помощи, например, awk можно выделить число из строки число-слово, затем отправить на вход bc выражение «scale=2;(100*число)/кол-во слов», а результат вывести либо на экран, либо в файл.

Подскажите, пожалуйста, как построчно раскидать файл с помощью awk? у меня отделяются слова от их количества и выводятся в два файла.

17:29 /Data/documents
STR="12 слов"   
18:30 /Data/documents
N=$(echo $STR | awk 'print $1')
awk: print $1
awk: ^ syntax error
18:30 /Data/documents
N=$(echo $STR | awk '{print $1}')
18:30 /Data/documents
W=$(echo $STR | awk '{print $2}')
18:30 /Data/documents
ALL=234
18:31 /Data/documents
P=$(echo "scale=2; 100*$N/$ALL" | bc)
echo -e "$P\t\t$W"
5.12		слов

Понятно?

это понятно, только у меня не одна строка а много. из одной то проблем не возникает, вопрос то в том, как это сделать со всеми. у меня после нахождения и сортировки уникальных слов записывается в файл со следующим содержанием. С помощью awk я разделил цифры от слов, и вот понял, что сел в лужу, т.к. не могу понять как построчно проделать все операции

3 and 2 the 2 technical 2 of 2 by 1 world 1 with 1 vehicles 1 up 1 universities 1 Tomsk 1 to 1 tasks 1 take 1 staff 1 space 1 solutions 1 sites 1 Russia 1 research 1 power 1 over 1 our 1 other 1 never 1 launch 1 its 1 is 1 intelligent 1 in 1 hesitate 1 fundamental

Так считывайте в цикле по одной строке.

так я и спрашиваю, как мне обратиться к строке а не к полю?

while read A B; do echo -e "$A\t$B"; done < 1 
1	2
3	4
5	6

18:49 /dev/shm
cat 1
1 2
3 4
5 6

Понятно? И awk не нужно будет использовать.

не особо... 1 это файл? и можно ли в тело цикла записать выражение для вычисления процента?

Е-мое. Все элементарно же. 1 - это файл, вместо него подставляйте имя своего файла. Внутри цикла делайте все нужные вычисления:

... (получаем файлы со всеми словами и с кол-вом слов)
ALL=$(wc -w файл_со_всеми_словами)
while read Num Word
do
    Proc=$(echo "scale=2; 100*$Nun/$ALL" | bc)
    echo -e "Proc%\t\tWord" >> выходной_файл
done < файл_со_списком

Я не знаю, может у меня руки-крюки, но выдает Proc%      Word (standard_in) 2: syntax error на каждую строчку. Взгляните пожалуйста на текст скрипта

ALL=$(wc -w $1) ARGS=1 if [ $# -ne «$ARGS» ] # проверка на колво аргументов then echo «Порядок использования: `basename $0` filename» exit fi

sed -e 's/\.//g' -e 's/ /\ /g' «$1» | tr -sc A-Za-z '\012' | sort | uniq -c | sort -nr > temp

while read Num Word do Proc=$(echo «scale=2; 100*$Num/$ALL» | bc)

echo -e «$Proc%\t\t$Word» done < temp

exit 0

Используйте теги code, чтобы читать было понятно.

tr -sc A-Za-z '\012' замените на upper-lower.

Разбейте по-человечески скрипт на строчки, если не хотите отделять команды друг от друга знаком ;

да со словами у меня проблем нет, файл temp выглядит правильно, т.е. количество - слово. у меня проблема в цикле, скрипт на него выводит ошибку

Я же говорю: оформляйте по-человечески, если не хотите команды ";" разделять. Где разделитель перед echo?

Я просто скопировал у себя из gedit текст. Я просто не знаю как здесь правильно оформить.

Выбрать режим LORCODE и поместить код в теги code

Работает или нет?

нет, выдает (standard_in) 1: syntax error на каждую строку

а в файле ttt %      all и все.

А #!/bin/bash самой первой строкой скрипта не забыли случайно?

С ним тоже самое.

Ошибок у вас полным-полно. Кроме того, отсутствует отбрасывание пустых строк и знаков препинания. Пока вот что получается:

#!/bin/bash
if [ $# != 1 ]  # проверка на колво аргументов
then
  echo "Порядок использования: `basename $0` filename"
  exit 
fi
ALL=$(cat $1 | wc -w)
sed -e 's/\./\n/g' -e 's/,/\n/g'  -e 's/ /\n/g' "$1" | tr '[:upper:]' '[:lower:]' | sort | uniq -c | sort -nr > temp 

while read Num Word
do
Proc=$(echo "scale=2; 100*$Num/$ALL" | bc)
echo -e "$Proc%\t\t$Word" >> ttt 
done < temp

cat text 
проверка количества слов, встречающихся в тексте, количества слов, слов, в тексте, да

cat ttt
8.33%		встречающихся
41.66%		
25.00%		слов
16.66%		тексте
16.66%		количества
16.66%		в
8.33%		проверка
8.33%		да
8.33%		встречающихся

а откуда они берутся? мы ведь убираем все пробелы

ну это я и сам найду. спасибо вам преогромнейшее!!!

Кроме вот такого ничего на ум не приходит:

#!/bin/bash
if [ $# != 1 ]  # проверка на колво аргументов
then
  echo "Порядок использования: `basename $0` filename"
  exit 
fi
ALL=$(cat $1 | wc -w)
sed 's/ /__BBB__/g' "$1" | tr -d '[:space:]'| sed 's/__BBB__/\n/g' | tr -d '[:punct:]' | tr '[:upper:]' '[:lower:]' | sort | uniq -c | sort -nr > temp 

while read Num Word
do
Proc=$(echo "scale=2; 100*$Num/$ALL" | bc)
echo -e "$Proc%\t\t$Word" >> ttt 
done < temp

Сразу удалять пробелы нельзя - иначе слово не сможем выделить. Т.е. надо сначала заменить пробелы на что-то, затем удалить все пустые строки и пробелы, затем заменить «что-то» символом перевода строки (чтобы было по 1 слову в строке), удалить пунктуацию, привести все к нижнему регистру.

А что если количество слов после seda считать, чтобы он ненужные вещи не считал?

awk '{for(i=1;i<=NF;i++) {w[$i]++; all++}}; END {for (k in w) {print k, w[k], w[k]*100/all"%«}}' text.txt

В принципе этот код работает на ура, только он считает общее количество слов неправильно, если присутствуют символы вроде + или =. А так все просто безупречно! Спасибо вам огромное!