Сортировка строк

Если bash, то

$ cat файл_с_email | sort | uniq > result.txt

sort -u

хрень какая-то. комментарии не соответствуют действиям

поиск файлов find $dir -type f -name 'Unbenannt-[1-4].eml' > ~/emaildir.log

#Ищем по директориям файлов из файла emaildir.log адреса

в этом файле список файлов, а не директорий

Все лажа. Лучше бы сразу спросили все сделать за вас.

Вы, оба, заголовок только прочитали?

насколько много уникальных значений должно быть? в память влезет? если уников не много, то вместо

awk '{print $3}' 

сразу отсекать их:

awk '{ if (!x[$3]) { print $3; x[$3]=1 } }'

Там ещё пару грепов в разных файлах. От разных файлов и получаются одинаковые в итоге емейлы. Но идея хорошая, возьму на заметку. Спасибо.

head email_2014.07.15.s

/var/article/2014/07/15/389185/Unbenannt-3.eml /var/article/2014/07/15/389200/Unbenannt-3.eml

Нужны именно емейлы, а не директории сортировать :)

Не правда ) emaildir.log

/var/article/2014/07/27/407146/Unbenannt-3.eml
/var/article/2014/07/27/407116/Unbenannt-3.eml

find $dir -type f

-type f

Короче говоря, sort -u не справляется с большим объёмами. Он только лишь сортирует по алфавиту, но оставляет повторы емейлов.

Насколько большие объёмы то в гигабайтах? В /tmp достаточно места, сколько памяти (через ″-S″) разрешено использовать sort'у? И есть короткий пример листинга, где остаются повторы адресов, или это только на больших вылазит?

Да, и если вам нужно что-то писать в начало файла, то сначала пишите в пустой файл, а потом дописывайте туда вывод sort. А если ″Day $DD $MM 2014″ должен быть просто выведен на stdout, то делайте сначало ″echo″, а потом ″cat″ без всякого конвеера.

Насколько большие объёмы то в гигабайтах? В /tmp достаточно места, сколько памяти (через ″-S″) разрешено использовать sort'у? И есть короткий пример листинга, где остаются повторы адресов, или это только на больших вылазит?

Вот в этом уже вылазят повторы. Не такие уж и большие :|

# du -sh email_2014.07.15.s 
160K    email_2014.07.15.s
# du -sh email_2014.07.15
188K    email_2014.07.15

Да, и если вам нужно что-то писать в начало файла, то сначала пишите в пустой файл, а потом дописывайте туда вывод sort. А если ″Day $DD $MM 2014″ должен быть просто выведен на stdout, то делайте сначало ″echo″, а потом ″cat″ без всякого конвеера.

В итоге сделала седом, иначе он сортирует и дату, если в пустой файл делать.

sed -i "1 i Day $DD $MM 2014" ~/email_2014.$MM.$DD.s

ну чего ты в самом деле, я же идею показал

echo "Day $DD $MM 2014" > ~/email_2014.$MM.$DD.s
while read line
do
# echo "$line"
grep -r 'To: "' $line |awk '{print $2}'| tr -d \"
grep -r 'Final-recipient: RFC822;' $line |egrep -v '@gu.ru|@ru.ru' |awk '{print $3}'
done < "emaildir.log" | sort -u > ~/email_2014.$MM.$DD.s

Чушь собачья, спокойно гоняю sort -u на файлах с миллиардом строк.

В итоге сделала седом, иначе он сортирует и дату, если в пустой файл делать.

Чего? Как он дату может сортировать, если она в выходном файле? Делаем:

echo "Day $DD $MM 2014" > ~/email_2014.$MM.$DD.s
sort -u ~/email_2014.$MM.$DD >> ~/email_2014.$MM.$DD.s

А ″sed -i″ создаёт временный файл, туда пишет результат и потом перемещает этот временный файл на место основного. Совершенно не нужные в случае вашего скрипта траты ресурсов.

вылазят повторы.

Повторы идут в email_2014.07.15.s подряд? Команда uniq -d email_2014.07.15.s выводит эти повторы? Если выводит, то, наверное, нужно писать багрепорт на ″sort″. Иначе смотреть, чем эти повторы, всё таки, отличаются (допустим пробелом перед переводом строки).