поиск одинаковых строк

Средствами bash? Хз.

А вообще алгоритм прост. Открываем файл, заносим первую строку в массив, каждую последующую строку сравниваем со всеми элементами массива, если не совпадает - добавляем в массив. После чего массив записываем в файл. Просто и понятно.

man uniq

только не тупо в лоб , а cat your_file | sort | uniq ну естественно это если порядок строк не важен, иначе придется что-нибудь на шелле/перле/etc ваять.

можно sort -u

С сохранением порядка строк.

cat text | awk '! a[$0] {a[$0]=1; print}'

O(n^2)

лучше заносить не в массив, а в хеш-таблицу (как и написано в камменте на awk).

тогда только O(n*ln n)