Есть большой отсортированный текстовый файл, нужно удалить из него все повторяющиеся строки. Например файл aaa aaa bbb bbb ccc fff ddd ddd ddd

В результате должно получиться

ccc fff

Файл 5gb оперативной памяти 1gb. Пожалуйста помогите решить задачу.

Стандартная библиотека libcurl мне не подходит, я скомпилировал с нужными изменениями эту библиотеку, добавил её в список через ldconfig, когда в списке две библиотеки стандартная и моя, скрипты работают через стандартную, когда я удаляю с диска стандартную библиотеку, скрипты выдают ошибку. Как мне заставить скрипты использовать мою библиотеку?