Медленная сортировка больших файлов

Способ называется «база данных».

как вариант напиши свой qsort, у меня он работал быстрее дефолтного qsort в с++

помню ещё где-то была статья как ускорить бинарный поиск убирая потери кеш-промахов, может это подойдет и для сортировки

как вариант напиши свой qsort

Эх, кабы уметь..
Если честно, не программер я.

просто нагугли qsort.

Осспаде. Ну зачем тебе сортировать файлы каждые пять минут? Это ведь разовая задача, да? Какая тогда разница сколько они сортироваться будут? Тем более, что приведённые тобой цифры ещё ничего. Я запускал сортировки, которые оставлял на выходные.

Зачем тебе их сортировать?

Словари создаю по неким правилам, их много, затем я их сравниваю и удаляю совпадающие строки, для дальнейшего использования.
Без сортировки не обойтись.
Задача отнюдь не разовая.

А если так
LC_ALL=C sort --parallel=4 dic.txt

Создавай сразу сортированными.

Спасибо большое!
так получается гораздо быстрее:

real 1m5.600s
user 1m33.008s
sys 0m3.192s