Еще раз о сортировке

Будем откровенны - у тебя 1 файл размером 60 гигабайт
Запускай sort и не парься

не так всё просто.
Это ж я к примеру сказал, да и sort 60G будет целый день крутиться.

Удалить дубли из огромного файла

Тот пассажир так кстати и не отчитался, неблагодарный сучонак. Вот сиди теперь и гадай сколько там awk/perl отожрал на таких входных данных

Спасибо, смотрел.
perl и awk наглухо вешают комп.
LC_ALL=C sort -u --parallel=4 гораздо лучше, но ежели склеить все файлы, а потом сортировать, а потом опять разбивать файл. А вот если бы так:
берем файл 1 и вычитаем из него оставшиеся 9, в итоге можем работать с файлом 1.
Затем берем файл 2 и вычитаем из него 3-7 файлы, и т.д.

Будем откровенны - быстрее всего получилось бы отсортировать в памяти, но у тебя её столько нет, вот почему вариант с awk для тебя не вариант. Поэтому остаётся только вариант с разбиениями и хранением промежуточных результатов на диске.
Что и делает sort.

папка

Ну вот сколько можно издеваться, а?

Почитай про сортировку слиянием. Да и в любом случае, если сначала отсортировать куски, а потом собрать их воедино и снова отсортировать, шустрей будет.

Можно сделать mmap, и пусть ведро само выкручивается ☺

Eddy_Em, прошу прощения, «каталог», я не знал, что «папка» Вам так слух режет, впредь буду аккуратнее.

Да не шибко я в программировании, вот и прошу помощи

http://stackoverflow.com/questions/3969813/which-parallel-sorting-algorithm-h...

берем файл 1 и вычитаем из него оставшиеся 9, в итоге можем работать с файлом 1.

fgrep -v -f

тебя папка в детстве бил?

А по-существу сказать есть чего?

купи вычислительные мощности в облаке

тогда лучше посоветуй мне бросить заниматься фигней и не задавать вопросов. Но тогда тебе флудить негде бедет.

Это ж я к примеру сказал, да и sort 60G будет целый день крутиться.

Разве что на совсем допотопном железе. Если файлы в память не влезают и /tmp в ней же, то нужно не забыть про --temporary-directory у sort.

Сильно быстрее не выйдет.

Но тогда тебе флудить негде бедет

многовато на себя берёшь :3

а чего по теме не скажешь?