История изменений
Исправление vyv, (текущая версия) :
ну sort весь датасет в память загрузит,и если памяти меньше, то ничего не выйдет.
Я вот и залил все в Sqlite DB для этого. Файл БД занял у меня 230 Гб, что несколько увеличивает количество необходимого I/O с диском, но зато теперь можно крутить данными как угодно.
хотя тоже не все так прямо радужно. любые операции с большими массивами данных не влезающие в память требуют места на диске. По умолчанию куда-то в $(TMP) пишет, где у меня не так чтобы много свободного места и операции заканчиваются Error: disk is full.
по этому запускаю sqlite так:
$ SQLITE_TMPDIR=/путь_к_большому_диску sqlite3 db_pass.sqlite3
сейчас запустил посчитать уникальные пароли, подожду что он скажет…
SELECT count(DISTINCT pass) FROM dt;
Исходная версия vyv, :
ну sort весь датасет в память загрузит,и если памяти меньше, то ничего не выйдет.
Я вот и залил все в Sqlite DB для этого. Файл БД занял у меня 230 Гб, что несколько увеличивает количество необходимого I/O с диском, но зато теперь можно крутить данными как угодно.
хотя тоже не все так прямо радужно. любые операции с большими массивами данных не влезающие в память требуют места на диске. По умолчанию куда-то в $(TMP) пишет, где у меня не так чтобы много свободного места и операции заканчиваются Error: disk is full.
по этому запускаю sqlite так:
$ SQLITE_TMPDIR=/путь_к_большому_диску sqlite3 sqlite3 db_pass.sqlite3
сейчас запустил посчитать уникальные пароли, подожду что он скажет…
SELECT count(DISTINCT pass) FROM dt;