Внизу «Похожие темы» глянь.

У меня есть огромный файл1.txt (id;login;pass) на 5гб

В 2018 году 5 гиг свободно влезает в оперативку. И если задача разовая, то можно просто сделать хэшик pass -> [(login1, id1), ...] и профильтровать 30гигабайтный файл с паролями через этот хэшик хоть на питоне.

Более-менее GPU на эту задачу ложится для сортировки файлов ради последующего поиска пересечений за линейное время.

Я, конечно, не большой знаток cuda, но вроде как ветвления во все времена не были ее сильной стороной.

Видеокарта умеет только эффективно складывать матрицы. Твоя задача решается сложением матриц?

GPGPU может делать только то, на что она рассчитана. не надо ее считать универсальным вовседырошно крутым вариантом CPU.

сильно ускорить можно подсчет хешей от паролей.остальное менее привязано к GPGPU.

а вот сравнение на GPGPU будет хитроопой задачей.

на процессоре будет быстрее

видеокарта будет по маленькому куску сравнивать(размер буферов в видеокарте очень мал) плюс буфер кэша нужен будет(котрый будет на CPU)...на процессоре быстрее будет

Я, конечно, не большой знаток cuda, но вроде как ветвления во все времена не были ее сильной стороной.

и никогда не будут

Не надо делать перебор второго файла для каждого значения из первого. Отсортируй оба файла и реши задачу за один проход.

На GPU полностью перевести сложно и не факт, что в данном случ. Но эту задачу можно попробовать решить при помощи какого-нибудь Spark.

ничего, что ты предлагаешь 2 сортировки из файла, каждая до O(N^2) + дополнительно проход O(N)?

есть огромный файл1.txt (id;login;pass) на 5гб, и файл2.txt (id;pass) ещё больше по размеру, ~30ГБ

Виртуалка, в которой эти огромные файлы влезут в оперативу стоит 35 центов в час. Это где-то 25 рублей.

Ну если постараться, можно найти сортировки и с О(N^3)

https://en.wikipedia.org/wiki/Bogosort

Average performance O((n+1)!), Худший - ∞

Скорми свои таблички СУБД, и отдай хеширование, индексирование и прочую оптимизацию ей, что тебе надо называется inner join, в терминах SQL.

Правильно. Нужно еще sql-сервер купить у оракла. Бюджет выделен, а освоить никак не получается.

Взгляд пал на GPU потому что видел, как с бюджетной картой подбирали пароль к wifi со скоростью 300к. штук в секунду, но это на линуксе. Решил что в моем случае это подойдет, хотя мне без разницы как, главное быстро. К примеру вот такой 5-ти гиговый файл чекнуть на совпадения во втором минут за 10.

Взгляд пал на GPU потому что видел, как с бюджетной картой подбирали пароль к wifi со скоростью 300к. штук в секунду, но это на линуксе.

опять эти статьи для блондинок....

смотри как это работает:
1. изначально был «хеш пароля», тоесть по факту пароль не подбирался
подбор это когда пароль генерируют и шлют «на сервер приема» для проверки, так конечно не будет работать нигде
2. на видеокарте генерируют «хеши пачками» и сравнивают с изначальным хешем, как он подошел-значит то с чего сгенерировали и есть пароль
все

тоесть весь этот подбор пароля-генерация на видеокарте хешей и сравнение с ОДНИМ

у тебя задача-загрузить десятки гигабайт и сравнить с другой десяткой гигабайт-это будет невероятно медленно на видеокарте
твоя задача другого плана абсолютно

Лучше попробуй Эльбрус или Амуде FX, базарю.

Ааа.. ну ок, мне не принципиально чем сравнивать, можно и процессором, просто интересна скорость, если 5гб будут сравниваться сутки, то вся идея не имеет смысла. Уточно ещё момент, что за совпадение считается не только «строка 512=строка 512», но и «строка 512=строка 8273412» если такое совпадение существует, это важно.

К примеру вот такой 5-ти гиговый файл чекнуть на совпадения во втором минут за 10.

загрузка 600мб на видеокарту=100мсек
+столькоже выгрузка(если нужно, в твоем примере с хешами даже выгрузка не нужна, нужен только один конечный результат)

так как у тебя данные разные-тебе их надо загружать на каждый расчет
кроме того тебе еще надо проверять каждое слово на совпадение всем в другом файле
это задача не для видеокарты ни с какой стороны

Хорошо, кстати да первый у меня на др пел, скорее всего согласится перебрать пару файлов.

если надо то могу написать тебе код для видеокарты который будет это делать, не бесплатно это займет некотрое время (в течении нескольких дней скину)

Мне для этой проги линукс нужен будет?

любая ОС с нвидией

Скинь свою почту, напишу.

s48gs.w
[at]
gmail.com

Правильно. Нужно еще sql-сервер купить у оракла.

Потом ещё окажется, что за время загрузки в БД можно было уже раз 5 прочекать.

А ТС так и не признался нужно ли ему один раз проверить, или файлы меняються.

В догонку:

https://viralfsharp.com/2014/08/21/supercharging-sql-join-with-gtx-titan-cuda...

https://viralfsharp.com/2014/08/22/supercharging-sql-join-with-gtx-titan-cuda...

Для таких вещей реляционные СУБД придумали в прошлом тысячелетии. Это если всю жизнь такими поисками заниматься.

Перебор тебе не нужен, нужно 1 раз отсортировать 2 файла, и потом искать не перебором, а бинарным поиском. Да даже и не бинарным, а 1 раз просканировать пару отсортированных файлов.

что ты хочешь сделать называется Брутфорс

ищи программу

/thread

у тебя задача-загрузить десятки гигабайт и сравнить с другой десяткой гигабайт-это будет невероятно медленно на видеокарте. твоя задача другого плана абсолютно

А мне вот непонятно, другая ли. Вот скажем, есть файл с хешами и файл с «простыми» паролями. Значить надо извлечь из первого файла все соли, потом брать их пачками по количеству GPU и по одному паролю из второго файла генерировать хеши по одному и тому же алгоритму, но с разными солями. Потому если задача именно такая, то тут GPU — идеально.

2 сортировки из файла, каждая до O(N^2)

Так не надо пузырьком сортировать.

у него нет хешей у него текст, и другой текст для сравнения который не генерируется