Дискретное логарифмирование

в чём собственно вопрос?

Какой алгоритм использовать , и в случае если это Baby-step-Giant-step, то каким образом задать хеш-функцию для использования map

Если представить числа, как строки, то лексикографическое сравнение строк позволит сортировать числа. А это, в свою очередь, позволит засунуть их в твою реализацию SortedSet.

P.S. Ищи реализации больших чисел под целевой ЯП. Напр. в Java есть BigInteger, который тебе может подойти.

реализуй оба и проверь сходимость у обоих, используй тот, который лучше.

Вот не знаю как хранятся числа в mpir, возможно не посимвольно, и как их оттуда извлечь. Лексикографическое сравнение это strcmp?

Лексикографическое сравнение это strcmp?

http://www.cplusplus.com/reference/cstring/strcmp/

Returns an integral value indicating the relationship between the strings: A zero value indicates that both strings are equal. A value greater than zero indicates that the first character that does not match has a greater value in str1 than in str2; And a value less than zero indicates the opposite.

Судя по этому описанию, да, лексикографическое.

Все таки судя по содержимому памяти данные там хранятся не строкой, а каким-то другим образом, соответственно что делать с хеш-функцией остается в силе

Если читать документацию, то это little endian массив чисел