ICC \ GCC для x86_64

Теоретически, да. На практике, скорее больше пользы будет от использования MKL, VTune и прочего.

я ловил расхождения на одних и тех же входных данных

главное чтоб ты разогрев кэша не ловил, а то погоду на Марсе померяешь :)

главное ускорение дают алгоритмы, а не оптимизации.

я однажды чужой алгоритм распознавания QR кода, на машинке с армом разогнал с полутора минут…до 0.7 секунды. гы.

Равномерная загрузка ядер не говорит ни о чём кроме того, что вы просто загрузили процессор работой, что сделать в общем-то не сложно например взяв или реализовав плохой алгоритм или запустив бесконечный цикл. Касательно перехода на icc - вообще мало что даст, его единственное достоинство заключается в том, что иногда может увидеть потенциал в узких случаях с оптимизацией и бывает сговорчивее в вопросе оптимизации. Как минимум нормальная оптимизация предполагает сначала выбор наиболее адекватного алгоритма, оптимизации работы с памятью, повышения локальности данных и операций, векторизациии затем уже распараллеливание на многоядерную или многопроцессорную систему. И распараллеливание увы даёт один из самых малых приростов производительности, наибольший обычно дают алгоритм и оптимизация работы с памятью, хотя бывают и исключения.

Формулировка задачи ни об чем. Давайте исходный код и входные данные. Тогда более предметно можно говорить.

емнип все значимые фичи icc сто лет как в gcc втащили, но пруфы не помню

Даст ли хоть какой-то профит использование icc?

С Интелом на Интеле тягаться сложно. Я думаю - Вы увидите циферки порядка 10-20% прироста. Но гнаться нужно не за этим - улучшайте алгоритмы.

ПыСы: очень большое начальство в какой то момент сказало: «мы готовы заплатить 20% perf за возможность нормальной отладки», это было задолго до того как icc был нормально понимаем gdb.