Научите проводить анализ защищенности механизма проверки лицензии в клиент-серверных приложениях

IDA в зубы, читаешь и осознаёшь. Если сетевая, заодно wireshark в фоне держишь. Если защищённый сокет, а нужно почитать внутренности протокола, внедряешься после расшифровки/перед шифрованием.

А с чего начать? Или просто learning by doing?

Так-то у меня есть небольшой опыт в программировании на асме, правда в незащищенном режиме. Ну и хакал одну прогу когда-то, на перле, запакованную в экзешник. Надо было секретный ключ выдрать для расшифровки.

Как раз IDA и пользовался. Но это было очень давно, лет 10 назад. А с тех пор что нового появилось? Мне тут про ollydbg рассказывали, это что за зверь? Чем лучше gdb?

Есть ли отладчики такие, которые не детектируются?

ollydbg — самый распространённый в прошлом отладчик, детектится чем попало, вроде, умер. Можешь попробовать x64dbg, он неплохой. У IDA есть декомпилятор hex-rays, можешь начать с декомпиляции нескольких интересных тебе функций (если дебаг не пострипан, вообще сказка). Также в той же IDA или x64dbg просмотри текстовые строки из бинаря, в них часто можно найти много подсказок. Ну, и далее индуктивный и дедуктивный подходы, всё как всегда.

просто learning by doing?

Угу.

А с чего начать? Или просто learning by doing?

Я бы начал с туториалов Ricardo Narvaja и, соответственно, OllyDBG. Пусть и он несколько устаревший, но дает отличную вводную.

Есть ли отладчики такие, которые не детектируются?

Противодействие антиотладочным приемам это работа непосредственно человека во всех случаях, кроме тривиальных. Серебрянной пули тут нет.

Чтобы не видно было отладчика в системе можно попробовать воспользоваться gdb && qemu -sS.

бррр. Это жескач будет. Это надо ловить каждый раз передачу управления процессу... Ну и через дебри qemu смотреть. А если эта программа под линуксом под qemu крутиться, так это как тогда вообще?

А, блин. OllyDBG под оффтопик же.

бррр. Это жескач будет.

Именно. Поэтому обычно исправляют саму программу.

Ну и через дебри qemu смотреть

Не, не qemu запускать под gdb, а использовать gdbserver внутри qemu.

IRL такое редко необходимо. Ищи код, который мешает отладке, и nop'ай его, например.

А, блин. OllyDBG под оффтопик же.

Для изучения можно и в виртуалке покрутить. Просто годный туториал ― сам по нему когда-то учился.

Под GNU/Linux есть ― IDA Pro, Hopper, radare2, gdb. Выбирай что ближе по идеологии. Ну и по карману, конечно.

Почитай для начала книги Криса Касперски.