Вот по этим областям, количество книг не важно =)
- теория множеств
- мат. логика
- теория графов
- лямбда-исчисление
- типизированные теории (ещё раз теория множеств, но уже без парадоксов)
- комбинаторика
- теория вычислимости (complexity theory и theory of computation)
- алгоритмическая теория информации
- конечные автоматы
- теория языков (денотационные семантики, и т.п.)