А как ты себе представляешь символьную математику на Си?!? Это был бы верх извращения. Есть некоторые весьма ограниченные фишки для C++, такие, как GiNaC, или узкоспециализированные системы вроде CompHEP. Но вот что либо более общее на Цэ делать - это просто кретинизм.
И, кстати, символьная математика - это понятие растяжимое. Что конкретно надо?