используемая программой память

Если у тебя достаточно физической памяти, то грубую оценку ее использования дает столбец RES в top.

Желательно точность до мегабайта.

/proc/<pid>/statm

> Желательно точность до мегабайта.

Должно подойти (но нужно учитывать, что в RES входят и разделяемые библиотеки). Если же нужно более точно - то надо рыться в /proc/maps (AFAIK, /proc/<pid>/statm - это то, что показывает top).