Не мог изменить файл параметров /sys/module/xt_recent/parameters/ip_list_tot. Его править в результате не надо :) Оговорюсь сразу ОС использовала один контейнер lxc, в котором производились эксперименты с iptables и в котором собственно появилась потребность изменить этот параметр, а как оказалось он берется из параметров «гипервизора».
В результате для достижения цели надо:
1) Отключить все правила iptables использующие модуль «recent» или погасить их вовсе
2) Отключить модуль, применить параметр, включить модуль:
# modprobe -r xt_recent
# modprobe xt_recent ip_list_tot=5000000
# modprobe xt_recent
modprobe -r xt_recent && modprobe xt_recent ip_list_tot=5000000 && modprobe xt_recent
Собственно рабочее решение. Но какой-то осадок остался, что это временный костыль. Может у кого есть идеи для более красивой реализации?