Есть много логов. Нужно эти логи парсить (почти в реальном времени + в дальнейшем с ними производить вычисления ). Есть несколько вариантов:
1) на python написать скрипт в котором в главном потоке через subprocess запускать tail, одновременно запустить несколько обработчиков каждой строки через threads и организовать очередь, в которую главный процесс будет кидать задания, threads будет эти задания брать и обрабабывать. 2) использовать redis + несколько python процессов 3) использовать модный google go (кстати а как он справится с этой задачей ?)
