Matlab? octave? scilab?

Да, я в курсе, отвечал я не тебе.

Симулинк в учёбе - это частотные характеристики, диаграммы Боде, корреляционные функции, фильтры, устойчивость и ПИД-регулятор. В этом нет ничего проприетарного и никакого подсаживания. Хотя вру, я подсел на ПИД-регуляторы благодаря симулинку.

Только потом некоторые прирастают к simulink и делают в нём всё, что порождает много проблем.

Прирасти с сопутствующими проблемами можно к чему угодно, это ортогональная тема.

Кроме вещей, связанных с управлением, которыми я не интересовался, всё перечисленное есть в maple. Не вижу особого смысла держать ещё один здоровый пакет у себя на компьютере.

Да и вещи, связанные с управлением, тоже есть в maple. Как я уже говорил, в используемых математических основах ничего проприетарного нет. И, как я тоже уже говорил, что использовать - дело хозяйское. Но на всякий случай будь готов к тому, что когда понадобится почитать литературу с моделированием систем, она будет практически со стопроцентной гарантией написана с использованием матлаба.

когда понадобится почитать литературу с моделированием систем,

"Моделирование систем" это крайне широкое понятие. В той литературе по моделированию систем, которую я в данный момент читаю, больше узкоспециализированный софт упоминается.

Ну так матлаб и имеет крайне широкое применение

Я бы сказал, что это моделирование, находящееся на более высоких ступенях абстракции, чем базовое моделирование на основе физических законов (типа прочности и теплопроводности методом конечных элементов - там да, спецсофт). Это построение моделей более высокого уровня на основе других моделей, потому и называется «системное моделирование».