подготовка видео данных для нейронной сети

Зависит от того что именно ты собрался с видео делать. В такой постановке задачи как у тебя ответ: «Хорошо подготовить, аккуратно и продуманно.»

Как

Для ускорения и упрощения обучения НС можно исходник порезать видеоредактором:
видео на однотипные сюжеты,
сюжеты на однородные фрагменты,
фрагменты на одинаковые группы кадров.

Но ежели грамотно сформулировать нужный конечный результат, то умная НС сама может сделать предварительную кластеризацию.

Пример: MIT Computer Science and Artificial Intelligence Laboratory/ Temporal Relational Reasoning in Videos ©.

Исходный код проекта ©.

Что значит правильно? torchvision.io.read_video например загрузит 4д тензор, но если надо обучать функцию от многоминутных роликов (а не кадров), надо какое-то сжатое представление.. может тогда например I-фреймы масштаба 10% будет «правильно», всё от задачи..