Распознание речи на нескольких языках сразу

Пробовать другие модели?

А есть другие варианты дальнейших действий? Я бы пробовал.

Сам с такой задачей не сталкивался, с конкретикой не помогу.

А есть другие варианты

Может оказаться, что другие модели whisper в принципе не могут делать это лучше или хуже, и их перебирать бесполезно. Или могут сразу предложить принципиальро другую модель, заточенную под такие задачи. Поэтому спросил.

С чередованием языков не приходилось сталкиваться

Попробуй принудительно выбрать русский язык (–language ru). Вставки на своем основном языке (en) он распознает с большей вероятностью

Ну и есть вариант с брутфорсом - разбить файл на отдельные куски с одним языком, и распознавать отдельно. Как разбить - хз, может вручную

Пример: https://t.me/dfzwe4/65269

Типа «если вам нужно, сами скачивайте и конвертируйте в аудио»?

Типа «если вам нужно, сами скачивайте и конвертируйте в аудио»?

Если интересно поэкспериментировать, видео сохранить из Firefox или yt-dlp несложно. Из Chrome чуть сложнее. Куда выложить бинарник без регистрации, сходу не помню.

Да я уже скачал все образцы голосов из https://github.com/rhasspy/piper и будут пробовать на их объединении.

Интересный результат с суржиком. Первое слово было украинское, остальные — русские, частично с украинским произношением. Whisper.cpp опознал язык как украинский, и заменил русские слова украинскими, где эквиваленты сильно различаются (например вообще — взагалі).

Не знаю, насколько это штатное поведение, но whisper.cpp с параметрами -l auto и -p независимо автоматически определяет язык для каждого процессора. Но число фрагментов ограничено — ошибка сегментации, если слишком много — и если во фрагмент попадает больше одного языка, пытается перевести на выбранный.

А ещё сербский опознаёт то как хорватский, то как русский.

А ты и через год турбо пользуешься? Так на мой взгляд large-v2 хороша для мультиязыковой дорожки, у меня и фоновые песни с дуру распознавала

Пример: https://t.me/dfzwe4/65269 Чередуются реплики на нескольких языках.

Можно, а зачем?

А ты и через год турбо пользуешься? Так на мой взгляд large-v2 хороша для мультиязыковой дорожки, у меня и фоновые песни с дуру распознавала

И правильно распознавала разные языки? ggml-large-v3-q5_0 перевела всё на хорватский, если в 1 процесс.

Можно, а зачем?

Довольно часто попадаются видео с диалогами, где каждый говорит на своём языке, но понимают друг друга. Whisper такие переводит на один из языков, и не всегда верно.

Да нормально. В общении была смесь английского и русского, французского и русского

Я каким-то Whisper-WebUI пользуюсь, может там преднастройки были на многоязычное.

Ага, было https://github.com/SYSTRAN/faster-whisper/discussions/1263

https://github.com/SYSTRAN/faster-whisper/discussions/1263

Модель та же, движок другой, и тоже неофициальный. Спасибо.

ggml-large-v3-q5_0 перевела всё на хорватский, если в 1 процесс.

Неквантизованные модели large v1, v2 и v3 также считают, что язык на весь файл 1.