Speech to text

hargard, возвращаясь к позапрошлогодней теме, что-нибудь найти удалось?

Звуковые файлы https://docs.kdenlive.org/en/effects_and_filters/speech_to_text.html (смотрю, pip3 install vosk перетащили в venv)
Диктовка https://wiki.mageia.org/en/Voice_recognition (Elograf)
Диктовка + управление PC https://www.mageialinux-online.org/forum/topic-31752-nocomprendo.php (чел пилит тоже на базе vosk)

https://docs.kdenlive.org/en/effects_and_filters/speech_to_text.html

Спасибо, годится. 81-секундное видео Vosk обработал за 71 секунду.

(смотрю, pip3 install vosk перетащили в venv)

Можно и без venv. Не стал пробовать.

81-секундное видео Vosk обработал за 71 секунду

Это с большой моделью или маленькой? В принцице, и small неплохо распознаёт.

Кстати, если кто захочет завести Elograf на других дистрах (тоже полезная вещь), вам может пригодиться это обсуждение:
https://github.com/papoteur-mga/elograf/issues/17
setxkbmap для русского использовать не надо, зато надо в ~/.local/lib/python3.10/site-packages/eloGraf/elograf.py удалить строчку с --continuous, чтобы после перерыва добавлялись пробелы, а не лепился текст.
nerd-dictation клонируется отсюда https://github.com/ideasman42/nerd-dictation
Одноимённый скрипт вроде надо закинуть в PATH. Я тоже ставил в virtualenv. Там пришлось немного поколдовать с ярлыком запуска.

pip3 install gtts &&

from gtts import gTTS

text = "Добро пожаловать в мир Python!"
language = "ru"
filename = "welcome.mp3"

tts = gTTS(text=text, lang=language)
tts.save(filename)

• Просто как запустить, впн из браузёра. Справится любой школьник.

Есть whisper.cpp https://github.com/ggerganov/whisper.cpp, может и на CPU и на gpu работать. Распознает достаточно уверенно.

Остановился на уже упомянутом мной nerd-dictation.

Работает корявенько, быстро большой объем текста не наговорить, рус и анг подружить непросто, но мне после перехода на qmk-клавиатуру, как раз.

Вот кусок связанного дотфайла

bind = SUPER, z, exec, cd ~/Apps/nerd-dictation && ./nerd-dictation begin --vosk-model-dir=./model/vosk-small-ru --simulate-input-tool=WTYPE
bind = SUPER SHIFT, z, exec, cd ~/Apps/nerd-dictation && ./nerd-dictation begin --vosk-model-dir=./model/vosk-small-en --simulate-input-tool=WTYPE
bind = SUPER, x, exec, ~/Apps/nerd-dictation/nerd-dictation end

Это с большой моделью или маленькой?

С большой, vosk-model-ru-0.42

gtts

Требует постоянное подключение к интернету?

whisper.cpp https://github.com/ggerganov/whisper.cpp

Тянет Tensorflow? Я когда-то пробовал TTS на Tensorflow, и скорость без GPU меня не устроила (звуковой файл генерировался в полтора-два раза дольше, чем проигрывался).

Остановился на уже упомянутом мной nerd-dictation.

vosk

Спасибо.

Да

Cpp же, какое тензорфлоу? Тянет компилятор для cpp. На современном цпу 1:1 где-то будет, но различные варианты ускорения доступны, в том числе и на цпу. Пробуй, места практически не занимает. Нейронки на cpp хорошая штука, жаль их мало.

Cpp же, какое тензорфлоу?

Как будто есть какая-то сложность в использовании тензорфлоу из с++. Другое дело, что у автора whisper.cpp есть своя библиотека ggml, которую он вместо tensorflow использует.

Как будто есть какая-то сложность в использовании тензорфлоу

Никакой, но там реально он не тащится. Все собирается без доп зависимостей.

Cpp же, какое тензорфлоу?

Числодробильная часть тензорфлоу тоже на C++.

Из описания, я понял, что whisper.cpp — порт whisper на C++, про зависимости ничего не говорилось, поэтому я предположил, что те же. Tensorflow и из программ на C++ дёргать можно.

Тогда попробую как-нибудь.

у автора whisper.cpp есть своя библиотека ggml, которую он вместо tensorflow использует.

Спасибо.

порт whisper на C++

Порт модели, а не кода.

whisper.cpp 1.6.0
whisper.cpp 1.7.0

Порт модели, а не кода.

Понятно.