whisper.cpp 1.6.0

Годная новость, хотя и не пользуюсь.

Лет 10 назад пытался использовать поделку под оффтоп от МДМ, да только не взлетело чот.

А это уже интересно, надо поковырять

Tensorbanana использует его, чтобы делать супер быстрых локальных агентов.

Интересно, а шёпот оно распознаёт?

Образец в студию!

сколько памяти требует, какой минимальный проц тебуется для распознания-отлавливания нескольких слов

О, круто. Оно быстрее, чем оригинальная питоновская?

Часто ей распознаю какие-то записи митов…

сколько памяти требует

Зависит от модели. ggml-base.en.bin ~147.37 MB.

какой минимальный проц тебуется

У меня так:

system_info: n_threads = 4 / 8 | AVX = 1 | AVX2 = 1 | AVX512 = 0 | FMA = 1 | NEON = 0 | ARM_FMA = 0 | METAL = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 1 | SSE3 = 1 | SSSE3 = 1 | VSX = 0 | CUDA = 0 | COREML = 0 | OPENVINO = 0```

биометрию не дам!

Ну пусть Рабинович нашепчет.

Нейросеть на крестах? Одобряю!

оригинальная питоновская

У тебя установлена? Запости результат для https://github.com/ggerganov/whisper.cpp/raw/master/samples/jfk.wav.

Нейросеть на крестах?

И на Си: https://github.com/ggerganov/ggml

Tensor library for machine learning

- Written in C
- 16-bit float support
- Integer quantization support (4-bit, 5-bit, 8-bit, etc.)
- Automatic differentiation
- ADAM and L-BFGS optimizers
- Optimized for Apple Silicon
- On x86 architectures utilizes AVX / AVX2 intrinsics
- On ppc64 architectures utilizes VSX intrinsics
- No third-party dependencies
- Zero memory allocations during runtime

whisper ./samples_jfk.wav --model base  --model_dir models --output_dir results --output_format txt
100%|███████████████████████████████████████| 139M/139M [00:51<00:00, 2.83MiB/s]
/opt/homebrew/Cellar/openai-whisper/20231117_3/libexec/lib/python3.12/site-packages/whisper/transcribe.py:115: UserWarning: FP16 is not supported on CPU; using FP32 instead
  warnings.warn("FP16 is not supported on CPU; using FP32 instead")
Detecting language using up to the first 30 seconds. Use `--language` to specify the language
Detected language: English
[00:00.000 --> 00:11.000]  And so my fellow Americans, ask not what your country can do for you, ask what you can do for your country.

Меньше минуты. macOS, MacBook Pro M1.

Меньше минуты.

:)

real    0m1.516s
user    0m4.949s
sys     0m0.288s

Но проверять, конечно, нужно на одной машине.

А как ты так конкретно вывел инфу? Плюс у меня еще время загрузки модели же.

$ time ./main samples/jfk.wav

Старею.

user 2,97s
system 345%
cpu 4,605 total

Нет)))

Битва нейросеток – piper vs whisper.cpp. :)

echo 'Welcome to the world of speech synthesis!' | \
  ./piper/piper --model models/en/en_US/kristin/medium/en_US-kristin-medium.onnx --output_file welcome.wav

ffmpeg -i welcome.wav -ar 16000 -ac 1 -c:a pcm_s16le output.wav

./main --no-prints --no-timestamps output.wav

Welcome to the world of speech synthesis.

оказывается, ии есть и на плюсах
для меня это сюрприз
только кто этим будет пользоваться ?

Те, кому важны скорость и возможность встраивания в свою программу без дополнительных зависимостей.

Нормальный файтюн уже под русский сделали?

Самое прикольное в родной модели. То, что она слышит русский и английский, и автоматически переводит на английский. Причём очень неплохо.

только кто этим будет пользоваться ?

Встроен в Kdenlive для генерирования субтитров из закадрового голоса.

Хорошая штука, не требует гигабайтов питоновских зависимостей, может работать на CPU, не так быстро конечно, но вполне терпимо.

вы смогли защитить свою сеть от мидм атак?)

В Kdenlive же на Питоне.

МДМ - это МежДелМаш, IBM - если по-буржуински. =)

Есть ли возможность делать временные метки для слогов а не слов? типа параметра word_timestamps, только syllable_timestamps

Ии на плюсах самая тема. Ты ничего не понимаешь.

возможность делать временные метки для слогов а не слов?

Ничего похожего не нашёл.

Очень круто.

В версию 1.6.1 один хороший человек добавил поддержку FFmpeg (опция -DWHISPER_FFMPEG=ON для CMake).
Но с FFmpeg 7.0 не собирается.
Поэтому новость писать не буду. :)