26 мая состоялся выпуск 3.14.0 CTranslate2 — фреймворков, разрабатываемых под лицензией MIT проектом OpenNMT на языках C++ и Python, и предназначенных для эффективного использования (с использованием оптимизаций для CPU и GPU) натренированных моделей в системах машинного перевода.
В новой версии:
- обновление конвертера
Transformersдля новых архитектур: CodeGen, GPTBigCode, LLaMa, MPT; - в конвертер
OpenNMT-pyдобавлена поддержка новых опций; - в конвертер
OpenNMT-tfдобавлена поддержка моделей, использующих различные конфигурации для кодера и декодера; - добавлена поддержка путей файлов Windows, содержащих символы Unicode;
- другие изменения.
import ctranslate2
import sentencepiece as spm
translator = ctranslate2.Translator("ende_ctranslate2/", device="cpu")
sp = spm.SentencePieceProcessor("sentencepiece.model")
input_text = "Hello world!"
input_tokens = sp.encode(input_text, out_type=str)
results = translator.translate_batch([input_tokens])
output_tokens = results[0].hypotheses[0]
output_text = sp.decode(output_tokens)
print(output_text)
>>> Подробности
