Архитектура новой языковой модели похожа на Llama или Qwen, но она обучалась полностью с нуля. Похожесть позволяет использовать тот же инструментарий. Pretrain-версия большой языковой модели YandexGPT 5 Lite на 8B параметров с длиной контекста 32k токенов. При обучении модели особое внимание уделялось русскому языку, материалы на русском составили более 70% датасета.
Старшая модель YandexGPT 5 доступна в Алисе и на сайте Яндекса, но она в открытый доступ выложена не будет.
В своей категории модель достигает паритета с мировыми SOTA по ряду ключевых бенчмарков для pretrain-моделей, а по многим другим — превосходит их. Например, по результатам внутреннего слепого попарного сравнения (side-by-side) для широкого потока запросов YandexGPT 5 Pro превосходит YandexGPT 4 Pro в 67% случаев и не уступает GPT-4o.
>>> Скачать
