Мы представляем GameNGen , первый игровой движок, полностью работающий на нейронной модели, которая обеспечивает взаимодействие в реальном времени со сложной средой по длинным траекториям с высоким качеством. GameNGen может интерактивно моделировать классическую игру DOOM со скоростью более 20 кадров в секунду на одном TPU. Прогнозирование следующего кадра достигает PSNR 29,4, что сопоставимо со сжатием JPEG с потерями. Оценщики-люди лишь немного лучше случайного различения коротких клипов игры от клипов симуляции. GameNGen обучается в два этапа: (1) RL-агент учится играть в игру, и сеансы обучения записываются, и (2) диффузионная модель обучается для создания следующего кадра, обусловленного последовательностью прошлых кадров и действий. Дополнения к условиям обеспечивают стабильную авторегрессивную генерацию по длинным траекториям.
источник - https://gamengen.github.io/
видео как это выглядит - https://gamengen.github.io/static/videos/e1m1_t.mp4
То есть если кратко, то это генерация игры в Doom в реальном времени с помощью нейросети. Нейросеть анализирует нажатия клавиш пользователя и генерирует игровой процесс.
