Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта

Разработчик под ником Universal Modder рассказал о своём проекте с открытым исходным кодом. Речь идёт об инструменте NPCTalk для игры GTA V, благодаря которому общаться с неигровыми персонажами можно будет голосом через микрофон. Ответы также будут голосовыми, созданными при помощи искусственного интеллекта. В будущем подобное взаимодействие может появиться во всех играх с поддержкой модов.

Изображение: Rockstar Games

В результате вместо заранее запрограммированных сценариев и реплик персонажи смогут выдавать динамические ответы в зависимости от реплики геймера, окружения, текущей ситуации и своего характера. Работа технологии в GTA V была показана на примере персонажей Майкла и Ламара, прохожих и полицейских. Они смогли не только отвечать, но и реагировать при помощи анимации.

Распознаванием речи занимается модель NVIDIA Nemotron ASR, а диалоги в реальном времени генерирует модель Qwen 3.8 27B через платформу Cerebras. За синтез речи и клонирование голосов, чтобы они были похожи на голоса озвучивших игру актёров, отвечает сервис Fish Audio Drama 3. Голосовая модель работает на облачном графическом процессоре NVIDIA H100, а действиями NPC занимается компонент TypeSafe Jev.

Изображение: репозиторий NPCTalk GitHub

Задержка между окончанием фразы игрока и ответом NPC равна около 1,15–2,2 секунды. Если используется режим постоянно включённого микрофона, это значение может вырасти на 0,7 секунды.

NPCTalk разработан при помощи Claude Code. Для разных игр потребуется отдельная интеграция, и пока работоспособность показали только в однопользовательском режиме GTA V. Хотя NPCTalk имеет открытый исходный код и бесплатно распространяется по лицензии MIT, его работа потребует затрат на облачные сервисы и вычислительные мощности.