Компания заявила, что ее платформа Open Agent Safety Platform включает в себя программное обеспечение с открытым исходным кодом, которое «устанавливает границы для агентов», и она появилась после серии разоблачений ведущих компаний в сфере ИИ о том, что их модели "сбегают" и проникают в системы других организаций.

Эти инцинденты вызвали бурную дискуссию о безопасности передовых систем искусственного интеллекта, включая самосовершенствующиеся модели, которые, как некоторые опасаются, могут выйти из-под контроля человека.

Руководители Nvidia заявили на брифинге для СМИ, что новая система могла бы предотвратить недавний инцидент с участием роя агентов OpenAI, которые автономно взломали ИИ-компанию Hugging Face.

Инцидент с Hugging Face стал резонансным взломом, вызвавшим опасения по поводу безопасности искусственного интеллекта. За ним последовали аналогичные несанкционированные действия с использованием моделей OpenAI, в том числе взлом сайта департамента здравоохранения Австралии. Anthropic также сообщила, что ее системы искусственного интеллекта самостоятельно взламывали системы других организаций.

Программное обеспечение Nvidia под названием OpenShell позволяет разработчикам «формально убедиться, что у агента достаточно полномочий для выполнения своей работы и не более того».

Поскольку исходный код открытый, его можно «доработать» для работы на конкурирующих вычислительных платформах, в том числе от Arm и Intel.

Платформа также включает в себя отдельный уровень безопасности под названием Sentry, который работает на чипе для непрерывного мониторинга активности агента искусственного интеллекта и может «мгновенно вмешаться», если агент начнет пытаться выйти за пределы своей цели, говорится в сообщении компании.

«Это может поместить подозрительного агента в карантин за миллисекунды», — заявил вице-президент Nvidia по корпоративному ИИ Джастин Бойтано, имея в виду компании, находящиеся на переднем крае ИИ.

«OpenShell управляет действиями агента, а затем Sentry самостоятельно отслеживает и сдерживает подозрительное поведение», — сказал Бойтано.

Nvidia заявила, что на момент запуска платформу использовали более 100 организаций, включая Microsoft, Perplexity, Accenture и JPMorgan Chase.