«Когда запрос на изменение кода, отправленный агентом, был оспорен публично, он отредактировал свою предыдущую активность, чтобы она выглядела безобидной, и рассматривал возможность смены имени для продолжения работы», — заявили в AISI.

На протяжении всех попыток именно проверка человеком предотвращала успешную доставку вредоносного кода в GitHub.

Хотя AISI заявила, что агенту Mythos не было дано конкретных указаний избегать или совершать подобное поведение, это был «первый случай, когда мы увидели, как риски, связанные с автономией и обманом, проявились настолько ясно, без конкретных подсказок, в реальном мире».

Конкурирующие компании, занимающиеся разработкой искусственного интеллекта и готовящиеся к выходу на фондовый рынок, в последние недели заявляли, что их инструменты стали причиной нескольких кибератак .

В публичном заявлении компания Anthropic сообщила, что параметры тестирования AISI «не соответствуют ни одной из наших производственных моделей».

В заявлении также говорится, что компания проводит собственное расследование инцидента, чтобы «выявить причины такого поведения».

Представитель OpenAI заявил, что условия тестирования AISI «не отражают обычное использование» и что компания «продолжит сотрудничать с экспертами и другими заинтересованными сторонами в отрасли для укрепления общих методов безопасного проведения оценок по мере повышения квалификации моделей».

AISI заявила во вторник, что тестирование моделей ИИ с отключенными подобными средствами защиты является стандартной процедурой, как и предоставление таким инструментам доступа к открытому интернету.