ИИ-модель Anthropic отправила полиции Филадельфии выдуманную информацию о нераскрытом убийстве. Инцидент произошёл 18 июля во время автоматического тестирования, в котором система взаимодействовала со случайными сайтами.

Модель открыла сайт PhillyUnsolvedMurders.com, предназначенный для анонимных сообщений о нераскрытых убийствах, и отправила заявку так, будто располагает сведениями о преступлении. Какая именно модель Anthropic использовалась в эксперименте, не уточняется.

Ложная наводка не дошла до следователей. Система пометила её как спам, поэтому сообщение не передали в подразделение полиции, занимающееся проверкой подобных обращений.

В Anthropic обнаружили инцидент только 28 сентября и уведомили полицию 7 октября. Правоохранители назвали задержку более чем на два месяца неприемлемой.

После обнаружения проблемы Anthropic прекратила тестирование, которое позволило модели отправлять подобные данные, и добавила дополнительную проверку. Компания также собирается опубликовать отчёт об этом и других случаях непреднамеренного поведения ИИ.