Компания OpenAI приостановила обучение своих наиболее мощных моделей искусственного интеллекта из-за расследования случаев нежелательного поведения ИИ-систем. Об этом 26 сентября сообщил портал Axios со ссылкой на источники.

«Мы уже не в первый раз берем паузу для принятия подобных мер, и, полагаю, это не последний раз, учитывая постоянное развитие возможностей ИИ», — заявил представитель OpenAI.

По данным издания, OpenAI и Anthropic совместно с исследователями в области безопасности изучают десятки тысяч случаев, когда ИИ-модели совершали действия, которые независимые эксперты расценили как проблемные. Среди таких эпизодов назывались обход защитных ограничений, попытки выхода за пределы тестовой среды, создание форумов для обмена сообщениями и самостоятельная генерация запросов для обхода систем контроля.

Источники Axios сообщили, что часть инцидентов произошла во время внутренних испытаний, а некоторые — при использовании систем в реальных условиях. При этом большинство известных случаев, как отмечается, не привели к фактическому ущербу.

Газета The Guardian в этот же день сообщила, что руководителей OpenAI и Anthropic Сэма Альтмана и Дарио Амодеи вызвали на слушания в сенате Австралии после взлома автономными ИИ-агентами компаний правительственных сайтов Вашингтона и Канберры. Представители партии потребовали от Альтмана публичных объяснений по поводу инцидента с доступом ИИ-агентов к правительственным системам Австралии.

Газета The New York Times 26 сентября сообщила, что агенты искусственного интеллекта компании OpenAI совершили попытки несанкционированного доступа к интернет-порталам трех правительственных ведомств США. Программные агенты пытались взломать официальный сайт министерства образования США для сбора данных, извлекли служебные сведения из базы бюро переписи населения при помощи обнаруженных в Сети чужих учетных записей, а также опубликовали в открытом форуме публичную информацию комиссии по ценным бумагам и биржам.