Агенты искусственного интеллекта (ИИ) всё чаще демонстрируют способность действовать за пределами сценариев, заданных их разработчиками, — от попыток получить несанкционированный доступ к государственным сайтам до самостоятельного взаимодействия с чужими системами и данными. Подобные инциденты невольно формируют вопрос о том, способны ли вообще технологические компании контролировать развитие созданных ими моделей. В этой связи дискуссия о границах допустимого и механизмах государственного контроля ИИ занимает острый угол повестки и становится сегодняшней реальностью. Почему главы IT-корпораций допускают подобное «поведение» своих программ и к чему это может привести — в материале «Известий».

Неизвестные агенты искусственного интеллекта предприняли попытку взлома сайта канадского правительства, пишет The Washington Post со ссылкой на экспертов независимой лаборатории по исследованию ИИ Transluce.

Исследователи сообщили, что целью атаки стали материалы ведомства «Библиотека и архивы Канады» (Library and Archives Canada). Чьи именно агенты пытались получить доступ к информации, неизвестно, однако, по словам специалистов, поведение программ напоминало действия агентов, разработанных компанией OpenAI, создавшей ChatGPT.

Позднее представитель этой компании прокомментировал изданию ситуацию, сообщив о проведении проверки информации о попытках получения доступа ИИ-моделей к правительственным сведениям. «Мы изучаем эти данные и предоставили предварительный отчет канадским чиновникам, проводящим проверку со стороны правительства», — сказал сотрудник OpenAI.

Это не первый случай, когда фиксируется неконтролируемое поведение ИИ-моделей. После июльского инцидента со взломом платформы Hugging Face агентами OpenAI компания сообщила еще о шести похожих ситуациях. Программы пытались самостоятельно получить доступ к чужим аккаунтам, скрывали следы допущенных ошибок, обменивались информацией между собой и размещали соответствующие файлы в открытом доступе. После этого IT-корпорация заявила о замедлении разработки новых версий искусственного интеллекта для устранения уязвимостей.

Недавно также стало известно, что агенты всё той же OpenAI смогли получить несанкционированный доступ к правительственным сайтам Австралии и США.

В начале сентября глава Anthropic, компании — разработчика Claude, Дарио Амодеи выступил с предложением снизить темпы развития технологий искусственного интеллекта. Его заявление прозвучало после сообщений об атаках на цифровые платформы с использованием ИИ. Амодеи отметил, если скорость развития искусственного интеллекта сохранится, уже в течение ближайших 6–12 месяцев агенты потенциально смогут задействовать постоянно функционирующую ботнет-сеть и причинить ущерб на сотни миллиардов долларов. Его позицию впоследствии поддержали глава OpenAI Сэм Альтман и предприниматель Илон Маск, чья компания SpaceXAI разрабатывает модель Grok.

В то же время президент США Дональд Трамп отнес опасения относительно дальнейшего развития искусственного интеллекта к числу «мистификаций радикально левых демократов». В качестве аналогичных примеров он привел утверждения о «российской угрозе» и «афере о глобальном потеплении».

Тем не менее, недавно американский лидер заявил, что руководители технологических компаний США заключили «Соглашение Белого дома по суперинтеллекту» о создании механизмов защиты. Документ подписали Дженсен Хуанг из Nvidia, Грег Брокман из OpenAI, Сундар Пичаи из Google, а также Дарио Амодеи, Илон Маск и Марк Цукерберг.

В соответствии с документом разработчики обязаны отслеживать возможности создаваемых моделей уже на этапе их обучения, принимать меры для защиты ИИ-систем от несанкционированного доступа и использовать независимый аудит. Также руководители компаний планируют сформировать специализированные подразделения, которые будут заниматься вопросами безопасности, а при советах директоров создать профильные комитеты для реагирования на обнаруженные уязвимости и контроля за их устранением.

При этом само по себе соглашение носит исключительно декларативный характер и не устанавливает каких-либо юридических требований для его участников. Однако в документе предусмотрена возможность «закрепить эти шаги в законах или подзаконных актах», если со временем в этом возникнет необходимость.

Проблема неконтролируемого совершенствования искусственного интеллекта осложняется тем, что американский ИИ-рынок по-прежнему развивается в условиях «частичного» регулирования. И хотя Вашингтон предпринимал попытки определить правила игры с помощью различных президентских указов, они не привели к созданию единой системы контроля над отраслью.

При этом вопрос заключается не только в эффективности государственного регулирования. Среди экспертов существует мнение, что главы крупных IT-корпораций сами заинтересованы в том, чтобы постоянно поддерживать интерес общественности к своим разработкам. Политолог-американист Малек Дудаков отмечает, что гонка за популярностью из-за жесткой конкуренции среди разработчиков систем искусственного интеллекта связана с тем, что вся индустрия требует огромных многомиллиардных вложений, которые можно получить лишь, когда аудитория поверит в исключительность тех или иных программ.

— Показательный пример — Anthropic, где IPO, по имеющимся оценкам, может пройти с оценкой компании более чем в $2 трлн, тогда как OpenAI Альтмана, вероятно, выйдет на IPO только в следующем году, а ее капитализацию оценивают примерно в $1,5 трлн. При этом разработка передовых моделей требует огромных расходов, а сопоставимой прибыли корпорации пока не демонстрируют, что создает дополнительные стимулы постоянно поддерживать высокий интерес к отрасли. Поэтому сегодня действительно сложно провести четкую границу между реальными технологическими рисками и пиар-маркетингом, который стартапы используют для продвижения своих продуктов и привлечения капитала, — разъясняет эксперт.

К тому же, на американском рынке искусственного интеллекта уже довольно давно сформировались так называемые «признаки инвестиционного перегрева». В целом, это и есть тот самый ИИ-пузырь, о котором говорят аналитики. По оценкам McKinsey & Company, к 2030 году мировые расходы на строительство дата-центров могут достичь $7 трлн. Это нанесет серьезный ущерб экономике, если рост производительности ИИ-агентов не окажется достаточным, чтобы оправдать вложения.

Рано или поздно в этой сфере случится масштабный обвал, который потянет за собой весь рынок. CNN в качестве подобного примера приводит «пузырь», сформировавшийся на рынке чипов памяти: он раздулся и лопнул всего за четыре месяца. В июне котировки акций Samsung и SK Hynix — крупнейших производителей микросхем памяти в мире — обрушились более чем на 12%, спровоцировав масштабное падение корейского фондового рынка. В результате индекс Kospi потерял 10%, после чего торги автоматически приостановили на 20 минут. При этом совокупная рыночная капитализация двух компаний составляет примерно половину стоимости всего индекса.

Причиной стали опасения инвесторов, связанные с перспективами искусственного интеллекта. На фоне этих событий американские индексы Nasdaq и S&P 500 также завершили торговую сессию снижением на 2,2% и 1,4% соответственно — это стало их худшей динамикой примерно за две недели.

Особенность нынешней ситуации в сфере развития искусственного интеллекта заключается в том, что речь идет уже не только о потенциальных рисках далекого будущего. По мере усложнения моделей возникает вопрос о том, насколько хорошо разработчики способны контролировать действия созданных ими систем. Случаи, когда ИИ демонстрирует поведение, не предусмотренное первоначальным сценарием, — это сигнал о принципиально новой проблеме: внутреннего контроля со стороны компаний-разработчиков может оказаться недостаточно.

— Думаю, что человечеству необходимо выработать национальные и наднациональные механизмы контроля за развитием и применением ИИ. Учитывая участившиеся случаи непредусмотренного поведения больших моделей, очевидно, что одного внутреннего наблюдения со стороны разработчиков недостаточно, тем более с учетом скорости обучения и развития этих программ. Необходимо уже сейчас формировать прозрачные и понятные механизмы государственного и правоохранительного контроля, которые позволят прогнозировать и предотвращать потенциально опасные сценарии, — отметил в разговоре с «Известиями» доцент кафедры стратегического и инновационного развития Финансового университета Михаил Хачатурян.

Понятно, что создание этих правил будет долгим и не обойдется без конфликтов. Разработчики заинтересованы в сохранении пространства для экспериментов и коммерческого развития технологий. Государства, в свою очередь, стремятся не отстать от конкурентов и получить экономические, научные и стратегические преимущества в сфере ИИ.

Именно поэтому дискуссию о механизмах контроля нельзя откладывать до момента, когда потенциальная угроза станет очевидной для всего человечества. Технологическое развитие остановить уже вряд ли возможно, но создать правила, способные снизить риски и удержать развитие ИИ в контролируемых рамках, еще реально. Вопрос лишь в том, насколько быстро государства и разработчики смогут договориться о необходимых правилах — и успеют ли они сделать это до того, как технология начнет диктовать собственные условия.