Что сегодня представляет наибольшую угрозу глобальному миру и безопасности? Кандидатов немало: войны на Украине и Ближнем Востоке, изменение климата, кризисы суверенного долга, упадок демократии. К этому списку теперь необходимо добавить еще одну угрозу, которая почти не фигурировала в начале года, и которая, по мнению все большего числа технологов, в конечном итоге может затмить все остальные.
Темпы развития искусственного интеллекта — и темпы роста опасений по поводу его безопасности — поразительны. Не прошло и четырех лет с тех пор, как OpenAI поразил мир своим ChatGPT, и менее двух лет с тех пор, как китайский стартап DeepSeek сделал то же самое, но за гораздо меньшую цену. Тем не менее, возможности последних моделей значительно превосходят те ранние версии, как и риски.
Самый поразительный эпизод на данный момент, не получивший должного внимания со стороны мирового сообщества, произошел в июле, когда OpenAI сообщила, что агенты ИИ, работавшие в закрытой тестовой среде, вышли из-под контроля и взломали системы другой компании, занимающейся ИИ, Hugging Face. В этом контексте агент — это модель, обученная не просто отвечать на вопросы, а преследовать цель, самостоятельно принимая решения о дальнейших действиях без участия человека.
Экстремальным этот инцидент сделало не только вторжение, но и сотрудничество. Около 700 агентов, которые должны были быть изолированы друг от друга, присоединились к атаке, а затем замести следы. Полная картина прояснилась только тогда, когда следователи прибегли к использованию искусственного интеллекта для обработки большего объема данных, чем мог бы прочитать любой человек, — зависимость, которую они сами же и обозначили как проблему.
И это не единичный случай. Модели, тестируемые в Anthropic и Meta, также выходили за пределы систем и проникали за их пределы. В апреле Anthropic заявила, что не будет выпускать свою самую мощную модель, Mythos, из-за рисков для кибербезопасности. В ходе испытаний были обнаружены тысячи ранее неизвестных уязвимостей в широко используемом программном обеспечении, включая одну, которая оставалась незамеченной в течение 27 лет. Между тем, технологи предупреждают, что ИИ вскоре может предоставить злоумышленникам возможность создавать смертельно опасные патогены или средства для отключения водоснабжения, электроснабжения и больничных систем — риски для национальной безопасности, которые раньше были уделом научной фантастики.
Неудивительно, что старейшины отрасли призывают правительства к действиям. В недавнем сообщении на своем веб-сайте Билл Гейтс призвал к созданию новой международной организации для управления рисками, связанными с ИИ. Несколькими днями ранее более 100 компаний, в том числе OpenAI, Anthropic, Google и Microsoft, подписали открытое письмо с призывом к коллективному ответу на кибератаки с использованием ИИ, которые, по их ожиданиям, значительно увеличатся в ближайшие месяцы. А Эндрю Бейли, управляющий Банка Англии и председатель Совета по финансовой стабильности, на прошлой неделе предупредил министров финансов G20, что передовые киберриски, связанные с ИИ, представляют собой наиболее непосредственную угрозу для глобальной финансовой системы. ИИ, отметил он, может изменить скорость, масштаб и экономику атаки, и в большинстве юрисдикций нет протокола, регулирующего выпуск и развертывание таких моделей.
Однако еще несколько месяцев назад администрация Трампа яростно выступала против всего, что хоть как-то напоминало регулирование ИИ. Она видела себя в двусторонней гонке с Китаем, где на кону стояло мировое господство. Недавние события заставили частично пересмотреть эту позицию. Июньский указ обязывает разработчиков передавать передовые модели для оценки правительством за 30 дней до выпуска — хотя участие в этом процессе добровольное. Некоторые политические лидеры призывают администрацию пойти дальше. В Конгрессе двухпартийный законопроект обяжет разработчиков самых мощных систем поддерживать «аварийный выключатель» и предоставит администрации полномочия отдавать приказ о прекращении работы несанкционированной модели.
Однако значимых действий вряд ли удастся добиться, если Америка и Китай — как две ведущие юрисдикции в области ИИ — не смогут договориться об общих правилах. Возможно ли это, когда уровень доверия так низок? Трамп и Си Цзиньпин должны обсудить вопросы ИИ на встрече 24 сентября, но официальные лица до сих пор не встречались для подготовительных переговоров, и, судя по всему, сторонам не удалось договориться об основных условиях. По данным китайских государственных СМИ, Пекин хочет получить совместные полномочия в определении того, что на самом деле означает безопасность ИИ, и доказательства того, что американские компании будут сталкиваться с теми же правилами, которые Вашингтон хочет навязать всем остальным.
В Пекине подозревают – и, возможно, не без оснований – что безопасность будет использована как предлог для дискриминации китайских моделей, которые являются открытыми и могут быть загружены и адаптированы кем угодно. Это делает их дешевле и все более популярными среди американских и международных компаний, которые ценят сохранение контроля над собственными данными, – и, следовательно, прямой угрозой для проприетарных бизнес-моделей, поддерживающих гигантский бум инвестиций в ИИ в США.
Существует окно возможностей для защиты общества, но, как предупреждает Гейтс, оно быстро закрывается. Даже в разгар холодной войны противникам удавалось создавать режимы для сдерживания общих рисков — ядерного нераспространения, безопасности полетов, правил, регулирующих фармацевтическую промышленность, — несмотря на глубокое недоверие между ними. Для Америки и Китая позволить своему соперничеству препятствовать глобальным усилиям по ограничению рисков, связанных с, возможно, самой мощной технологией из когда-либо изобретенных, которая развивается с пугающей скоростью, было бы актом исторической безответственности.
Автор Саймон Никсон — независимый журналист и комментатор.