Нужно не ограничивать само развитие искусственного интеллекта, а сдерживать распространение систем искусственного интеллекта во все сферы человеческой деятельности.
Поразительная производительность недавних так называемых «моделей большого языка» – в первую очередь серии ChatGPT от OpenAI – породила ожидания того, что системы, способные соответствовать мыслительным возможностям людей или даже обладать «сверхчеловеческим» интеллектом, вскоре могут стать реальностью.
В то же время эксперты в области искусственного интеллекта озвучивают мрачные предупреждения об опасностях, которые дальнейшее неконтролируемое развитие ИИ может представлять для общества или даже для выживания самой человеческой расы.
Является ли это простой шумихой из тех, что окружают искусственный интеллект уже более полувека? Или сейчас существует настоятельная необходимость в мерах по контролю за дальнейшим развитием искусственного интеллекта, даже ценой сдерживания прогресса в этой революционной области?
22 марта появилось открытое письмо, подписанное экспертами в области искусственного интеллекта, а также такими выдающимися личностями, как Илон Маск, и заканчивающееся заявлением: «Поэтому мы призываем все лаборатории искусственного интеллекта немедленно приостановить по крайней мере на шесть месяцев обучение систем искусственного интеллекта, более мощных, чем GPT-4».
Обосновывая необходимость такого моратория, в открытом письме утверждается:
Продвинутый искусственный интеллект может привести к глубоким изменениям в истории жизни на Земле, и его следует планировать и управлять им с соответствующей тщательностью и ресурсами. К сожалению, такого уровня планирования и управления не происходит, хотя в последние месяцы лаборатории искусственного интеллекта оказались втянутыми в бесконтрольную гонку за разработкой и внедрением все более мощных цифровых умов, которые никто – даже их создатели – не может понять, предсказать или надежно контролировать.
[Мы] должны спросить себя: должны ли мы позволить машинам наводнять наши информационные каналы пропагандой и неправдой? Должны ли мы автоматизировать все рабочие места, включая те, которые приносят удовлетворение? Должны ли мы развивать нечеловеческие умы, которые в конечном итоге могли бы превзойти нас числом, перехитрить, устареть и заменить нас? Должны ли мы рисковать потерей контроля над нашей цивилизацией?
Элиэзер Юдковски, широко известный как один из основателей области искусственного интеллекта, пошел гораздо дальше в статье Time, озаглавленной «Приостановки разработок искусственного интеллекта недостаточно. Нам нужно все это прекратить».
Этот 6-месячный мораторий был бы лучше, чем никакого моратория…. Я воздержался от подписания, потому что считаю, что письмо преуменьшает серьезность ситуации.…
Многие исследователи, занимающиеся этими вопросами, включая меня, ожидают, что наиболее вероятным результатом создания сверхчеловечески умного искусственного интеллекта при любых обстоятельствах, отдаленно похожих на нынешние, будет то, что буквально все на Земле умрут. Не как в «возможно, возможно, какой-то отдаленный шанс», а как в «это очевидная вещь, которая должна была произойти».
Пример с водородной бомбой
Зрелище ученых, занимающихся искусственным интеллектом, призывающих к паузе или даже прекращению быстро развивающейся работы в их собственной области, не может не напомнить нам об истории ядерного оружия.
Устрашающая разрушительная сила атомной бомбы, которую сделали возможной научные исследования, побудила Эйнштейна произнести знаменитое замечание «Ах! Мир к этому не готов».
В 1949 году некоторые ведущие физики-ядерщики и другие ветераны проекта создания атомной бомбы военного времени демонстративно отказались участвовать в проекте по разработке устройств на основе термоядерного синтеза («водородных бомб»), энерговыделение которых могло бы быть в 1000 и более раз больше, чем у атомных бомб на основе деления.
Генеральный консультативный комитет Комиссии по атомной энергии США возглавлял Роберт Оппенгеймер (которого часто называют “Отцом атомной бомбы”). Другими участниками были Энрико Ферми, И.И. Раби, Джеймс Б. Конант, Ли А. Дабридж, Оливер А. Бакли, Гленн Сиборг, Хартли Роу и Сирил Стэнли Смит.
На своем заключительном заседании 30 октября 1949 года комитет постановил, что, не приступая к разработке водородной бомбы, «мы видим уникальную возможность на собственном примере ограничить масштабы войны и, таким образом, уменьшить страх и пробудить надежды человечества».
Большинство разделяло мнение о том, что водородная бомба угрожает самому будущему человеческой расы: “Мы считаем, что супербомба никогда не должна быть произведена. Человечеству было бы гораздо лучше не проводить демонстрацию возможности такого оружия до тех пор, пока нынешний климат мирового общественного мнения не изменится».
Меньшинство, состоящее из Ферми и Раби, заявило: «Тот факт, что разрушительности этого оружия не существует пределов, делает само его существование и знания о его конструкции опасными для человечества в целом. Это обязательно зло, рассматриваемое в любом свете». (Сиборг пропустил заседание, и голосование за него не было зафиксировано.)
Президент Гарри Трумэн отменил решение комитета, а остальное уже история.
Конечно, не следует забывать, что наряду с военным применением атомная энергия в виде реакторов деления принесла человечеству огромную пользу. Термоядерная энергия, впервые высвобожденная в неконтролируемой форме в водородной бомбе, сулит еще большие выгоды.
«Общий искусственный интеллект»
Аналогично и для продвинутых форм искусственного интеллекта.
Я полагаю, что аналогом водородной бомбы в области искусственного интеллекта было бы создание устройств «общего искусственного интеллекта”№ которые обладали бы всеми возможностями человеческого разума и даже превосходили бы их на порядки.
– относительно фундаментальных ограничений любой системы, эквивалентной машине Тьюринга ( абстрактная ЭВМ, самостоятельно манипулирующая символами , имеющимися на перфократе в соответствии с заданным алгоритмом- ВиМ). Это относится к наблюдателям, которые сильно расходятся во мнениях о том, когда может быть достигнута цель GAI. Некоторые эксперты по ИИ утверждают, что GAI будет достигнут в ближайшем будущем, в то время как другие считают это очень отдаленной перспективой, если вообще достижимой.
Я сам считаю и утверждал в Asia Times, что GAI, основанное на цифровых компьютерных технологиях, в принципе невозможно.
Этот вывод подтверждается результатами Курта Геделя, получившими дальнейшее развитие в других работах, относящихся ко всем цифровым компьютерам.
Как я утверждал в другой статье Asia Times, мое мнение еще больше подкрепляется тем фактом, что функционирование нейронов в человеческом мозге практически не имеет ничего общего с функционированием переключающих элементов “вкл-выкл“, которые являются основой цифровых компьютеров. Отдельный нейрон как физическая система на много порядков сложнее, чем любой цифровой компьютер, который мы можем ожидать построить в обозримом будущем. Я считаю, что ошеломляющая сложность реальных нейронов, которые являются живыми клетками, а не инертными переключающими элементами, необходима для человеческого интеллекта.
Однако, несмотря на все сказанное, основной посыл текущей статьи таков: крайне важно понимать, что системам искусственного интеллекта не обязательно находиться рядом с GAI – или даже вообще быть похожими на GAI – чтобы представлять серьезную угрозу для общества.
Когда «глубокое обучение» выходит из-под контроля
Рассмотрим следующий сценарий: системы искусственного интеллекта, работающие на основе “глубокого обучения”, постепенно приобретают возможности для манипулирования людьми посредством психологического обусловливания и модификации поведения. Такие системы, при условии широкомасштабного доступа к населению, могли бы де-факто взять под контроль общество. Учитывая часто непредсказуемое поведение систем, основанных на глубоком обучении, эта ситуация может иметь катастрофические последствия.
Мы не так далеки от такого сценария, как могут подумать люди.
В простейшем варианте руководство страны намеренно внедрило бы сеть систем искусственного интеллекта с возможностями модификации поведения в средства массовой информации, систему образования и в другие места, чтобы “оптимизировать” общество. Сначала этот процесс может работать, но вскоре выходит из-под контроля, приводя к хаосу и коллапсу.
Разработки, ведущие к контролю ИИ над обществом, также могут возникать независимо от намерений человека – благодаря “спонтанной” активности сетевых систем ИИ, имеющих достаточный доступ к населению и обладающих (или постепенно приобретающих) возможностями модификации поведения.
Как я укажу, многие приложения искусственного интеллекта явно оптимизированы для изменения человеческого поведения. В список включены чат-боты, используемые в психотерапии. Во многих других случаях, например, при обучении детей, приложения искусственного интеллекта оказывают сильное влияние на поведение.
Как и любая другая технология, каждое приложение искусственного интеллекта имеет свои преимущества, а также потенциальные опасности. Вообще говоря, сегодня за работой этих систем все еще могут наблюдать люди. Совершенно иное измерение риска возникает, когда они интегрируются в большие “суперсистемы”.
Чтобы избежать недоразумений, я не приписываю системам искусственного интеллекта некую таинственную “волю” или “желание” захватить власть в обществе. Я просто предполагаю, что сценарий общества, управляемого искусственным интеллектом, может развернуться как непреднамеренное следствие растущей интеграции этих систем и критериев оптимизации и методов обучения, на которых основаны системы глубокого обучения.
Во-первых, для манипулирования людьми не требуется интеллект, подобный человеческому. Это можно сделать даже с помощью довольно примитивных устройств. Этот факт был хорошо известен задолго до появления искусственного интеллекта, в том числе благодаря экспериментам психологов-бихевиористов.
Развитие искусственного интеллекта открыло совершенно новое измерение. Очень стоит прочитать недавнюю статью на эту тему в журнале Forbes известного эксперта по ИИ Лэнса Элиота, в которой он довольно подробно описывает различные способы, с помощью которых чат-боты и другие приложения ИИ могут психологически манипулировать людьми, даже когда они не предназначены для этого.
С другой стороны, преднамеренная ментальная и поведенческая модификация с помощью систем искусственного интеллекта является быстрорастущей областью, которая постоянно применяется в самых разных контекстах.
Примеры легко приходят на ум. Десятки миллиардов были вложены в использование искусственного интеллекта для рекламы и маркетинга – деятельности, которая по самой своей сути предполагает психологические манипуляции и профилирование.
С другой стороны, образование детей и взрослых с помощью искусственного интеллекта, примером которого являются передовые системы электронного обучения на основе искусственного интеллекта, также можно рассматривать как форму модификации поведения. Действительно, приложения искусственного интеллекта в области образования, как правило, основаны на бихевиористских моделях человеческого обучения. Передовые обучающие системы с искусственным интеллектом предназначены для оптимизации реакций ребенка и результатов его успеваемости, профилирования отдельного ребенка, оценки прогресса ребенка в режиме реального времени и соответствующей адаптации его деятельности.
Другим примером является распространение чат-ботов с искусственным интеллектом, которые призваны помочь людям отказаться от курения или наркотиков, правильно заниматься спортом, приобрести более здоровые привычки.
В то же время чат-боты с искусственным интеллектом находят все большее применение в области психологии. Одним из примеров является приложение “Woebot”, разработанное “для того, чтобы помочь вам справиться с жизненными взлетами и падениями”, особенно предназначенное для людей, страдающих депрессией.
Эти приложения представляют собой лишь начальные этапы далеко идущей трансформации клинической психологии и психотерапии.
Потенциальное воздействие ИИ на мышление и поведение населения значительно усиливается сильной тенденцией людей неосознанно проецировать “человеческие” качества на такие системы, как GPT-4 от OpenAI. Этот феномен проекции открывает перед сложными системами искусственного интеллекта возможность вступать в “личные” отношения с отдельными людьми и в некотором смысле интегрироваться в общество.
Как показывает сегодняшняя быстро растущая замена собеседников-людей чат-ботами, практически нет ограничений на количество созданных искусственным интеллектом “виртуальных личностей”. Излишне говорить, что это открывает широкие возможности для модификации поведения и обуславливания человеческой популяции. Связанные с этим опасности подчеркиваются трагическим случаем с бельгийцем, который покончил с собой после шестинедельного диалога с чат-ботом искусственного интеллекта Chai.
Подводя итог: технология модификации поведения на основе искусственного интеллекта выпущена из бутылки, и нет четко определенных ограничений на ее использование или неправильное использование по назначению. В большинстве случаев – насколько нам известно – люди, чье поведение подлежит изменению, соглашаются добровольно. Однако это небольшой шаг к приложениям, в которых испытуемые не осознают, что к ним применяется поведенческая модификация.
Фильтрация или модификация контента интернет-сми с помощью систем искусственного интеллекта и управляемых искусственным интеллектом вмешательств в социальные сети могут формировать ментальную жизнь и поведение целых групп населения. В определенной степени это уже происходит, например, при идентификации на основе искусственного интеллекта и удалении “оскорбительных материалов” из Facebook и других социальных сетей.
Самое большее, мы находимся всего в нескольких шагах от ситуации, в которой критерии для определения того, что является “вредным”, “нежелательным”, “истинным” или “ложным”, будут устанавливаться самими системами искусственного интеллекта.
Остерегайтесь «суперсистемы»
В современном обществе существует естественная тенденция к интеграции информационных систем в более крупные целостности. Это обычная практика в управлении крупными фирмами и цепочками поставок, а также в “цифровизации” правительства и общественных услуг, отчасти мотивированная стремлением к большей эффективности. Несмотря на сопротивление, существует естественное стремление распространить процесс обмена данными и интеграции информационных систем далеко за пределы отдельных секторов.
К чему это может привести, когда соответствующие информационные системы существенным образом задействуют искусственный интеллект? Было бы вполне естественно, например, применить искусственный интеллект для оптимизации производительности сотрудника, оцениваемой системой искусственного интеллекта, в соответствии с его или ее психологическим и медицинским состоянием, оцениваемым другой системой искусственного интеллекта.
И наоборот, психологическая терапия с помощью чат-бота и выявление потенциальных проблем со здоровьем могут быть оптимизированы системой искусственного интеллекта на основе профилирования ИИ поведения на рабочем месте и интернет-активности.
Другой пример: Использование искусственного интеллекта для оптимизации критериев, используемых системами искусственного интеллекта для фильтрации социальных сетей, чтобы свести к минимуму вероятность социальных беспорядков, оцениваемых системой искусственного интеллекта. Аналогично для оптимизации чат-ботов с искусственным интеллектом, используемых политическими лидерами для составления своих публичных заявлений.
Размышляя над этими и другими примерами, не нужно большого воображения, чтобы понять огромные возможности интеграции систем искусственного интеллекта, задействованных в различных аспектах жизни общества, во все более крупные системы.
Самое главное, что растущая практика интеграции систем искусственного интеллекта естественным образом приводит к иерархически структурированным “суперсистемам”, в которых вышестоящие подсистемы диктуют критерии оптимизации (или метрики), а также базы данных, на основе которых системы более низкого уровня “учатся” и работают.
Чтобы понять, что это означает, следует иметь в виду, что искусственный интеллект, основанный на глубоком обучении, в конечном счете представляет собой не что иное, как комбинацию сложных алгоритмов математической оптимизации + больших компьютеров + больших наборов данных.
Соответствующая компьютерная программа содержит большое количество числовых переменных, значения которых устанавливаются на этапе ее “обучения” и впоследствии изменяются в ходе взаимодействия системы с внешним миром в процессе итеративной оптимизации. Как и любой другой процесс оптимизации, это происходит в соответствии с выбранным набором критериев или метрик.
Выражаясь метафорически, эти критерии определяют, чего система “хочет” или “пытается” достичь.
В типичной системе искусственного интеллекта такого типа на сегодняшний день критерии оптимизации и обучающая база данных выбираются разработчиками системы. Уже сейчас количество внутренних параметров, генерируемых в ходе “процесса обучения”, часто настолько велико, что невозможно точно предсказать или даже объяснить поведение системы при данных обстоятельствах.
Предшественница GPT-4, система GPT-3, уже содержит около 175 миллиардов внутренних параметров. Поскольку работа системы определяется совокупностью параметров коллективным образом, как правило, невозможно определить, что следует исправить, когда система ведет себя неправильно. В области искусственного интеллекта эта ситуация называется “проблемой прозрачности”.
Сегодня в области искусственного интеллекта много обсуждается так называемая “проблема согласования”: как можно гарантировать, что системы искусственного интеллекта, которые постоянно распространяются и развиваются, будут оставаться “согласованными” с целями, предпочтениями или этическими принципами людей? Я бы сказал, что проблему “выравнивания” практически невозможно решить, когда речь заходит об иерархически структурированных суперсистемах.
Нетрудно заметить, что обучение систем становится все более проблематичным по мере того, как мы поднимаемся выше по иерархии. Как можно определить “правильные” и “неправильные” реакции, что необходимо для тренировки этих высших систем? Где мы можем взять адекватную базу данных? Последствия данной реакции проявляются только через деятельность систем более низкого уровня, которую контролирует система более высокого уровня. На это требуется время. Таким образом, тенденция будет заключаться в сокращении процесса обучения – ценой увеличения вероятности ошибок или даже совершенно неадекватных решений на верхних уровнях иерархии.
Читатель, возможно, заметил аналогию с трудностями и рисками, присущими любой иерархически организованной форме человеческой деятельности – от отдельного предприятия до структуры руководства целой нации. Очевидно, что эти проблемы возникли на тысячи лет раньше, чем искусственный интеллект. Сегодня многие утверждают, что системы искусственного интеллекта будут работать лучше, чем люди, в управлении предприятиями, экономикой – возможно, даже обществом в целом.
Нет никаких сомнений в том, что системы искусственного интеллекта действительно работают лучше, чем люди, во многих конкретных контекстах. Кроме того, искусственный интеллект постоянно совершенствуется. Но куда ведет нас продолжающийся процесс расширения и интеграции систем искусственного интеллекта – особенно когда он приводит ко все более мощным и всеобъемлющим возможностям для формирования человеческого мышления и поведения?
В истории человечества попытки полностью оптимизировать общество в форме суперсистемы, действующей в соответствии со строгими критериями, как правило, приводили к катастрофе. Устойчивые общества всегда характеризовались значительной свободой действий, предоставляемой для принятия независимых решений, которые, как правило, противоречат принятым критериям оптимизации системы. По иронии судьбы, предоставление таких степеней свободы дает, безусловно, наиболее оптимальные результаты.
В соответствии с процитированным выше открытым письмом большинство экспертов в области искусственного интеллекта согласились бы с тем, что приложения ИИ всегда должны выполняться под каким-либо наблюдением человека. В более общем плане разработка и применение искусственного интеллекта должны определяться человеческой мудростью – как бы это ни определялось.
Здесь я попытался доказать, что распространение искусственного интеллекта, основанного на глубоком обучении, во все большее число областей человеческой деятельности и тенденция к интеграции таких систем во все более крупные иерархические системы представляют огромный риск для общества.
Действительно, следует задуматься над вопросом: в случае, если такая суперсистема выйдет из строя, угрожая катастрофическими последствиями, кто или что вмешается, чтобы предотвратить это?
В знаменитом научно-фантастическом фильме Стэнли Кубрика “2001: космическая одиссея” выживший астронавт вмешивается в последний момент, чтобы отключить систему искусственного интеллекта. Но сделал бы астронавт это, если бы система искусственного интеллекта ранее психологически приучила его этого не делать?
Я не думаю, что имеет смысл пытаться ограничить развитие самого искусственного интеллекта. Это было бы вредно и контрпродуктивно. Но мудрость подсказывает, что опасности, возникающие в результате быстрого распространения систем искусственного интеллекта практически во всех сферах человеческой деятельности, должны быть сдержаны соответствующим регулированием и человеческим надзором. Это особенно относится к появлению суперсистем искусственного интеллекта, подобных тем, которые я здесь обсуждал.
Автор – Джонатан Тенненбаум (доктор философии, математик) – бывший редактор журнала FUSION, автор статей на самые разные темы в области науки и техники, включая несколько книг по ядерной энергетике. Он также является международным сотрудником Института философии и истории науки Лиссабонского университета, работающим над альтернативными подходами к квантовой физике.
Asia Times