Израильская система искусственного интеллекта Habsora использует алгоритмы машинного обучения для выбора целей бомбардировок и предварительного расчета вероятных смертей среди гражданского населения
В принципе, системы машинного обучения могут обеспечить более точные целенаправленные атаки и меньшее количество жертв среди гражданского населения. Фото: AP через The Conversation / Фатима Шбаир
На прошлой неделе появились сообщения о том, что Армия обороны Израиля (ЦАХАЛ) использует систему искусственного интеллекта (ИИ) под названием Habsora (на иврите “Евангелие”) для выбора целей в войне с ХАМАСОМ в Газе. Сообщается, что система использовалась для поиска большего числа целей для бомбардировок, для привязки местоположений к боевикам ХАМАСА и для предварительной оценки вероятного числа погибших среди гражданского населения.
Что означает использование подобных систем наведения ИИ в конфликтах? Мое исследование социальных, политических и этических последствий военного использования удаленных и автономных систем показывает, что ИИ уже меняет характер войны.
Военные используют удаленные и автономные системы в качестве “мультипликаторов силы” для усиления воздействия своих войск и защиты жизней своих солдат. Системы искусственного интеллекта могут сделать солдат более эффективными и, вероятно, повысят скорость и смертоносность ведения войны – даже несмотря на то, что люди становятся менее заметными на поле боя, вместо этого собирая разведданные и нацеливаясь издалека.
Когда военные смогут убивать по своему желанию, с небольшим риском для своих солдат, возобладает ли нынешнее этическое мышление о войне? Или растущее использование искусственного интеллекта также приведет к дегуманизации противников и разрыву между войнами и обществами, от имени которых они ведутся?
Искусственный интеллект оказывает влияние на всех уровнях ведения войны, от поддержки “разведки, наблюдения и рекогносцировки”, как система Habsora Армии обороны Израиля, до “автономных систем вооружения летального действия”, которые могут выбирать цели и атаковать их без вмешательства человека.
Эти системы потенциально могут изменить характер войны, облегчив вступление в конфликт. Будучи сложными и распределенными системами, они также могут затруднить подачу сигналов о своих намерениях – или интерпретацию намерений противника – в контексте эскалации конфликта.
С этой целью искусственный интеллект может способствовать искажению или дезинформации, создавая и усиливая опасные недоразумения во время войны.
Системы искусственного интеллекта могут усилить склонность человека доверять предложениям машин (это подчеркивается системой Habsora, названной в честь непогрешимого слова Божьего), создавая неопределенность в отношении того, насколько можно доверять автономным системам.
Границы системы искусственного интеллекта, взаимодействующей с другими технологиями и с людьми, могут быть нечеткими, и может не быть способа узнать, кто или что “создало” ее результаты, какими бы объективными и рациональными они ни казались.
Высокоскоростное машинное обучение
Возможно, одним из самых основных и важных изменений, которые мы, вероятно, увидим благодаря ИИ, является увеличение скорости ведения боевых действий. Это может изменить наше понимание военного сдерживания, которое предполагает, что люди являются основными действующими лицами и источниками разведывательной информации и взаимодействия на войне.
Военные и солдаты формулируют процесс принятия решений с помощью так называемой “петли ООДА” (наблюдай, ориентируйся, решай, действуй). Более быстрая петля ООДА может помочь вам перехитрить противника. Цель состоит в том, чтобы избежать замедления принятия решений из-за чрезмерного обдумывания, а вместо этого соответствовать ускоряющемуся темпу войны.
Таким образом, использование искусственного интеллекта потенциально оправдано на том основании, что он может интерпретировать и синтезировать огромные объемы данных, обрабатывать их и выдавать результаты со скоростью, намного превосходящей возможности человеческого познания.
Но где место для этических размышлений во все более быстром и ориентированном на данные цикле OODA loop, происходящем на безопасном расстоянии от места сражения?
Израильское программное обеспечение для таргетинга является примером такого ускорения. Бывший глава ЦАХАЛА сказал, что аналитики разведки могут выявлять 50 целей для бомбардировок в Газе каждый год, но система Habsora может выявлять 100 целей в день, а также рекомендации в режиме реального времени о том, какие из них атаковать.
Как система выявляет эти цели? Он делает это с помощью вероятностных рассуждений, предлагаемых алгоритмами машинного обучения.
Алгоритмы машинного обучения учатся с помощью данных. Они учатся, отыскивая закономерности в огромных массивах данных, и их успех зависит от качества и количества данных. Они дают рекомендации, основанные на вероятностях.
Вероятности основаны на сопоставлении с образцом. Если у человека достаточно сходства с другими людьми, помеченными как вражеские комбатанты, они тоже могут быть помечены как комбатанты сами.
Некоторые утверждают, что машинное обучение обеспечивает большую точность прицеливания, что позволяет легче избежать причинения вреда невинным людям и применения пропорционального количества силы. Однако идея более точного нацеливания авиаударов в прошлом не увенчалась успехом, о чем свидетельствует большое число объявленных и необъявленных жертв среди гражданского населения в ходе глобальной войны с терроризмом.
Более того, разница между комбатантом и гражданским лицом редко бывает самоочевидной. Даже люди часто не могут сказать, кто является комбатантом, а кто нет.
Технологии не меняют этой фундаментальной истины. Часто социальные категории и концепции не объективны, а оспариваются или специфичны для времени и места. Но компьютерное зрение вместе с алгоритмами более эффективны в предсказуемых средах, где концепции объективны, достаточно стабильны и внутренне непротиворечивы.
Сделает ли ИИ войну хуже?
Мы живем во времена несправедливых войн и военной оккупации, вопиющих нарушений правил ведения боевых действий и зарождающейся гонки вооружений перед лицом соперничества между США и Китаем. В этом контексте включение ИИ в войну может добавить новые сложности, которые усугубляют, а не предотвращают вред.
Системы ИИ облегчают участникам войны сохранение анонимности и могут сделать невидимым источник насилия или решения, которые к нему приводят. В свою очередь, мы можем наблюдать растущую разобщенность между военными, солдатами и гражданскими лицами, а также войны, которые ведутся во имя нации, которой они служат.
И по мере того, как ИИ становится все более распространенным на войне, военные будут разрабатывать контрмеры, чтобы подорвать его, создавая цикл растущей милитаризации.
Можем ли мы контролировать системы ИИ, чтобы предотвратить будущее, в котором война будет вестись за счет растущей зависимости от технологий, подкрепленных алгоритмами обучения? Контролировать развитие искусственного интеллекта в любой области, особенно с помощью законов и нормативных актов, оказалось непросто.
ГМногие предполагают, что нам нужны более совершенные законы для учета систем, основанных на машинном обучении, но даже это не так просто. Алгоритмы машинного обучения трудно регулировать.
Оружие с поддержкой искусственного интеллекта может программироваться и обновляться само по себе, обходя юридические требования для определенности. Инженерная максима “программное обеспечение никогда не делается” подразумевает, что закон может никогда не соответствовать скорости технологических изменений.
Количественный акт предварительной оценки вероятного числа жертв среди гражданского населения, который выполняет система Habsora, мало что говорит нам о качественных аспектах целенаправленного воздействия. Такие системы, как Habsora, сами по себе не могут многое сказать нам о том, будет ли забастовка этичной или законной (то есть, является ли она соразмерной, дискриминационной и необходимой, среди прочих соображений).
ИИ должен поддерживать демократические идеалы, а не подрывать их. Доверие к правительствам, институтам и вооруженным силам ослабевает, и его необходимо восстановить, если мы планируем применять искусственный интеллект в различных военных практиках.
Нам необходимо провести критический этический и политический анализ для изучения новых технологий и их последствий, чтобы любая форма военного насилия рассматривалась как последнее средство. До тех пор алгоритмы машинного обучения лучше хранить отдельно от методов нацеливания. К сожалению, армии мира движутся в противоположном направлении.
Бьянка Баджарини – преподаватель Австралийского национального университета