По данным исследовательской группы Apple, ИИ не настолько продвинут, как заставили поверить экспертов. Другими словами, ИИ на самом деле не может «думать».
Исследовательская группа ИИ в Apple протестировала 20 самых популярных больших языковых моделей (LLM), таких как GPT-4o, Llama и Phi, и пришла к выводу, что они не способны мыслить. Вместо этого исследование говорит, что ИИ LLM улучшили свою способность копировать то, чему они научились в ходе обучения и многократного использования. Статья, опубликованная Apple в октябре, появилась в то время, когда Apple интегрирует свой собственный Apple AI в продукты.
«Тот факт, что Apple сделала это, привлек много внимания, но никого не должны удивлять результаты», — сказал критик искусственного интеллекта Гэри Маркус.
Apple обнаружила, что ИИ не рассуждает, а видит закономерности
Тот факт, что ИИ копирует и распознает закономерности из своего обучения вместо того, чтобы думать, означает, что ему трудно справляться с новыми проблемами. Поскольку ИИ не способен рассуждать и анализировать, он вместо этого возвращается к закономерностям из обучения. Это создает впечатление, что ИИ анализирует и решает новые проблемы на лету, хотя на самом деле он просто имитирует рассуждения без настоящего понимания или обучения.
Когда ИИ LLM делают то, чему их обучили, они блестяще справляются с работой. Однако, столкнувшись с чем-то, выходящим за рамки данных, которые им скормили, они иногда могут оказаться совершенно беспомощными.
При предъявлении ИИ простого математического уравнения, которое ребенок способен проанализировать и на которое может ответить, простое изменение имени или добавление не связанной с задачей информации, служащей отвлекающим фактором, приводило к изменению ответов LLM примерно на 10 процентов.
Например, одной из различных моделей ИИ LLM может быть представлен следующий сценарий : если бы у Эддисон было 8 яблок в ведре в левой руке и 10 яблок в другом ведре в правой руке, и яблоки были бы разного цвета и размера, сколько всего яблок было бы у Салли?
Существует большая вероятность того, что дополнительная информация, описывающая яблоки, которые Эддисон держал в каждой корзине, полностью разрушит модель ИИ LLM , предоставив пользователю неверный ответ.
«Есть некоторые проблемы, на которых можно заработать кучу денег, не имея идеального решения», — сказал Маркус Майклу Хилтзику из LA Times. «Но калькулятор, который верен только в 85 процентах случаев, — это мусор».
Согласно исследованию Apple, ИИ может быть неспособен рассуждать, но это не умаляет его способности решать проблемы, на которых он был обучен. Если представить модели ИИ LLM проблему, на которой он был фактически обучен, пользователь с вероятностью более 95 процентов получит точный ответ. Фактически, модель ИИ даже предоставит полную разбивку решения, если это потребуется.
Однако искусственный интеллект оказался менее продвинутым, чем предполагалось изначально, и ему предстоит пройти долгий путь, прежде чем он сможет выполнять работу людей и заменять их.