Генеративные модели искусственного интеллекта захватывают воображение многих бизнес-лидеров, обещая автоматизировать и заменить миллионы людей на их рабочих местах. Однако ученые из Массачусетского технологического института (MIT) предупреждают, что ИИ, хотя и дает правдоподобные ответы, не имеет реального понимания сложных систем и ограничивается прогнозами. В реальных задачах, будь то логика, навигация, химия или игры, ИИ имеет существенные ограничения.

Современные модели больших языков (LLM), такие как GPT-4, создают впечатление интеллектуальных ответов на сложные пользовательские запросы, хотя на самом деле они лишь точно предсказывают, какие слова, наиболее вероятные, будут помещены рядом с предыдущими словами в данном контексте. Чтобы проверить, могут ли модели ИИ действительно «понимать» реальный мир, ученые Массачусетского технологического института разработали показатели, предназначенные для объективной проверки их интеллекта.

Одной из целей эксперимента было оценить, насколько хорошо AB смог генерировать пошаговые инструкции по навигации по улицам Нью-Йорка. Хотя генеративные модели AB демонстрируют некоторую степень «неявного» изучения законов окружающего мира, это не эквивалентно реальному восприятию. Для повышения точности оценки исследователи создали формализованные методы, позволяющие анализировать, насколько правильно АБ воспринимает и интерпретирует реальные ситуации.

Исследование MIT сосредоточено на трансформаторах — типе генеративной модели AB, используемой в популярных сервисах, таких как GPT-4. Трансформеры обучаются на огромных массивах текстовых данных, что позволяет им достигать высокой точности выбора последовательности слов и генерировать достоверные тексты.

Для дальнейшего изучения возможностей таких систем ученые использовали класс задач, известный как детерминированный конечный автомат (DFA). Он охватывает такие области, как логика, географическая навигация, химия и даже стратегия в играх. В ходе эксперимента исследователи выбрали две разные задачи: водить машину по улицам Нью-Йорка и играть в «Отелло», чтобы проверить, насколько хорошо AB может правильно понимать правила этих игр.

Как отметил исследователь Гарвардского университета Кейон Вафа, основная цель эксперимента заключалась в проверке способности моделей AB реконструировать внутреннюю логику сложных систем. «Нам нужны были экспериментальные платформы, на которых мы точно знали, какова модель мира. Теперь мы можем хорошенько подумать о том, что значит восстановить эту модель мира».

Результаты эксперимента показали, что трансформеры способны прокладывать правильные маршруты и подсказывать правильные ходы в игре «Отелло» при четком определении условий задачи. Однако когда были добавлены усложняющие факторы, такие как объездные дороги в Нью-Йорке, модели AB начали генерировать нелогичные маршруты, предполагая случайные пересечения, которых на самом деле не существовало.

Исследование MIT показало, что генеративные модели ИИ имеют фундаментальные ограничения, особенно в задачах, требующих умственной гибкости и способности адаптироваться к реальным условиям. Хотя существующие модели ИИ могут впечатлять своей способностью генерировать правдоподобные ответы, они остаются всего лишь инструментами прогнозирования, а не полностью интеллектуальными системами.