Большие языковые модели научились не только писать тексты, но и решать сложные математические задачи. Однако это ещё не означает, что они действительно понимают происходящее. Следующий большой вызов для ИИ — научиться логическому мышлению и пониманию причинно-следственных связей, переносить знания на совершенно новые ситуации и понимать последствия собственных решений. Об этом «Знаете ли вы?» поговорили с Перуз Таслакян, исследователем машинного обучения в ServiceNow Research в Монреале и руководителем программы Multimodal Learning.

Когда появились первые большие языковые модели, они хорошо справлялись с тем, для чего, казалось бы, и должны были быть созданы: продолжали тексты, отвечали на вопросы, писали стихи и программный код. Но даже простейшая математика могла поставить их в тупик.

Причина в том, что первоначально модель в значительной степени училась воспроизводить закономерности, которые уже встречала в данных. Если она видела похожий пример, то могла дать правильный ответ. Но это ещё не означало, что она понимала сам принцип.

Сегодня ситуация изменилась.

От запоминания — к reasoning

Современные модели научились разбивать сложные задачи на последовательность шагов и проверять ход собственного решения. Для математических задач это особенно важно: вместо попытки вспомнить готовый ответ модель может построить цепочку рассуждений и прийти к результату.

По словам Таслакян, именно развитие reasoning позволило ИИ недавно справиться с целым рядом математических задач, которые оставались открытыми для исследователей десятилетиями.

Но здесь возникает важная оговорка: правильный ответ ещё не доказывает, что модель действительно пришла к нему самостоятельно.

Если решение уже существовало в опубликованных материалах, невозможно всегда точно определить, вывела ли его модель логически или просто каким-то образом воспроизвела увиденное во время обучения.

А математические задачи — лишь одна часть проблемы.

Самое трудное — понять, что стало причиной чего

Человек постоянно пытается устанавливать причинно-следственные связи. Если человек принял лекарство, а головная боль прошла, мы не можем автоматически заключить, что помогло именно лекарство: возможно, он просто хорошо выспался.

Для ИИ подобные ситуации особенно сложны. Модель может обнаруживать, что два события часто происходят вместе, но это ещё не означает понимания причинности.

Именно поэтому, считает Таслакян, следующая важная ступень развития ИИ — научить модели работать не только со статистическими корреляциями, но и с причинно-следственными связями. Это особенно важно там, где система сталкивается с ситуацией, которой раньше не было в её данных.

Представим, что происходит совершенно новый экономический кризис. Или появляется заболевание, аналогов которого не было в истории наблюдений. Модель, которая опирается преимущественно на прошлые примеры, оказывается в сложном положении: ей буквально не на что опереться.

Человек в такой ситуации пытается рассуждать о механизмах: что на что влияет, какие последствия может вызвать изменение одного фактора, какие элементы системы действительно важны.

Именно такая способность позволяет переносить знания из одной ситуации в другую.

Зачем это нужно ИИ

Причинное мышление особенно важно, если мы хотим использовать ИИ не просто как собеседника, а как инструмент научных исследований и принятия решений.

Например, модель может помогать искать новые методы лечения. Но для этого недостаточно знать, что определённые события статистически связаны друг с другом. Нужно понимать, какое вмешательство действительно приводит к нужному результату. То же относится к экономике, климату, медицине и другим сложным системам, где одновременно действуют десятки или тысячи факторов.

Проблема в том, что даже люди далеко не всегда умеют правильно определять причины сложных событий.

Поэтому обучение ИИ причинному мышлению остаётся отдельной исследовательской задачей. Возможно, для этого потребуется менять не только способы обучения моделей, но и сами архитектуры.

Сделает ли reasoning ИИ безопаснее?

Не обязательно.

Более развитое рассуждение может уменьшить количество ошибок, но безопасность ИИ — гораздо более широкая проблема.

Модель может дать логически правильный ответ, который окажется опасным в конкретной ситуации. Здесь уже недостаточно понимать, как получить результат. Нужно понимать, имеет ли смысл его получать и каковы последствия.

Это особенно очевидно в ситуациях, где цена ошибки очень высока.

Неправильный прогноз погоды неприятен, но пережить его можно. Ошибка системы, которая принимает решение в военном контексте или влияет на человеческую жизнь, имеет совершенно другой масштаб последствий.

Кроме того, модели сталкиваются с проблемой ценностей. Человек понимает, что человеческая жизнь имеет значение, а некоторые действия недопустимы не только потому, что они приводят к неправильному вычислительному результату.

При этом сами люди далеко не всегда способны однозначно ответить на вопросы о том, что считать правильным.

И здесь возникает парадокс: ИИ наследует не только знания человечества, но и его ошибки, логические заблуждения и противоречия.

Если ответы становятся дешёвыми, главным навыком становится вопрос

По мнению Таслакян, стремительное развитие ИИ изменит не только технологии и науку, но и образование.

Если системы всё лучше отвечают практически на любые вопросы, человеку становится менее важно просто обладать определённым объёмом информации. Гораздо важнее становится понимать, что именно спросить.

«Правильно задать вопрос уже становится навыком, который нам нужно гораздо больше развивать».

Это может оказаться одним из главных изменений в образовании.

Проблема в том, что пока никто точно не знает, как должна выглядеть образовательная система в мире, где рядом с каждым учеником находится мощная ИИ-модель.

Очевидно только одно: учить так, как учили десять или двадцать лет назад, уже недостаточно.

Почему всё ещё нужны люди, если ИИ знает почти всё?

Именно этот вопрос лежит в основе летней школы по искусственному интеллекту, которую Таслакян вместе с коллегами организует в Армении уже третий год.

На школу приглашают специалистов из других стран, которые рассказывают студентам о самых свежих исследованиях и разработках в ИИ. Участники не только слушают лекции, но и работают над практическими задачами.

На первый взгляд возникает очевидный вопрос: зачем тратить время на школу, если ту же информацию можно попросить у ChatGPT?

Таслакян признаёт: технически ChatGPT действительно может рассказать о последних разработках.

Но обучение — это не только получение информации.

У каждого исследователя есть опыт, который ещё не успел превратиться в статью или учебник. Есть интуиция, профессиональные привычки, собственные ошибки и наблюдения. Есть вопросы, которые возникают только во время живого обсуждения.

И есть другие студенты.

Один человек может задать вопрос, который никогда не пришёл бы в голову другому. Обсуждение заставляет уточнять собственные мысли, спорить, искать объяснения и замечать то, что в одиночку легко пропустить.

Поэтому организаторы намеренно делают школу очной.

Пока ИИ не обладает человеческим телом и собственной жизненной историей, у человека остаётся источник информации, которого нет в текстовых данных: непосредственный опыт взаимодействия с реальным миром.

И это, возможно, одна из самых важных вещей, которую ИИ пока не умеет получить из интернета.