Как на самом деле «думают» большие языковые модели? Интервью с Эриком Аракеляном

Еще несколько лет назад возможности, которыми сегодня располагают большие языковые модели, казались скорее частью научной фантастики. Теперь такие системы способны работать с огромными объемами информации, анализировать тексты, отвечать на сложные вопросы и выполнять задачи, для которых раньше требовалось участие человека. Но за привычным интерфейсом чат-бота скрывается гораздо более сложный процесс: как именно искусственный интеллект учится понимать язык, получать и обрабатывать информацию и, в определенном смысле, «рассуждать»?

Об этом и многом другом в эфире программы «Знаете ли вы?» рассказал руководитель группы старших научных сотрудников NVIDIA Эрик Аракелян.

Партнером серии интервью о науке и технологиях является компания Team Telecom Armenia.

Как обучается языковая модель

По словам  Аракеляна, основой обучения больших языковых моделей долгое время оставались текстовые данные, собранные со всего интернета. Однако сегодня этот набор значительно шире: модели обучаются также на изображениях, видео и аудио. При этом базовый принцип обучения можно объяснить достаточно просто — модель должна научиться предсказывать, какое слово с наибольшей вероятностью появится следующим, учитывая уже имеющийся контекст.

Он отметил, что каждое такое предсказание представляет собой математическую задачу. Модель анализирует множество возможных продолжений и рассчитывает вероятность каждого из них, после чего выбирает наиболее подходящий вариант. Именно благодаря огромному количеству примеров она постепенно учится улавливать закономерности языка, стили и контекст.

При этом модель не просто запоминает единственный вариант продолжения. В естественном языке практически всегда существует несколько возможных путей развития фразы, и система оценивает вероятности множества вариантов. Чем больше разнообразных данных она получает в процессе обучения, тем точнее становится эта оценка. Поэтому ошибки полностью не исчезают, однако по мере обучения модель все лучше прогнозирует наиболее вероятное продолжение с учетом контекста.

Как модель понимает контекст

Но одного умения предсказывать следующее слово недостаточно, чтобы модель могла понимать контекст и выполнять инструкции. Как объясняет Аракелян, в больших языковых моделях каждое слово фактически представлено в виде набора чисел, а связи между словами выражаются через математическую близость между этими числовыми представлениями. Так формируется своеобразная карта языка, где слова оказываются связаны с другими словами, понятиями и контекстами. Например, понятия «любовь» и «ненависть», различные эмоции или названия столиц имеют определенные математические связи друг с другом.

Когда модель получает фразу, она фактически оценивает, какая последовательность числовых представлений с наибольшей вероятностью должна появиться дальше. Для этого используются математические и оптимизационные методы, позволяющие выбирать наиболее подходящее продолжение с учетом всего предыдущего контекста.

Однако следующим важным этапом эволюции языковых моделей стало обучение следованию инструкциям — instruction tuning. На первоначальном этапе модель учится прежде всего предсказывать следующий элемент последовательности, но это еще не означает, что она способна корректно выполнить просьбу пользователя. Поэтому после базового обучения модель дополнительно тренируют на примерах, где ей показывают инструкции и желаемые ответы на них.

Кто определяет приемлемый ответ

Затем появляется еще один уровень обучения — reinforcement learning, в том числе reinforcement learning from human feedback. Как рассказывает Аракелян, для одного и того же вопроса собираются несколько вариантов ответа, после чего люди оценивают их и указывают, какой из них является более приемлемым или предпочтительным. На основе таких данных модель обучается не просто продолжать текст с высокой вероятностью, а выбирать ответ, который, по оценке людей, лучше соответствует поставленной задаче.

Именно на этом этапе возникает вопрос о том, кто и по каким критериям определяет, какой ответ считается «правильным», приемлемым или желательным. По словам Аракеляна, различия в таких оценках могут проявляться в том, как модель отказывается обсуждать определенные темы, насколько жестко придерживается определенной логики или демонстрирует определенные культурные и идеологические установки. Поэтому характеристики модели зависят не только от исходных данных, но и от тех людей и критериев, которые участвуют в последующих этапах ее обучения.