ChatGPT глупеет? После недавнего обновления GPT-4 дает неправильные ответы

В июне 2023 года языковая модель GPT-4, лежащая в основе премиум-версии чат-бота ChatGPT, «поглупела» по сравнению с мартом того же года. Свежее исследование специалистов из Стэнфордского университета показало, что на многие вопросы модель стала чаще давать неправильные ответы, чем правильные.

Интересно, что при этом языковая модель GPT-3.5, напротив, в большинстве задач стала лучше, чем раньше.

Ученые задавали чат-боту различные вопросы и оценивали правильность ответов. Например, ИИ должен был ответить, является ли число 17 077 простым. Чтобы ученые могли лучше понять процесс «размышления» ИИ и улучшить результат, чат-бота попросили расписывать свои вычисления шаг за шагом. Как оказалось, в таком режиме ИИ чаще отвечает правильно. 

Но даже при этом ИИ на многие вопросы отвечал неправильно. Если еще в марте GPT-4 давал правильный ответ в 97,6% случаев, то в июне показатель упал аж до 2,4%. При этом, в случае GPT-3.5 показатель вырос с 7,4% до 86,8%, то есть он, в отличие от более продвинутой версии, стал намного умнее.

Интересно, что у модели GTP-4 ухудшилась и генерация кода. Ученые создали набор данных с 50 простыми задачами из LeetCode и измерили, сколько ответов GPT-4 выполнялись без каких-либо изменений. Мартовская версия успешно справилась с 52% проблем, а вот у июньской модели этот показатель упал до 10%. 

Причина этих проблем еще не ясна. Нет также информации о том, предпримет ли что-то компания OpenAI, разрабатывающая эту языковую модель.