Лучшие модели ИИ не разобрались с базовыми правилами грамматики

Исследователи из Университета Ровиры и Вирхилия и Барселонского университета в Испании обнаружили, что самые передовые системы искусственного интеллекта (ИИ), основанные на моделях больших языков, значительно уступают людям в обнаружении грамматических ошибок. Результаты исследования были опубликованы в журнале Proceedings of the National Academy of Sciences (PNAS).

Ученые протестировали три лучшие языковые модели, включая ChatGPT. Им предоставили простую задачу: определить, какие предложения построены грамматически правильно, а какие содержат ошибки. То же самое задание выполнила группа людей.

Участники легко выявили грамматические несоответствия, в то время как искусственный интеллект дал множество неправильных ответов. Фактически, ИИ определил все представленные примеры как грамматически правильные.

Согласно авторам исследования, эксперимент подтвердил, что ИИ в настоящее время не способен эффективно оценивать тексты на соответствие грамматическим нормам, даже если эти правила предварительно внедрены в систему. В отличие от этого, человек мгновенно и без усилий выявляет тривиальные грамматические ошибки. Это указывает на то, что нейронные сети понимают язык иначе, чем люди.

Ранее исследователи также обнаружили, что некоторые ИИ проявляют предвзятость по отношению к мужчинам и женщинам.