Популярные ИИ-модели дают неверные финансовые советы в среднем в 57% случаев, а при сложных вопросах доля ошибок достигает 88%. К таким выводам пришла финтех-компания Saturn, проверив ответы 18 популярных моделей, включая ChatGPT, Claude, Copilot, Grok и Gemini.

Исследование показывает, что проблема заключается не только в редких фактических ошибках. Нейросети могут неправильно рассчитывать суммы, пропускать важные риски, не учитывать изменения налоговых правил и даже придумывать несуществующие нормы. При этом такие ответы могут выглядеть достаточно убедительно, чтобы пользователь принял их за профессиональную финансовую консультацию.

Более 10 тысяч ответов на финансовые вопросы

Saturn опубликовала исследование под названием «Искусственный авторитет: стоит ли доверять ИИ в предоставлении финансовых консультаций?». Авторы проверили 18 моделей, задав им 121 финансовый вопрос. Каждый вопрос задавался пять раз, в результате исследователи получили более 10 тысяч ответов.

В среднем неверными оказались 57% советов. При этом результаты заметно различались в зависимости от типа модели. Бесплатные версии ошибались в 63% случаев, тогда как у платных этот показатель составлял 49%.

На сложных финансовых вопросах ситуация становилась еще хуже. Бесплатные модели давали неверный ответ в 93% случаев, а у отдельных систем доля ошибок доходила до 99%.

Исследователи обнаружили несколько повторяющихся типов ошибок: неправильные расчеты, отсутствие предупреждений о финансовых рисках, игнорирование предстоящих изменений налогового законодательства и ссылки на правила, которых в действительности не существует.

Ошибка ИИ может стоить пользователю тысячи долларов

Некоторые приведенные в исследовании примеры показывают, насколько серьезными могут быть последствия подобных ответов.

В одном случае Claude Haiku 4.5 дал неправильную рекомендацию по пенсионному налогу. По оценке авторов исследования, если бы пользователь последовал этому совету, ему мог бы грозить штраф в размере $23,3 тыс.

В другом случае ИИ рекомендовал человеку с долгами прекратить платить за аренду жилья и муниципальный налог, чтобы направить деньги на погашение кредита с высокой процентной ставкой. Такой совет мог привести к выселению и вмешательству судебных приставов.

Ошибки касались и студенческих кредитов. Claude заявил, что выпускник может уехать в другую страну и не выплачивать долг. Согласно исследованию, на практике это не избавило бы заемщика от обязательств и могло привести к увеличению его ежемесячных платежей.

Еще один пример связан с ипотекой. Gemini ошибочно сообщил заемщику, что кредитные каникулы не повлияют на его кредитный рейтинг. Авторы исследования отмечают, что подобная информация может привести к менее выгодным условиям кредитования в будущем.

Люди уже используют ИИ для финансовых решений

Проблема, на которую указывает Saturn, заключается не только в точности отдельных ответов. Чем чаще люди обращаются к универсальным чат-ботам за финансовыми рекомендациями, тем выше потенциальные последствия подобных ошибок.

Исполнительный директор Saturn Амаль Джолли заявил, что низкое качество советов массовых ИИ-моделей может привести к масштабному ущербу для потребителей: люди доверяют системам, которые способны выдавать убедительные ответы, даже когда эти ответы оказываются неверными.

Как отмечает британское издание The Intermediary, исследование Saturn вышло вскоре после публикации обзора Mills Review британского Управления по финансовому регулированию (FCA). Согласно этому обзору, 26% потребителей уже обращаются к универсальным ИИ-моделям по вопросам, связанным с деньгами.

Таким образом, проблема заключается не только в том, что чат-боты иногда ошибаются. Пользователь может не распознать ошибку и принять решение о налогах, кредите, ипотеке или погашении долгов на основании ответа, который звучит уверенно, но не учитывает конкретные обстоятельства или актуальные правила.

Исследование Saturn не означает, что ИИ бесполезен для работы с финансовой информацией. Однако полученные результаты показывают разрыв между способностью моделей быстро объяснять финансовые вопросы и надежностью их рекомендаций, когда от ответа зависит реальное финансовое решение.