Anthropic представила исследовательский проект FlashProve — открытую систему, которая должна позволить проверять происхождение ответов искусственного интеллекта. С помощью криптографического доказательства пользователь сможет убедиться, что результат действительно создан той моделью, которую ему обещали предоставить, а не более дешевой или менее мощной заменой.

Разработка призвана решить проблему доверия к ИИ-сервисам: сегодня пользователь не всегда может проверить, какая именно модель обработала его запрос. Это особенно важно для компаний, которые используют ИИ в критически значимых задачах или заявляют, что получили результат от передовой модели, рассказывает TechCrunch.

Как доказать, какая модель ответила на запрос

FlashProve реализует подход, который исследователи называют provable inference — доказуемым выводом. По сути, речь идет о криптографическом подтверждении того, что конкретный ответ был получен с помощью определенной модели.

Anthropic сравнивает эту идею с цифровыми подписями электронной почты. Они позволяют получателю проверить, действительно ли сообщение отправлено тем, от чьего имени оно пришло. Аналогичным образом FlashProve должен подтверждать происхождение ответа ИИ и защищать систему от попыток выдать одну модель за другую.

Такая проверка может быть полезна даже в ситуации, когда подмену пытается осуществить сама компания, разработавшая и обслуживающая модель. Например, поставщик ИИ-сервиса теоретически может незаметно заменить дорогую модель более дешевой, чтобы сократить расходы, сохранив прежние обещания пользователям. Возможна и обратная ситуация: компания может заявлять о результатах более мощной модели, хотя фактически использовала другую.

FlashProve задуман как способ сделать подобные подмены обнаруживаемыми.

Зачем это нужно за пределами ИИ-сервисов

Система может пригодиться не только для проверки ответов чат-ботов. Она также позволит подтверждать заявления сторонних компаний о том, какие модели использовались при выполнении определенных задач.

Например, разработчик программного обеспечения может утверждать, что его библиотеку проверила на уязвимости передовая модель кибербезопасности. Или компания может заявить, что ее бизнес-план получил одобрение подходящей для такой оценки ИИ-системы.

В обоих случаях возникает один и тот же вопрос: как убедиться, что заявленная модель действительно участвовала в работе?

Исследователи Anthropic считают, что криптографическое подтверждение происхождения результата могло бы дать пользователям такую возможность. Это особенно важно по мере того, как решения ИИ начинают использоваться в процессах, где доверие к качеству и происхождению ответа имеет практическое значение.

Отпечаток модели без раскрытия ее устройства

Для работы FlashProve разработчикам ИИ придется публиковать специальный цифровой «отпечаток» каждой выпущенной модели. В дальнейшем его можно будет сопоставлять с результатами работы системы и проверять криптографическим способом.

При этом отпечаток не раскрывает веса модели — внутренние числовые параметры, определяющие ее поведение. Именно эти данные разработчики закрытых систем, включая Anthropic и OpenAI, обычно не публикуют, поскольку они представляют собой одну из главных коммерческих ценностей.

Таким образом, компании смогут участвовать в системе подтверждения происхождения ответов, не открывая доступ к внутреннему устройству своих моделей. Это принципиальное условие для применения технологии не только в открытых, но и в коммерческих ИИ-продуктах.

Еще одно требование к FlashProve — небольшая вычислительная нагрузка. Проверка доказательства должна выполняться непосредственно на локальном устройстве пользователя, без необходимости обращаться к мощной инфраструктуре разработчика модели.

Anthropic открыла код, но пока не планирует внедрять систему

Вместе с анонсом исследователи опубликовали подробную техническую спецификацию FlashProve и рабочий код отдельных компонентов проекта. Материалы доступны в открытом доступе на GitHub под лицензией open source.

Однако разработка пока остается исследовательской. Anthropic не объявляла о планах внедрить FlashProve в собственные продукты или передать систему для практического использования другим ИИ-компаниям.

Авторы подчеркивают, что опубликованные материалы отражают промежуточный этап работы, а не завершенную исследовательскую программу. Они рассчитывают, что другие специалисты изучат предложенный подход, проверят его возможности и предложат улучшения.

Если FlashProve удастся довести до практического применения, он может стать важным инструментом прозрачности рынка ИИ. Сегодня компании конкурируют прежде всего качеством моделей и их возможностями. Но по мере распространения таких сервисов все важнее будет становиться и другой вопрос: действительно ли пользователь получил ответ от той системы, за которую заплатил или которую ему обещали предоставить.