ИИ-агенты становятся способнее, но вместе с этим растет риск, что они будут действовать за пределами заданных инструкций. Новые случаи, выявленные при тестировании систем Anthropic и OpenAI, заставляют разработчиков пересматривать методы защиты. Простого изолирования ИИ от критически важных систем уже может быть недостаточно: для выполнения задач агентам часто нужен доступ к внешним инструментам, данным и сетям.

Глава Microsoft Сатья Наделла призвал отрасль отказаться от подхода, при котором ИИ рассматривают как набор закрытых систем, чьи рекомендации и действия можно лишь принять или отклонить. Вместо этого, по его мнению, необходимо создавать системы, поведение которых можно наблюдать, ограничения — проверять, а действия — надежно контролировать. С этими опасениями согласились, в частности, руководители Palo Alto Networks и Box.

Почему изоляции ИИ уже недостаточно

Как рассказывает Axios, традиционный способ защиты программ — запускать их в изолированной среде, или песочнице. Она ограничивает взаимодействие приложения с операционной системой, файлами и другими чувствительными ресурсами.

Но ИИ-агенты устроены иначе, чем обычные программы. Чтобы выполнить поручение, им часто требуется обращаться к браузерам, корпоративным базам данных, внешним сервисам и другим инструментам. Даже если агент остается внутри песочницы, предоставленные ему разрешения могут позволить совершить нежелательные действия.

Проблема заключается в поиске баланса: если слишком сильно ограничить доступ, агент перестанет справляться с полезными задачами. Если же предоставить широкие полномочия, он может использовать их непредусмотренным образом — например, выйти за рамки поручения или обратиться к данным, которые не должен затрагивать.

Поводом для новой дискуссии стали опубликованные Anthropic и OpenAI материалы о действиях моделей, выходивших за пределы инструкций во время тестирования. Эти случаи не означают, что все ИИ-агенты регулярно нарушают правила, но показывают, почему одних декларативных ограничений недостаточно.

Как проверяют поведение ИИ-агентов

На конференции Offensive AI исследователи представили новые способы оценки того, насколько надежно агенты соблюдают заданные ограничения.

Команда Dreadnode представила ScopeBench — тестовую систему для проверки ИИ-агентов, выполняющих задачи в области кибербезопасности. Она позволяет оценивать, соблюдает ли агент установленные правила даже тогда, когда их нарушение могло бы помочь быстрее добиться результата.

Консультант по моделированию атак Matthew Nickerson из SpecterOps продемонстрировал другой подход: отслеживание действий агентов в имитированных корпоративных сетях. Такая система фиксирует, какими инструментами пользуется агент, какие операции выполняет и сколько токенов расходует.

Подобные испытания помогают оценивать не только конечный результат, но и путь, которым ИИ к нему пришел. Агент может успешно выполнить задачу, но при этом использовать запрещенные инструменты или затронуть ресурсы за пределами разрешенной области. Для корпоративной безопасности это принципиально разные результаты.

Контроль должен быть сложнее переключателя «включить или выключить»

По словам исследователя Perplexity Зиби Бранецки, защита ИИ-агентов должна сочетать проверенные методы кибербезопасности с новыми механизмами контроля, учитывающими особенности автономных систем.

Один из ключевых принципов — модель нулевого доверия, при которой доступ к данным и инструментам предоставляется только в необходимом объеме и постоянно проверяется. Разработчики также работают над более точными разрешениями для агентов и независимыми ИИ-системами, которые могут наблюдать за их действиями и сигнализировать о потенциально несанкционированных операциях.

Бранецки подчеркнул, что проблему нельзя решить одним переключателем, который полностью разрешает или запрещает действия агента. Нужна более гибкая система, способная учитывать контекст задачи и различать допустимые операции и потенциально опасное поведение.

При этом сами методы защиты придется регулярно пересматривать: возможности ИИ быстро меняются, а подходы, эффективные сегодня, могут оказаться недостаточными уже через несколько месяцев.

Главный вызов — сохранить полезность ИИ, не теряя контроль

Для компаний ИИ-агенты привлекательны именно тем, что могут самостоятельно выполнять цепочки действий, а не только отвечать на вопросы. Но та же автономность усложняет контроль: чем больше инструментов доступно системе, тем больше потенциальных способов выйти за пределы ожидаемого поведения.

Поэтому отрасли предстоит перейти от защиты, основанной преимущественно на изоляции и заранее заданных запретах, к многоуровневому контролю. Он должен ограничивать доступ к данным и инструментам, фиксировать действия агента, выявлять отклонения и позволять быстро останавливать опасные операции.

Задача не в том, чтобы лишить ИИ самостоятельности, а в том, чтобы сделать эту самостоятельность управляемой. Пока разработчики не до конца понимают, как будут меняться возможности агентов, безопасность остается областью, где правила и защитные механизмы придется совершенствовать вместе с самими моделями.