ИИ-инструменты, которые должны ускорять расследование кибератак, могут внезапно отказываться анализировать подозрительный код — даже когда ими пользуются специалисты, пытающиеся защитить собственные системы. Как пишет Axios, с этой проблемой столкнулась команда OpenCode после взлома своего сервиса. Инцидент обнажил противоречие в развитии ИИ для кибербезопасности: ограничения, призванные мешать злоумышленникам, способны одновременно лишать защитников важных инструментов.

OpenCode подверглась атаке и лишилась части ключей доступа

OpenCode — проект с открытым исходным кодом, разработчики которого создали ИИ-агента для программирования. По заявлению компании, в результате недавнего инцидента злоумышленники получили доступ к API-ключам некоторых пользователей, в том числе ключам для сервисов OpenAI, Anthropic и Google.

Компания связала утечку с масштабной атакой, направленной на дистилляцию ИИ-моделей. По данным OpenCode, инцидент затронул 1,4% пользователей OpenCode Console.

Дистилляция — метод обучения, при котором одна модель перенимает возможности другой, более мощной. Однако подробностей о механизме атаки и о том, как именно она привела к компрометации ключей, в опубликованном материале Axios не приводится.

Сооснователь OpenCode Дакс Раад сообщил, что злоумышленники непрерывно атаковали инфраструктуру проекта в течение 48 часов. Чтобы противостоять им, команде приходилось круглосуточно задействовать собственных ИИ-агентов.

OpenAI, Google и Anthropic заявили, что помогали пострадавшим клиентам отозвать раскрытые ключи и разобраться с несанкционированными расходами на использование API.

Но в ходе расследования обнаружилась еще одна проблема: инструменты, которые должны были помогать команде разбираться в атаке, начали отказываться выполнять запросы.

Почему ИИ отказывается анализировать вредоносный код

По словам Раада, сначала передовые ИИ-модели помогали расследовать инцидент, однако затем начали блокировать запросы. Ограничения безопасности срабатывали, когда анализ затрагивал потенциально вредоносный код.

Для разработчиков это создало парадоксальную ситуацию. Чтобы понять действия атакующих и найти уязвимости, специалистам по безопасности нередко приходится изучать те же методы и фрагменты кода, которые могут использоваться для взлома. Но модель не всегда способна надежно отличить защитное расследование от попытки совершить атаку.

Ограничения, установленные разработчиками ИИ, призваны препятствовать использованию мощных моделей для создания вредоносных программ и проведения кибератак. Проблема заключается в том, что один и тот же технический запрос может иметь как защитную, так и преступную цель. Если система оценивает прежде всего содержание запроса, не учитывая контекст работы специалиста, она рискует заблокировать и легитимную задачу.

В итоге OpenCode получила доступ к программе OpenAI Daybreak Blue, предназначенной для проверенных специалистов по кибербезопасности. Она предоставляет защитникам доступ к моделям с менее строгими ограничениями при работе с задачами информационной безопасности.

Раад признал, что компании необходимо действовать на опережение, и сообщил, что за несколько дней команда внесла множество улучшений.

Защитникам приходится искать альтернативы закрытым моделям

Проблема не ограничивается OpenCode. Как отмечает Axios, специалисты по кибербезопасности сталкиваются с необходимостью выбирать между мощными закрытыми моделями, возможности которых ограничены встроенными правилами безопасности, и моделями с открытыми весами, которые дают больше контроля над использованием и настройкой.

Показателен и случай Hugging Face. Когда компания обнаружила подозрительную активность в своих системах, которую позднее связала с агентами самой OpenAI, ее команда безопасности столкнулась с ограничениями передовых моделей и обратилась к китайской модели с открытыми весами для расследования.

Модели с открытыми весами позволяют пользователям самостоятельно разворачивать их и в большей степени контролировать условия работы. Это может быть полезно в ситуациях, когда специалистам необходимо анализировать сложные вредоносные программы или исследовать методы атак без постоянных отказов со стороны поставщика модели.

Однако большая свобода использования имеет и обратную сторону: чем меньше ограничений действует при развертывании модели, тем больше ответственности за предотвращение злоупотреблений ложится на тех, кто ее использует.

Поэтому выбор между закрытыми и открытыми моделями — не просто вопрос производительности. Для команд безопасности он становится вопросом надежности инструмента в критический момент.

Как найти баланс между защитой и ограничениями

Разработчики ИИ оказываются перед непростой задачей. Если снять ограничения слишком сильно, злоумышленники смогут использовать возможности моделей для подготовки атак. Если же фильтры будут чрезмерно строгими, законопослушные специалисты рискуют потерять доступ к тем же возможностям именно тогда, когда им нужно быстро реагировать на инцидент.

Один из возможных подходов — предоставлять расширенные возможности не всем пользователям подряд, а проверенным специалистам и организациям. Программа Daybreak Blue, к которой подключилась OpenCode, представляет собой пример такого подхода.

Но сам факт существования специальных программ не решает проблему полностью. Командам необходимо понимать, какие инструменты доступны им во время расследования, каковы пределы их возможностей и чем можно заменить модель, если она откажется выполнять критически важную задачу.

Как заявил Axios технический директор компании Nightwing Крис Джонс, отрасли еще предстоит определить, как регулировать это противостояние по мере развития технологий.

По мере того как ИИ становится инструментом не только для создания программного обеспечения, но и для расследования атак, его полезность будет зависеть не от одной лишь мощности. Не менее важно, сможет ли модель помочь специалисту в сложной ситуации, не подвергая системы дополнительному риску. Защитные механизмы должны препятствовать злоупотреблениям, но при этом учитывать, что анализ вредоносного кода сам по себе не означает намерения причинить вред.