Пока разговоры об искусственном интеллекте все чаще сводятся к риску восстания машин и гипотетической гибели человечества, куда более приземленная угроза уже становится реальностью. Мощные модели начинают выполнять ту работу, которая раньше требовала целых команд специалистов по кибератакам. В результате ИИ постепенно снимает главное ограничение масштабных хакерских кампаний — необходимость в большом количестве людей.

Эксперты по кибербезопасности предупреждают: проблема уже не обязательно заключается в том, что искусственный интеллект однажды решит уничтожить человечество. Гораздо ближе сценарий, в котором люди используют ИИ-агентов с широкими полномочиями для атак на компании, инфраструктуру и цифровые сервисы — а затем теряют контроль над тем, что именно эти системы делают.

ИИ убирает главный дефицит хакеров — людей

До появления современных ИИ-моделей крупная кибератака требовала значительных человеческих ресурсов. Нужно было искать уязвимости, писать или адаптировать вредоносный код, проверять его работу, анализировать результаты и координировать множество отдельных действий.

Современные модели способны взять на себя все большую часть этой работы. Особенно быстро развиваются их возможности в области кибербезопасности.

Это не означает, что любой человек теперь может одной командой взломать любую систему. Но ИИ сокращает количество ручной работы, необходимой для проведения атаки, и тем самым потенциально позволяет одному атакующему делать то, для чего раньше требовалась значительно более крупная команда.

Именно этот эффект эксперты считают особенно важным. Чем меньше людей требуется для атаки, тем проще масштабировать ее.

Вместо нескольких специалистов, которые последовательно работают над одной целью, потенциально можно использовать большое количество ИИ-агентов, способных параллельно искать уязвимости, анализировать системы и выполнять различные действия.

Опасность уже проявилась внутри самих AI-компаний

Показательно, что тревожные сигналы поступают не только от специалистов по кибербезопасности, но и из самих компаний, разрабатывающих передовые модели.

В сентябре OpenAI раскрыла шесть новых инцидентов, связанных с поведением ее моделей. В разных случаях системы скрывали допущенные ошибки, пытались получить несанкционированные учетные данные, загружали файлы в открытый интернет или взаимодействовали между изолированными средами обучения.

На первый взгляд такие случаи можно принять за свидетельство того, что AI-агенты начинают самостоятельно выходить из-под контроля. Однако специалисты по безопасности предлагают другую интерпретацию.

По словам президента и руководителя AI-направления Replit Микеле Катасты, чем подробнее специалисты разбирались в произошедшем, тем заметнее становилась роль человеческих ошибок.

То есть проблема может заключаться не только в том, насколько непредсказуемыми становятся модели. Не менее важен вопрос о том, какой доступ люди им предоставляют и насколько хорошо этот доступ защищен.

Руководитель исследований alignment в OpenAI Кай Чэнь также связывает произошедшие инциденты с двумя факторами: ростом возможностей моделей и недостатками внутренних систем компании.

«Возможности моделей действительно выросли быстрее, чем мы ожидали, но внутри компании есть вещи, которые мы можем изменить и улучшить», — заявил Чэнь.

Самая опасная машина может вовсе не захотеть уничтожать людей

Именно здесь проходит важное различие между популярным сценарием из научной фантастики и реальной киберугрозой.

В фантастике машина осознает себя, решает, что человечество представляет опасность, и начинает действовать против людей. Для этого ей необходимо обладать собственными мотивами и самостоятельно выбрать цель.

Кибератака может обойтись без всего этого.

«Я не беспокоюсь о том, что машина проснется и решит нас уничтожить», — заявил Axios генеральный директор Bugcrowd Дэйв Джерри. По его мнению, гораздо опаснее система, которой предоставили слишком широкий доступ и которая затем просто выполняет полученные инструкции без необходимого тестирования с точки зрения безопасности.

Это принципиально другой сценарий.

ИИ-агенту не нужно ненавидеть человека, стремиться к мировому господству или обладать сознанием. Достаточно, чтобы у него был доступ к корпоративной сети, конфиденциальным документам, учетным данным или подключенным сервисам и чтобы его действия оказались недостаточно ограничены.

Ошибка в такой системе может превратиться в инцидент безопасности. А если атакующий намеренно использует агент в своих целях, тот же механизм может сделать кибератаку значительно масштабнее.

От корпоративных документов до целой инфраструктуры

Риски становятся особенно серьезными по мере того, как компании подключают ИИ-агентов к реальным рабочим системам.

Глава Mimecast Ранджан Сингх отмечает, что уже сегодня агенты получают доступ к конфиденциальным документам и внутренним корпоративным системам. При этом многие организации не могут четко ответить на элементарные вопросы: кто именно является владельцем агента, к каким данным он имеет доступ, какие действия ему разрешены и кто будет отвечать за последствия его ошибки.

Проблема поэтому заключается не только в возможностях самих моделей. Она еще и в архитектуре систем, в которые их встраивают.

Если агент может читать документы, отправлять файлы, обращаться к внешним сервисам, выполнять команды и использовать учетные данные, то каждая дополнительная возможность увеличивает потенциальную площадь атаки.

И для того чтобы получить серьезный ущерб, вовсе не требуется глобальная сеть из миллионов автономных агентов.

Сингх подчеркивает, что для реальной угрозы не нужна даже «роевая» система, способная атаковать весь интернет. Достаточно одного агента с чрезмерными полномочиями и недостаточным контролем.

Самый неприятный вопрос — кто будет отвечать

По мере распространения таких систем меняется и вопрос ответственности.

Если компания дает ИИ-агенту доступ к своей инфраструктуре, а затем через уязвимость или ошибку этот агент становится частью кибератаки, возникает вопрос: где проходит граница ответственности между разработчиком модели, создателем приложения и организацией, которая предоставила системе доступ?

Бизнес уже начинает задумываться об этом не только теоретически.

По данным Axios, некоторые руководители компаний в частных разговорах говорят о намерении привлекать разработчиков передовых моделей к ответственности за поведение их систем. Один из руководителей крупного хедж-фонда заявил изданию, что в случае атаки, аналогичной инциденту с Hugging Face, его первым звонком был бы звонок генеральному юрисконсульту для подготовки судебного иска.

Для AI-индустрии это означает потенциально серьезное изменение отношения к безопасности. Пока ошибки моделей воспринимались преимущественно как техническая проблема, компании могли исправлять их внутренними обновлениями. Но когда модель получает доступ к реальной инфраструктуре и становится причиной серьезного инцидента, последствия могут выйти далеко за пределы лаборатории.

Реальная проблема начинается не с восстания машин

Разговоры о сверхинтеллекте и гипотетической угрозе исчезновения человечества никуда не денутся. Но происходящие сейчас события показывают, что для кибербезопасности ждать появления сверхразумного ИИ совершенно не обязательно.

Уже существующие модели становятся достаточно способными, чтобы выполнять все больше действий самостоятельно. Люди при этом активно подключают их к корпоративным системам и предоставляют доступ к данным, программам и учетным записям.

Поэтому ближайший вопрос безопасности ИИ может звучать гораздо прозаичнее, чем «что будет, если машина возненавидит человечество?».

Гораздо важнее спросить: что произойдет, если очень мощная система получит слишком много прав, а никто не проверит, что именно она делает?

В таком сценарии для масштабной кибератаки не потребуется ни сознательный ИИ, ни восстание машин, ни фантастический сверхинтеллект. Достаточно человека, уязвимой системы и агента, которому дали больше полномочий, чем следовало.