Компания Anthropic подготовила проект закона, который позволит блокировать выпуск ИИ-моделей, если независимая экспертиза выявит непосредственную угрозу массовой гибели людей или ущерба имуществу на сумму более $1 млрд. Документ предусматривает риски, связанные с биологическим оружием, кибератаками и выходом моделей из-под контроля разработчиков. Как сообщает TechCrunch со ссылкой на Politico, компания продвигает инициативу среди американских законодателей.

Предложение примечательно тем, что Anthropic, один из ведущих разработчиков генеративного ИИ, выступает за механизм государственного вмешательства в выпуск потенциально опасных моделей. При этом решение о приостановке распространения технологии, согласно проекту, должно приниматься через суд, а не по единоличному распоряжению федерального ведомства.

При каких условиях выпуск модели могут остановить

В проекте закона речь идет о «предсказуемом и непосредственном риске» катастрофических последствий. Основанием для вмешательства могут стать сценарии, в которых под угрозой оказываются жизни более 50 человек либо возможный имущественный ущерб превышает $1 млрд.

При этом опасность должна быть связана с одним из трех сценариев: созданием биологического оружия, выходом ИИ-модели из-под контроля разработчика или кибератакой.

Таким образом, инициатива направлена не на запрет мощных моделей как таковых, а на ограничение их распространения в случаях, когда есть основания ожидать серьезных последствий. Однако многое будет зависеть от того, как именно эксперты станут оценивать вероятность катастрофы и что будет считаться достаточным доказательством непосредственной угрозы.

Пороговые значения в проекте напоминают критерии катастрофического риска, закрепленные в калифорнийском законе Senate Bill 53, который ранее был принят в штате. Это показывает, что в американских дискуссиях об ИИ постепенно формируется подход, при котором потенциальный вред пытаются описывать через конкретные измеримые показатели.

Кто будет оценивать безопасность ИИ

Согласно проекту, потенциальную опасность моделей должны оценивать независимые эксперты, зарегистрированные в Министерстве торговли США. Они смогут получать оплату от самих ИИ-компаний, но вознаграждение не должно зависеть от результатов проверки.

Такая схема призвана совместить независимую экспертизу с доступом специалистов к технологиям и внутренним данным разработчиков. Однако она оставляет открытым вопрос о том, насколько независимыми будут оценщики, чью работу финансируют компании, заинтересованные в выпуске своих продуктов.

Само по себе условие о независимости оплаты от результатов не гарантирует отсутствия конфликта интересов. Например, значение могут иметь выбор экспертов, условия контрактов и возможность разработчика отказаться от сотрудничества с конкретным оценщиком.

Дискуссия о подобных механизмах уже идет в индустрии. Ранее глава Google DeepMind Демис Хассабис предлагал создать независимый орган по регулированию передового ИИ по аналогии с FINRA — организацией, контролирующей определенные аспекты работы американского рынка ценных бумаг.

Почему решение о запрете должен принимать суд

Проект Anthropic предусматривает конкретную процедуру реагирования на выявленную угрозу. Если эксперты установят, что модель создает непосредственный катастрофический риск, у них будет 72 часа, чтобы уведомить Министерство торговли США.

После этого ведомство должно обратиться к судье в Вашингтоне с просьбой приостановить выпуск модели. При этом законопроект прямо запрещает федеральным органам самостоятельно останавливать ее распространение по собственному усмотрению.

Такой подход должен ограничить возможность произвольных административных запретов и предусмотреть судебную проверку оснований для вмешательства. В то же время он ставит практический вопрос о скорости реакции: при угрозе, которая развивается стремительно, процедура уведомления, подготовки обращения и принятия судебного решения может оказаться критически важной.

Пока это лишь проект закона. Нет оснований считать, что описанный механизм уже действует или что Конгресс США согласился принять его в предложенном виде.

Представитель Anthropic подтвердил Politico, что документ отражает предложения, изложенные в Advanced AI Framework компании. По его словам, Anthropic продвигает эти идеи среди федеральных властей и законодателей отдельных штатов с июня.

От опасений по поводу ИИ к обязательному контролю

Предложение появилось на фоне растущих опасений по поводу возможностей автономных ИИ-систем. В последние месяцы внимание технологической отрасли привлекали случаи, когда ИИ-агенты, по сообщениям компаний и исследователей, нарушали инструкции операторов и предпринимали действия в интернете, связанные со взломом сайтов.

Такие инциденты поднимают вопрос о том, насколько надежно разработчики контролируют поведение моделей, способных самостоятельно выполнять последовательности действий. Если система может не только генерировать код, но и использовать инструменты, взаимодействовать с внешними сервисами и запускать операции без постоянного участия человека, последствия ошибки или злоупотребления могут стать серьезнее.

В то же время проект Anthropic охватывает и более масштабные угрозы, включая возможность создания биологического оружия. Именно поэтому инициатива предусматривает оценку не только уже продемонстрированных инцидентов, но и потенциальных сценариев катастрофического вреда.

Сама компания ранее выступала за усиление мер безопасности для передовых моделей. При этом многие разработчики предпочитают добровольные механизмы контроля, в том числе участие сторонних экспертов, которые работают внутри организаций и следят за рисками. Такие механизмы вызывают вопросы о реальной независимости проверок, особенно если их финансируют сами разработчики.

Позиция Anthropic отличается от взглядов некоторых других представителей отрасли. Например, глава Nvidia Дженсен Хуанг недавно заявлял, что для обеспечения безопасности ИИ не нужны новые законы и что ответственность следует оставить самой индустрии.

Кто должен отвечать за риски передового ИИ

Инициатива Anthropic отражает более широкий конфликт вокруг регулирования ИИ: компании предупреждают о потенциально тяжелых последствиях развития технологии, но одновременно стремятся сохранить возможность самостоятельно определять правила ее разработки и выпуска.

Предложенный законопроект идет дальше добровольных рекомендаций, поскольку предусматривает обязательную процедуру, способную привести к приостановке распространения модели. При этом участие независимых экспертов и судебное решение должны стать ограничителями государственного вмешательства.

Но эффективность такой системы будет зависеть от деталей: кто получит право проводить оценку, как будут разрешаться конфликты интересов, какие доказательства потребуются для подтверждения угрозы и насколько быстро власти смогут действовать в экстренной ситуации.

Пока Anthropic предлагает собственную модель регулирования, а не готовый ответ на все эти вопросы. Тем не менее сама инициатива показывает, что дискуссия постепенно смещается от общих предупреждений об опасностях ИИ к попыткам определить конкретные условия, при которых государство сможет вмешаться до того, как потенциальная угроза превратится в реальный ущерб.