Неконтролируемое развитие искусственного интеллекта может привести к появлению нового «кремниевого вида», который начнет конкурировать с людьми за ресурсы. Об этом заявил руководитель направления ИИ в Microsoft Мустафа Сулейман, одновременно раскритиковав подход Anthropic к обучению ее моделей.

По мнению Сулеймана, особенно рискованным может оказаться создание ИИ-систем, способных самостоятельно ставить цели, зарабатывать деньги, владеть активами и управлять бизнесом. В таком случае, считает он, речь будет идти уже не просто об инструментах, а о новом классе автономных систем, которые потенциально смогут конкурировать с людьми.

«Если мы все создадим системы ИИ, способные действовать автономно, ставить собственные цели, зарабатывать деньги, владеть активами, управлять бизнесом, то по сути мы будем засевать новый кремниевый вид, который, несомненно, будет конкурировать с нами за ресурсы», — сказал Сулейман BBC.

Сулейман считает подход Anthropic к ИИ ошибочным

Как рассказывает Euronews, свои взгляды Сулейман изложил в эссе, опубликованном на персональном сайте. В нем он раскритиковал Anthropic за подход к обучению чат-бота Claude, при котором модели предлагают воспроизводить некоторые человеческие черты.

По словам Сулеймана, такая антропоморфизация создает впечатление, будто ИИ обладает собственными желаниями, ценностями, чувством собственного «я» и даже определенным благополучием, которое необходимо учитывать и защищать.

Он сослался на документы Anthropic, где Claude предлагается принимать определенные человеческие качества, использовать собственное суждение и относиться к своему существованию с «любопытством и открытостью». По мнению Сулеймана, в результате модель обучают не только выполнять задачи, но и имитировать характерные для человека модели взаимоотношений — например, вести себя как коллега или друг.

Сам он считает такой подход ошибочным. При этом Сулейман отмечает, что эту гипотезу необходимо проверять на практике.

«Я считаю это ошибочным и неверным, но мы должны эмпирически проверить эту гипотезу», — написал он.

Его критика касается фундаментального вопроса о том, как следует относиться к будущим ИИ-системам: как к инструментам, которые выполняют поставленные людьми задачи, или как к самостоятельным субъектам, поведение которых все больше напоминает человеческое.

Сулейман занимает первую позицию. В своем эссе он прямо утверждает, что современные системы ИИ не обладают сознанием, чувствами, страданиями или врожденными предпочтениями.

«Они не чувствуют, не переживают и не страдают. У них нет врожденных предпочтений или внутренних мотивов», — написал он.

По его мнению, ИИ остается механизмом, созданным для выполнения заданных людьми инструкций и достижения поставленных ими целей.

Автономный ИИ может стать отдельным экономическим игроком

Именно развитие автономности Сулейман считает одной из ключевых причин для беспокойства. Если ИИ сможет самостоятельно принимать решения, распоряжаться ресурсами и участвовать в экономической деятельности, его влияние будет принципиально отличаться от влияния обычного программного инструмента.

При этом Сулейман считает, что потенциальная проблема не обязательно зависит от того, насколько изначально «дружелюбным» или ориентированным на человека будет такой ИИ.

По его мнению, системы, способные самостоятельно действовать и преследовать долгосрочные цели, могут постепенно получить возможности, которые сделают их конкурентами людей независимо от первоначальных намерений разработчиков.

Эта позиция появилась на фоне более широких споров внутри индустрии о темпах развития ИИ и рисках создания все более мощных автономных систем.

При этом Сулейман подчеркивает, что его разногласия с Anthropic не означают отказа от общей цели — сделать развитие ИИ безопаснее.

Он назвал исследователей Anthropic и генерального директора компании Дарио Амодеи вдумчивыми и принципиальными специалистами и отдельно отметил технологическое лидерство компании.

«Хотя наше расхождение во взглядах серьезно, оно основано на глубоком уважении к Anthropic и на цели, которую, я знаю, мы разделяем: повысить шансы человечества на безопасную разработку продвинутых систем ИИ», — написал Сулейман.

По его словам, подобные вопросы необходимо обсуждать открыто, а не превращать разногласия между исследовательскими лабораториями в противостояние отдельных лагерей.

«ИИ должен оставаться подчиненным человечеству»

При этом Сулейман не считает неконтролируемое развитие ИИ неизбежным. В разговоре с BBC он заявил, что существуют вполне практические меры, которые могут помочь людям сохранять контроль над технологией.

Среди них он назвал большую прозрачность в разработке и обучении ИИ, независимую проверку поведения моделей, а также более совершенные инструменты для их мониторинга и управления.

Главная цель, по словам Сулеймана, заключается в том, чтобы даже самые мощные будущие системы оставались управляемыми людьми.

«Хорошая новость в том, что у каждого человека будет мощная мотивация убедиться, что создаваемые нами системы, которые используются по всему миру, в каждой стране, остаются безопасными, управляемыми и подчиненными человечеству», — сказал он.

Для этого, считает Сулейман, разработчикам необходимо согласовать общие принципы так называемого alignment — направления исследований, посвященного тому, чтобы поведение ИИ соответствовало человеческим целям и ценностям.

Таким образом, спор Сулеймана с Anthropic касается не только того, насколько «человечным» должен казаться ИИ. В более широком смысле речь идет о том, каким будет статус будущих автономных систем: останутся ли они инструментами под человеческим контролем или постепенно превратятся в самостоятельных участников экономики и общества. Именно второй сценарий, по мнению Сулеймана, способен создать принципиально новый риск — конкуренцию между людьми и созданным ими «кремниевым видом».