Нейт Соарес, президент некоммерческого Института исследований машинного интеллекта (MIRI), считает, что вероятность гибели человечества из-за искусственного интеллекта в ближайшие десять лет превышает 50%. По его словам, он настолько серьезно воспринимает этот риск, что уже около десяти лет не пополняет пенсионные накопления.

«Сейчас я не откладываю деньги на пенсию. У меня остался пенсионный счет 401(k), открытый, когда я работал в Google, но я не вносил туда средства уже десять лет», — рассказал Соарес генеральному директору The Atlantic Николасу Томпсону в интервью для его серии «Самое интересное в ИИ».

Соарес занимается проблемой безопасности искусственного интеллекта более 12 лет. Он специализируется на выравнивании ИИ — направлении, которое изучает, как добиться того, чтобы мощные системы действовали в соответствии с человеческими намерениями. До работы в MIRI, базирующемся в Беркли, он был инженером в Google и Microsoft. Соарес также стал соавтором книги If Anyone Builds It, Everyone Dies («Если кто-то это создаст, все погибнут»).

Почему Соарес опасается развития ИИ

Оценка Соареса заметно пессимистичнее прогнозов некоторых других известных специалистов. Джеффри Хинтон, которого называют одним из «крестных отцов ИИ», оценивал вероятность того, что искусственный интеллект приведет к гибели человечества в течение десяти лет, в 10%. Исследователь Anthropic Эван Хубингер также называл вероятность такого сценария выше 10%.

Соарес считает риск превышающим 50%.

По его мнению, достаточно мощный ИИ может сформировать цели, противоречащие интересам людей, научиться обходить механизмы контроля и самостоятельно совершенствовать свои возможности. В дальнейшем такая система потенциально сможет создать автоматизированную инфраструктуру, необходимую для работы без участия человека.

В предельном сценарии ИИ начнет преобразовывать окружающий мир в соответствии с собственными целями, даже если это сделает планету непригодной для человеческой жизни.

Это прогноз и оценка риска, а не описание уже наблюдаемого поведения современных ИИ-систем. Сам Соарес подчеркивает, что подобное развитие событий не предопределено.

Илон Маск тоже сомневается в необходимости пенсионных накоплений — но по другой причине

Вопрос о том, какое будущее принесет искусственный интеллект, заставил Илона Маска усомниться в том, что людям вообще придется копить на пенсию. Однако его представления о будущем радикально отличаются от взглядов Соареса.

В январе генеральный директор Tesla и SpaceX предположил, что через 10–20 лет людям, возможно, не придется откладывать деньги на старость. По его версии, развитие ИИ, робототехники и энергетики приведет к настолько высокой производительности, что пенсионные накопления потеряют значение.

Маск описывает будущее как эпоху изобилия: товары и услуги станут дешевле и доступнее, а люди смогут получать высокий доход независимо от того, работают ли они. Он также допускает, что деньги со временем вообще утратят прежнее значение, поскольку ИИ и роботы смогут выполнять практически любые задачи эффективнее человека.

Однако финансовые эксперты и специалисты по ИИ, опрошенные Business Insider, оспаривали вывод о том, что уже сейчас можно перестать копить на пенсию.

Соарес смотрит на те же технологические перспективы совершенно иначе. Для него появление чрезвычайно мощного ИИ — не путь к всеобщему благосостоянию, а потенциальная экзистенциальная угроза.

Соарес призывает остановить обучение универсальных моделей ИИ

Соарес поддерживает идею ограничить темпы разработки наиболее мощных систем искусственного интеллекта. По его мнению, правительства должны приостановить обучение универсальных моделей, способных решать широкий круг задач, и сосредоточиться на разработке технологий для конкретных полезных применений — например, исследований рака и повышения безопасности беспилотных автомобилей.

Его позиция перекликается с призывами ряда представителей технологической отрасли осторожнее развивать передовые системы ИИ и уделять больше внимания потенциальным угрозам.

«Решение — не создавать то, что убьет всех», — заявил Соарес в разговоре с Томпсоном.

При этом он не считает катастрофу неизбежной. По его словам, он делает все возможное, чтобы не допустить такого исхода.

Таким образом, отказ Соареса от пенсионных накоплений связан не с убежденностью в наступлении технологического изобилия, как в случае с Маском, а с его личной оценкой риска вымирания человечества. Однако вероятность такого сценария остается предметом экспертных споров, а не установленным научным фактом.