Можно ли будет запускать большие языковые модели на платформах с ограниченными ресурсами?

В последние годы искусственный интеллект (ИИ) переживает бурный рост и развитие, однако с этим ростом возникают и новые вызовы. Одной из ключевых проблем становится увеличение размеров и ресурсозатратности современных нейронных сетей. В беседе с NEWS.am Tech Ваге Андонианс, основатель компании Cognaize, рассказал о том, как можно справиться с этой проблемой и запускать большие языковые модели на платформах с ограниченными ресурсами. На эту же тему он прочел лекцию в ходе 4-го форума «Датафест Ереван».

Огромные модели и ограниченные ресурсы

ИИ, как подчеркнул специалист, требует огромных ресурсов для корректной работы. У популярного чат-бота ChatGPT, например, аж 1.7 триллионов параметров. Модели вроде ChatGPT предоставляют впечатляющие результаты в различных задачах, но их огромные размеры требуют огромных ресурсов. Далеко не каждая компания может себе позволить развертывание таких гигантов. По данным специалиста, сегодня в мире, наверное, всего около 10 компаний, которым такое по силам.

Уменьшение потребления ресурсов

Один из путей решения этой проблемы заключается в оптимизации нейронных сетей. Нейросети, которые моделируют работу мозга человека, включают в себя так называемые веса, которые определяют важность сигналов, передаваемых между нейронами. Эти веса обычно представлены в формате чисел с плавающей запятой (floating point numbers).

Однако, как отметил специалист, для снижения потребления ресурсов нейросетями можно рассмотреть замену чисел с плавающей запятой на целые числа (integers) или более простые, меньшие числа. Это может существенно сократить объем потребляемой памяти и вычислительной мощности.

Это приведет к небольшому ухудшению качества работы нейросети, но, с другой стороны, подобная оптимизация может сделать возможной работу больших моделей на более доступных платформах.

Будущее больших языковых моделей

Большие языковые модели не перестают удивлять нас своим потенциалом. Один ключевых факторов развития этих моделей — память. С увеличением объема памяти модели получают возможность выполнять более широкий спектр задач.

На сегодняшний день память моделей ограничена. Например, ChatGPT может запомнить только до 80 000 токенов. Увеличение этой памяти, как отметил Андонианс, станет важным шагом в развитии больших языковых моделей.

Запуск больших языковых моделей на платформах с ограниченными ресурсами — крайне актуальная сегодня задача в мире искусственного интеллекта. Оптимизация и поиск баланса между размером модели и потреблением ресурсов являются ключевыми факторами, которые будут определять будущее развития ИИ. Как отмечают многие специалисты, увеличение памяти и поиск новых методов оптимизации помогут нам продолжать использовать искусственный интеллект на платформах всех размеров и мощности.