Стэнфордские ученые создали ИИ наподобие ChatGPT: Его обучение обошлось всего в $600

Ученые Стэнфордского университета разработали собственную модель искусственного интеллекта Alpaca AI наподобие ChatGPT. Обучение ИИ обошлось всего в $600, так как построили его на основе платформы с открытым исходным кодом.

Их опыт показал, что современные продвинутые ИИ-системы можно легко воспроизвести, причем это даже не потребует огромных затрат — нужна будет лишь база знаний, на которой ИИ будет обучаться. Сама база обошлась ученым в $500, и еще около $100 они потратили на настройку ИИ, для чего потребовались ресурсы 8 компьютеров с 80-Гбайт ускорителями NVIDIA A100 на 3 часа: эту услугу «арендовали» в облачной инфраструктуре.

Стэнфордские ученые взяли за основу своего ИИ открытую языковую модель LLaMA 7B — самую доступную из линейки LlaMA, разработанной Meta. Ее возможности на самом деле довольно ограничены, и с большинством задач она справляется хуже ChatGPT. И это не удивительно, ведь обучение моделей OpenAI GPT потребовало гораздо больше времени и ресурсов. ChatGPT как будто прочитал миллиарды книг, Alpaca AI же усвоил некоторое — хоть и довольно большое — число пар вопросов и ответов, созданных человеком.

С другой стороны, с некоторыми задачами новый Alpaca AI справляется совсем даже неплохо, а иногда даже лучше, чем ChatGPT. Во время первого тестирования Alpaca AI успешно справилась с 90 тестами (написание электронного письма, публикаций для соцсетей, помощь в работе и т.д.), в то время как ChatGPT — с 89.

Однако стоит отметить, что ученые пока не занимались важнейшим из вопросов для современных ИИ: им все еще предстоит провести дополнительную тонкую настройку, чтобы обеспечить безопасную и этичную работу модели.

По словам ученых, не исключено, что они могли бы достичь такого результата даже с меньшими материальными затратами, если бы перед ними изначально стояла такая цель. Более того, теоретически любой человек с нужным уровнем технической подготовки и при наличии хотя бы $600 может повторить опыт ученых.

Правда, стоит учесть, что лицензия OpenAI не позволяет использовать данные ее моделей для разработки конкурирующих систем. Meta же пока разрешает академическим исследователям пользоваться некоммерческими лицензиями.