Пятьдесят долларов облачных кредитов — именно столько потребовалось исследователям из Стэнфорда и Университета Вашингтона, чтобы создать AI-модель, способную соревноваться с продуктами технологических гигантов. Это как если бы кто-то собрал Ferrari в гараже из запчастей от Toyota, причем машина поехала почти так же быстро, как оригинал.
Секрет успеха кроется в методе дистилляции — своеобразном AI-репетиторстве, когда маленькая модель учится у большой, перенимая её способности к рассуждению. Исследователи использовали всего 1000 тщательно подобранных вопросов и ответов от Google Gemini, потратили полчаса на 16 GPU — и получили модель s1, показывающую впечатляющие результаты в тестах на математику и программирование.
В то время как Meta, Google и Microsoft планируют вложить сотни миллиардов долларов в AI-инфраструктуру в 2025 году, этот эксперимент ставит неудобный вопрос: а нужны ли такие гигантские инвестиции? Конечно, дистилляция не создает принципиально новых возможностей, но она может сделать существующие технологии доступными для более широкого круга разработчиков и даже бизнес-пользователей.
Впрочем, я бы еще задумался о тестах — за последние полгода мы уже видели много моделей, “показывающих впечатляющие результаты в тестах”, но только R1 вроде удовлетворяет пользователей за пределами тестов.