Meta представила новое поколение моделей Llama 4, включая сразу два релиза и анонс третьей модели. Впервые модели Llama построены на архитектуре Mixture of Experts (MoE) и обладают нативной мультимодальностью.

Llama 4 Scout — модель с 17 млрд активных параметров и 16 экспертами, способная работать на одном GPU H100. Она предлагает контекстное окно в 10 млн токенов (в 100 раз больше, чем у Llama 3) и превосходит Gemma 3, Gemini 2.0 Flash-Lite и Mistral 3.1 по многим бенчмаркам.

Llama 4 Maverick — также с 17 млрд активных параметров, но уже со 128 экспертами, превосходит GPT-4o и Gemini 2.0 Flash, показывая результаты сравнимые с DeepSeek v3 в рассуждениях и кодировании, но с вдвое меньшим количеством параметров.

Meta также анонсировала Llama 4 Behemoth — модель с 288 млрд активных параметров, 16 экспертами и почти 2 триллионами общих параметров. По словам компании, она превосходит GPT-4.5, Claude Sonnet 3.7 и Gemini 2.0 Pro на нескольких STEM-тестах, но пока находится в процессе обучения.

Модели Scout и Maverick уже доступны для скачивания на llama.com и Hugging Face. Для обычных пользователей на их основе уже работает обновленный Meta AI в WhatsApp, Messenger, Instagram и на сайте Meta.AI.

Будем ждать независимых тестов, тем более, что локально эти модели не запустить. Впрочем, сервисы должны скоро подтянуться.