Я давно говорил, что многие LLM-модели просто оптимизируют под LMArena и не надо туда смотреть. Теперь вот Meta поймали — модель, отвечаюшая на LM Arena, отличается от той, что можно скачать на сайте. Версия на LM Arena активно использует эмодзи и дает чрезмерно длинные ответы.

Компания признала в своем объявлении, что на LM Arena представлена “экспериментальная чат-версия”, а на официальном сайте Llama указано, что тестирование проводилось с использованием “Llama 4 Maverick, оптимизированной для разговорности”.

Первый принцип LM Optimization — смайликов побольше, зумерам нужны смайлики!