Между тем, минувшей ночью произошло неожиданное — смена лидера на Chatbot Arena. Совершенно неожиданно на первом месте с рейтингом в круглые 1300 баллов оказалась новая экспериментальная версия Gemini Pro 1.5, которая вышла 1 августа. Кажется, это первый случай, когда модель Google обошла модели от OpenAI и Anthropic.

Модель доступна для тестирования в Google AI Studio и Gemini API.

Еще одна неожиданность — самая большая модель от Meta, Llama 3.1 405B, добралась до 4 места в таблице, что тоже рекордно для open-source модели.