Возможно, вы заметили небольшой всплеск сообщений о том, что новые версии передовых LLM-моделей не так хороши, как ожидалось — такое за последнюю неделю сообщали и про Google Gemini 2.0, и про OpenAI Orion, который вроде бы и переименуют затем, чтобы не создавать лишних ожиданий у пользователей.

Илья Суцкевер тоже считает, что потенциал развития моделей исчерпан за последние годы и мы возвращаемся в эпоху исследований и открытий. Он утверждает, что возможности улучшать модели путем масштабирования на этапе обучения вышли на плато и надо искать следующие next thing.

Собственно, то, что мы видели с запуском o1 (строго говоря, пока есть только preview), это одна из таких попыток — путем воссоздания человеческого мышления.

Другой вопрос, что человеческое мышление тоже не очень изучено.