OpenAI выложили описание CriticGPT — это модель, обученная на основе GPT-4 для анализа ошибок в коде, который генерирует ChatGPT. Модель также использует RLHF и по замерам OpenAI те, кто используют её для анализа кода, демонстрируют на 60% лучшие результаты.

Модель пока обучена на коротких ответах, так что развиваться есть куда — в сторону анализа более объемных задач. Но, помимо практической полезности, это очевидный прогресс в сторону использования при обучении не только human feedback.