Ученые университета Мичигана провели исследование с целью определить, как назначение ролей в общении с LLM влияет на эффективность и качество ответов модели. Оказалось удивительное — хотя разница между качеством ответом мужских и женских ролей слегка отличается в пользу мужских (исследователи считают, что разница укладывается в пределы погрешности), заметно лучше оказались ответы, когда LLM назначали гендер-нейтральную роль. То есть, если модели говорили “Представь, что ты мать”, ответы были чуть хуже варианта “Представь, что ты отец”, но оба они сильно проигрывали варианту “Представь, что ты родитель”.

Что еще более удивительно и даже иронично — если модель просили представить себя программистом, она начинала давать ответы на вопросы относительно программирования хуже, чем когда никакой роли не назначалось.

Мне это напоминает ситуацию с лунатиком, которого нельзя будить. А вам нет?