Исследователи из EPFL и Фонда Бруно Кесслера провели масштабный эксперимент, показавший, что GPT-4 может быть более убедительной в дебатах, чем люди, особенно при использовании персонализации. В ходе эксперимента 900 участников вели дебаты на социально-политические темы с оппонентами, не зная, общаются ли они с человеком или ИИ.

Ключевой вывод: когда GPT-4 имела доступ к личной информации собеседника (пол, возраст, этническая принадлежность, образование, политические взгляды), она оказалась на 81,2% эффективнее в убеждении, чем человек-оппонент. Без персонализации AI показал результаты на уровне людей.

Анализ текстов выявил различия в стилях аргументации: AI использовал более логичные и аналитические рассуждения, в то время как люди чаще использовали местоимения первого и второго лица, рассказывали истории и апеллировали к сходству с собеседником.

Примечательно, что участники распознавали AI-собеседника в трех из четырех случаев, но испытывали трудности с определением человека-оппонента. При этом люди охотнее соглашались с точкой зрения, которую, как они полагали, отстаивал AI.

Собственно, я недавно стал замечать, что люди в дискуссиях всё чаще используют цитаты из общения с LLM как аргументы. Видимо, показывают, что их в ChatGPT не забанили — как раньше в Google.