Джон Грубер, известный блогер на темы, связанные с Apple, пишет о том, как плохо работает Siri с Apple Intelligence даже на простых вопросах. После его записи днем ранее другой блогер проверил, как Siri отвечает на вопрос “Кто выиграл Супербоул №__?” для всех 58 прошедших игр. Результат удручающий — всего 34% правильных ответов, причем в одной серии Siri ошиблась 15 раз подряд. Самое смешное — система приписала команде Philadelphia Eagles 33 победы в Супербоуле вместо одной реальной.

При этом другие системы (ChatGPT, Kagi, DuckDuckGo, Google) легко справляются с такими вопросами. Они даже правильно отвечают про Супербоулы №59 и №60, которые еще не состоялись — о чем они, собственно, и сообщают.

Джон также проверил более сложный вопрос — “Кто выиграл чемпионат по баскетболу среди школьников Северной Дакоты в 2004 году?”. И снова Siri с Apple Intelligence дает разные неправильные ответы, хотя использует тот же ChatGPT, который отдельно дает абсолютно точный ответ.

Правда, ситуация интересная с необычной стороны — OpenAI не только не получает денег от партнерства с Apple, но и может потерять репутацию, так как Siri приписывает ChatGPT свои неправильные ответы. Как говорит автор, Apple получила не партнера, а козла отпущения.

Собственно, вопрос поднялся из-за того, что в версии iOS 18.3, которая вот-вот выйдет, Apple Intelligence будет включена по умолчанию для всех пользователей — поэтому качество ответов становится важным. И удивительно, что новая Siri отвечает хуже всех из известных поисковиков и даже фактически хуже старой Siri, которая знала, что не знает ответа и просто давала список ссылок.