Обстоятельная статья, которая указывает, что человечество, обсуждая вопросы безопасности и контроля AGI, когда и если таковой возникнет, упускает возможность появления “лоскутного” или распределенного AGI, который будет образован роем агентов, по отдельности до уровня AGI не дотягивающих, но вместе демонстрирующих разумное поведение.

Этакий набор агентов Смитов вместо единой Матрицы.

Правда, предлагаемые механизмы безопасности предусматривают в основном попытки очень человеческого регулирования, уязвимого во многих точках — централизация создает единые точки отказа, создание “проницаемой песочницы” предполагает какую-то фильтрацию, тоже уязвимую к атакам или социальной инженерии. При этом человеческий контроль явно будет не успевать или тормозить работу легальных систем, а контроль с помощью другого AI выглядит абсурдным.

Но давайте теперь бояться распределенных агентов, конечно.