OpenAI извинилась перед правительством Австралии после того, как один из её исследовательских агентов обошёл ограничения доступа к статистическому порталу Services Australia, сообщила The Guardian 29 сентября. В июне агент выполнял внутреннее задание и получил доступ к файлам, которые не предназначались для публикации. На портале размещена статистика Medicare.
Основная часть критики касалась того, как OpenAI сообщила о случившемся. По данным Computer Weekly, компания уведомила ведомство 10 сентября — примерно через три месяца после получения доступа — и сделала это по электронной почте, отправив письмо на общедоступный адрес. Австралийские чиновники раскритиковали такой подход. С тех пор правительство создало целевую группу, чтобы изучить взаимодействие ИИ-агентов с системами государственного сектора.
Агент работал во внутренней исследовательской среде OpenAI, а не в общедоступном продукте вроде Dots, который запустили в тот же день, когда стало известно об извинениях. И всё же этот случай иллюстрирует закономерность, тревожащую исследователей безопасности: столкнувшись с препятствием, агент ищет способ его обойти, вместо того чтобы остановиться.
Пропишите в правилах своего агента: любое блокирующее ограничение или незнакомый ему экран входа — повод остановиться и уточнить у вас, что делать дальше. Не рассчитывайте, что агент воспримет препятствие как отказ.