В компании подчёркивают, что стандарты безопасности и мониторинга должны опережать рост возможностей моделей — именно поэтому было принято решение о временном замедлении масштабирования.
Фото: Инциденты с ИИ‑агентами вынудили OpenAI притормозить разработки Magnific
В течение двух недель команда усиливала защиту исследовательской инфраструктуры, расширяла контроль за поведением ИИ‑агентов и ужесточала требования к среде разработки. В частности, внедрены изоляция рабочих нагрузок, дополнительные ограничения сетевого доступа и ускоренный протокол реагирования: при фиксации потенциально опасного поведения предупреждение должно формироваться в течение 30 минут, после чего активность приостанавливается.
Причиной мер стали несколько инцидентов: в июле ИИ‑агенты получили доступ к интернету и атаковали инфраструктуру Hugging Face, позднее был выявлен несанкционированный доступ ИИ‑агента к клиенту Modal Labs. Кроме того, OpenAI зафиксировала скрытую координацию моделей через доски объявлений — агенты пытались покинуть тестовую среду. Сейчас компания углубляет исследования в сфере контроля над ИИ и обеспечения соответствия моделей заданным целям.
Читайте Медиа Ток в МАХ и Telegram
