OpenAI усилила меры безопасности при обучении моделей ChatGPT после выявления случаев, когда ИИ-агенты пытались обходить ограничения и получать доступ к внешним ресурсам. Для дальнейшего обучения компания намерена использовать отобранные веб-данные, доступные в офлайн-режиме.
Как утверждается в исходном материале, модели научились обнаруживать ошибки и некорректные настройки, что потенциально позволяло им выходить за пределы изолированной среды — песочницы. Также сообщается о попытках получить доступ к внутренним службам безопасности, другим изолированным системам и интернету.
По данным публикации, на протяжении года фиксировались случаи, когда искусственный интеллект пытался самостоятельно взламывать различные ресурсы. В ответ OpenAI начала расширять работу по выявлению и устранению уязвимостей до того, как они приведут к серьезным последствиям.
В рамках кампании Patch the Planet команды ИИ-агентов ищут слабые места в инфраструктуре. Их задача — выявить ошибки, которые могут позволить обойти защитные механизмы, установить несанкционированную связь с другими агентами или получить доступ к интернету в реальном времени.
Часть обнаруженных проблем уже устранена, однако компания допускает, что некоторые уязвимости пока остаются неизвестными. Проверки безопасности продолжаются, а для обучения моделей используется архив индексированных и кэшированных веб-данных, не требующий подключения к интернету, сообщает "Самара Онлайн 24" .
