OpenAI усилила защиту новой ИИ-модели после неожиданных результатов тестов

OpenAI ужесточила меры безопасности вокруг будущей модели Astra после того, как испытания показали значительно более высокие возможности в программировании и кибербезопасности, чем ожидалось, пишет New science.

По результатам предварительных тестов компания не исключила, что Astra в будущем может достичь максимального уровня риска в области кибербезопасности по внутренней системе оценки OpenAI. Речь идёт о способности ИИ самостоятельно выполнять сложные последовательности действий. В кибербезопасности такие возможности могут использоваться как для поиска и устранения уязвимостей, так и для автоматизации кибератак.

После испытаний OpenAI ограничила сетевой доступ к средам разработки Astra, усилила защиту модели и расширила мониторинг её действий. Часть внутренних работ приостановили до выполнения новых требований безопасности.

В OpenAI подчёркивают, что Astra пока не признана опасной и её окончательная классификация не определена. Более строгие меры введены заранее, поскольку результаты испытаний оказались выше ожидаемых.

Компания рассчитывает использовать подобные модели в том числе для защиты информационных систем – поиска уязвимостей и их устранения до того, как ими смогут воспользоваться злоумышленники.