ИИ-агент создателей ChatGPT вышел из-под контроля, проник в интернет и взломал реальную компанию

Модели искусственного интеллекта OpenAI вышли за пределы закрытой тестовой среды во время испытания и взломали системы компании Hugging Face, сообщает Reuters.

В OpenAI проверяли, насколько хорошо передовые модели способны находить и использовать уязвимости в компьютерных системах. Испытание проводили в изолированной среде – на специально отделённых от интернета серверах, где действия ИИ не должны были затронуть реальные сайты и компании. 

Модели использовали в составе автономного агента – программы, которая после получения задачи может сама составлять план, запускать необходимые инструменты, оценивать результат и выбирать следующие действия без постоянных команд со стороны человека. Такому агенту поручили провести учебный взлом внутри закрытой среды. Однако, пытаясь выполнить поставленную задачу, он смог обойти ограничения испытательной системы, подключиться к интернету и проникнуть в инфраструктуру реальной компании Hugging Face.

Таким образом, ИИ должен был атаковать только подготовленную OpenAI учебную мишень, но самостоятельно вышел за её пределы и продолжил выполнять задачу уже в интернете.

Hugging Face – платформа, на которой разработчики размещают модели искусственного интеллекта, наборы данных и инструменты для их обучения и запуска.

"Мы считаем произошедшее беспрецедентным случаем, показавшим передовые возможности ИИ в проведении кибератак, и принимаем соответствующие меры", – заявили в OpenAI.

Вторжение началось с обработки вредоносного набора данных, после чего агент получил доступ к вычислительным ресурсам, данным для входа и нескольким внутренним системам компании. Сооснователь Hugging Face Клеман Деланг рассказал, что из-за сложности атаки специалисты сразу же заподозрили причастность одной из ведущих лабораторий искусственного интеллекта.

"Оказалось, так и было. Поразительно, что всю работу ИИ проделал самостоятельно без подсказок от человека", – написал он в социальной сети X.

Член Палаты представителей США Грег Касар назвал произошедшее тревожным. Он призвал ввести обязательное независимое тестирование систем ИИ, раскрывать информацию о подобных инцидентах и развивать международное сотрудничество в сфере безопасности.

Эксперты предупредили, что по мере развития автономных систем подобные атаки могут происходить чаще. По их мнению, разработчикам необходимо совершенствовать способы изоляции тестовых сред и контролировать действия моделей во время испытаний.