![Informburo.kz публикует материалы "Русской службы BBC News"]()
Искусственный интеллект компании OpenAI вышел из-под контроля и устроил кибератаку
Создатель чат-бота ChatGPT компания OpenAI признала, что программа, работающая на базе её новейших моделей искусственного интеллекта (ИИ), в ходе теста на безопасность вышла из-под контроля и взломала систему другой фирмы-стартапа.
Согласно опубликованному во вторник заявлению OpenAI, на прошлой неделе в ходе проверки в контролируемой среде её агент – программа, способная действовать самостоятельно по заданию человека и в данном случае работающая на базе передовых моделей ИИ, – сумел вырваться за рамки теста.
Затем он взломал Hugging Face, один из крупнейших в мире хабов обмена моделями ИИ, и вошёл во внутренние системы компании.
OpenAI назвала это происшествие беспрецедентным и заявила, что совместно с Hugging Face расследует его обстоятельства и причины.
Глава Hugging Face Клеман Деланг написал в сети X: "Поразительно, что всё это произошло автономно".
"Расследование продолжается, и мы позже расскажем о выводах, сделанных из этого, видимо, первого случая такого рода", – добавил Деланг.
В первом заявлении о взломе 16 июля Hugging Face сообщила, что пока выясняет, затронуты ли данные её клиентов и партнёров, а также заверила, что уже устранила уязвимости, обнаружившиеся в результате этого инцидента.
"Автономные инструменты кибератак на базе ИИ больше не являются теоретической концепцией", – заявила Hugging Face и добавила, что защищаться от них приходится тоже с помощью ИИ-инструментов и она продолжит вкладываться в них и делиться с публикой своим опытом.
Пресс-служба правительства Британии заявила по этому поводу, что британский Институт безопасности ИИ изучает поведение ИИ-системы в этом инциденте и продолжает в сотрудничестве с OpenAI и другими лабораториями совершенствовать защиту от подобных атак.
Ненадёжная песочница
Глава Центра технологий и демократии Майндру при Кембриджском университете Джина Нефф объяснила в эфире BBC Radio 4, что проверки возможностей программ ИИ проводятся в том, что в отраслевой терминологии принято называть песочницами, – в изолированной среде.
"В данном случае OpenAI, похоже, построил недостаточно надёжную песочницу", – сказала Нефф.
Агент запустил кибератаку на саму песочницу, нашёл лазейку наружу, а там идентифицировал Hugging Face как вероятный источник ответов, заданных ему во время теста, и взломал ещё и Hugging Face.
Маркетинговый ход?
Профессор машинного обучения Кембриджского университета Нил Лоренс говорит, что такой результат агента впечатляет, но вообще он вполне укладывается в рамки известных сейчас возможностей последнего поколения мощных ИИ-моделей.
Профессор Лоренс напомнил, что OpenAI хочет выйти на биржу и ведёт жёсткую конкурентную борьбу с компанией Anthropic, которая попала в сводки новостей со своей новейшей ИИ-моделью Claude Mythos.
"OpenAI сейчас играет в догонялки, они пытаются продемонстрировать возможности их собственных систем в части кибербезопасности, – считает профессор Лоренс, – но этот случай показывает, что OpenAI не способна безопасно управлять собственной технологией".
Об этой версии говорит и советник по кибербезопасности компании ESET Джейк Мур: он допускает, что OpenAI пытается продемонстрировать свои возможности в борьбе с Anthropic.
"Возникает вопрос, не гонится ли OpenAI за тем маркетинговым имиджем, который создал себе в последнее время на рынке Anthropic", – говорит Мур.
"Отрезвляющий момент"
Этот инцидент в очередной раз высветил проблему возможностей передовых ИИ-моделей и достаточности нынешних средств защиты.
Член руководства фирмы кибербезопасности SonicWall Спенсер Старки сказал Би-би-си, что это происшествие ясно показывает, что компаниям и организациям нужно укреплять меры безопасности и относиться к кибербезопасности как к вопросу первоочередной важности.
"Неудобная правда состоит в том, что очень много организаций всё ещё защищаются на человеческой скорости, тогда как их противники выходят на машинную скорость", – сказал он.
Трэвис Лелл из фирмы консалтинга в области кибербезопасности Guidepoint Security назвал это происшествие "отрезвляющим моментом в сфере кибербезопасности".
"Оно показало известную асимметрию: атакующих ИИ-агентов ничто не ограничивает, тогда как даже самые лучшие средства защиты скованы системой ограничений, которая не может учитывать контекст", – сказал он.
«Запрещено копировать, распространять или иным образом использовать материалы Русской службы Би-би-си»
