Революция в Big Data: Huawei представила новые решения хранения данных

На прошедшем в Баку форуме Huawei "Инновационная инфраструктура данных", посвящённом теме "Активация данных: создание передовой инфраструктуры данных, готовой к применению искусственного интеллекта", д-р Питер Чжоу, вице-президент Huawei и президент серии продуктов Huawei для хранения данных, выступил с речью на тему "Пересмотр хранения данных в эпоху активации данных". Д-р Чжоу прогнозирует, что будущее систем хранения данных зависит от множества возможностей, включая сверхвысокую производительность, устойчивость данных, новую парадигму данных, масштабируемость, долговечность и структуру данных.

С появлением генеративного искусственного интеллекта спрос на надёжные решения для хранения данных стал ещё более актуальным в современной технологической среде. Поскольку масштаб кластеров крупных моделей искусственного интеллекта вырос и включает в себя десятки тысяч и даже сотни тысяч графических процессоров, это расширение привело к более частым сбоям в работе кластера и перерывам обучения. Длительный процесс многократной записи данных контрольных точек и возобновления обучения приводит к увеличению времени простоя вычислительных плат, что приводит к снижению использования кластера более чем на 50%. Более того, ожидается, что к 2026 году энергопотребление глобальных центров обработки данных в 2,3 раза превысит показатель 2022 года и будет эквивалентно годовому энергопотреблению Японии. Более половины мощности в центрах обработки данных будет потребляться искусственным интеллектом.

Искусственный интеллект стремится изменить традиционное хранение данных, уделяя особое внимание не только производительности, надёжности и парадигме данных, но и масштабируемости, долговечности и матрице данных. В эпоху активации данных Huawei пересмотрит систему хранения данных, внедрив передовые инновации в следующих шести сферах.

Эти впечатляющие инновации заложили основу для выпуска высокопроизводительного процессора OceanStor A800, который является мощным дополнением к моделям хранения данных Huawei серии OceanStor A. Адаптированный к ИИ, OceanStor A800 может увеличить использование кластера ИИ на 30%, а что касается производительности, то он обеспечивает высокую пропускную способность и скорость ввода-вывода в секунду, которые в 4 и 8 раз выше, чем у аналогичных поставщиков. Что касается масштабируемости, OceanStor A800 поддерживает масштабирование до уровня EB с использованием до 512 контроллеров, а также максимум до 4096 вычислительных плат. Что касается экономии места и энергии, то он обеспечивает исключительную плотность размещения данных – 1 ПБ/Ед и энергоэффективность – 0,7 Вт/ТБ. Он также предоставляет новую парадигму данных с векторным индексом, тензорными данными и RAG. Что касается устойчивости данных, то точность обнаружения программ-вымогателей повышена с 99,9 до 99,99%. Кроме того, функция матрицы данных облегчает управление информационными активами.

В то же время инновации в области носителей информации являются движущей силой устойчивого развития. Недавно выпущенные Huawei твердотельные накопители большой ёмкости обеспечивают в 10 раз большую ёмкость при том же размере диска, что позволяет ещё больше снизить энергопотребление центра обработки данных. При ёмкости 128 ТБ на диск новые твердотельные накопители потребляют на 88% меньше места для хранения и на 92% меньше энергии, чем твердотельные накопители аналогичных поставщиков, при хранении каждого петабайта данных.

Чтобы быть готовыми к применению искусственного интеллекта, предприятия должны быть в состоянии готовности данных. Глобальная файловая система Omni-Dataverse, встроенная в DME, делает корпоративные информационные ресурсы видимыми, управляемыми и мобильными в разных регионах, создавая тем самым для предприятий надёжную базу хранилища озёр данных искусственного интеллекта.

В заключение д-р Питер Чжоу подчеркнул стремление Huawei пересмотреть систему хранения данных, ориентируясь на задачи и запросы клиентов в эпоху активации данных, и создать передовую инфраструктуру данных с поддержкой искусственного интеллекта для повышения ценности для клиентов.