![](/storage/photos/38/main/Hh4B44RKgnE4WDLwyHNgveERb6eSnm1wN9AlmKW0.jpg)
На прошедшем в Баку форуме Huawei "Инновационная инфраструктура данных", посвящённом теме "Активация данных: создание передовой инфраструктуры данных, готовой к применению искусственного интеллекта", д-р Питер Чжоу, вице-президент Huawei и президент серии продуктов Huawei для хранения данных, выступил с речью на тему "Пересмотр хранения данных в эпоху активации данных". Д-р Чжоу прогнозирует, что будущее систем хранения данных зависит от множества возможностей, включая сверхвысокую производительность, устойчивость данных, новую парадигму данных, масштабируемость, долговечность и структуру данных.
С появлением генеративного искусственного интеллекта спрос на надёжные решения для хранения данных стал ещё более актуальным в современной технологической среде. Поскольку масштаб кластеров крупных моделей искусственного интеллекта вырос и включает в себя десятки тысяч и даже сотни тысяч графических процессоров, это расширение привело к более частым сбоям в работе кластера и перерывам обучения. Длительный процесс многократной записи данных контрольных точек и возобновления обучения приводит к увеличению времени простоя вычислительных плат, что приводит к снижению использования кластера более чем на 50%. Более того, ожидается, что к 2026 году энергопотребление глобальных центров обработки данных в 2,3 раза превысит показатель 2022 года и будет эквивалентно годовому энергопотреблению Японии. Более половины мощности в центрах обработки данных будет потребляться искусственным интеллектом.
Искусственный интеллект стремится изменить традиционное хранение данных, уделяя особое внимание не только производительности, надёжности и парадигме данных, но и масштабируемости, долговечности и матрице данных. В эпоху активации данных Huawei пересмотрит систему хранения данных, внедрив передовые инновации в следующих шести сферах.
1. Сверхвысокая производительность. Huawei повышает производительность систем хранения данных в 10 раз по сравнению с традиционными методами хранения. Хранение также поддерживает пропускную способность в Пбайт/с и 100 млн операций ввода-вывода в секунду, что значительно повышает эффективность всего процесса генеративного искусственного интеллекта.
2. Устойчивость данных: Инновационная архитектура и технологии обеспечивают высокую надежность на уровне 99,9999%. Встроенный механизм обнаружения программ-вымогателей повышает точность обнаружения до 99,99%. Даже время восстановления контрольной точки во время тренировки искусственного интеллекта сокращается менее чем до минуты.
3. Новая парадигма данных. Многомерные тензорные данные позволяют поддерживать быстрый поиск и выборку данных с помощью интеллектуального механизма поиска. Технология генерации ответа, дополненная результатами поиска (RAG), работает со встроенной базой знаний для устранения ложной информации в больших моделях искусственного интеллекта.
4. Масштабируемость. Один кластер хранения данных может быть расширен до уровня EB, а каждый механизм может быть дополнен несколькими графическими процессорами, устройствами обработки данных (DPU) или нейронными (NPU) процессорами для вычислений вторичного хранения данных.
5. Долговечность. Инновации в области носителей информации и устройств хранения данных обеспечили исключительную энергоэффективность (менее 1 Вт/ТБ) и плотность размещения данных (более 1 ПБ/Ед).
6. Матрица данных. Возможности управления метаданными хранилища и поиска обеспечивают глобальную видимость и управляемость данными, а также мобильность данных, которая в 10 раз эффективнее.
Эти впечатляющие инновации заложили основу для выпуска высокопроизводительного процессора OceanStor A800, который является мощным дополнением к моделям хранения данных Huawei серии OceanStor A. Адаптированный к ИИ, OceanStor A800 может увеличить использование кластера ИИ на 30%, а что касается производительности, то он обеспечивает высокую пропускную способность и скорость ввода-вывода в секунду, которые в 4 и 8 раз выше, чем у аналогичных поставщиков. Что касается масштабируемости, OceanStor A800 поддерживает масштабирование до уровня EB с использованием до 512 контроллеров, а также максимум до 4096 вычислительных плат. Что касается экономии места и энергии, то он обеспечивает исключительную плотность размещения данных – 1 ПБ/Ед и энергоэффективность – 0,7 Вт/ТБ. Он также предоставляет новую парадигму данных с векторным индексом, тензорными данными и RAG. Что касается устойчивости данных, то точность обнаружения программ-вымогателей повышена с 99,9 до 99,99%. Кроме того, функция матрицы данных облегчает управление информационными активами.
В то же время инновации в области носителей информации являются движущей силой устойчивого развития. Недавно выпущенные Huawei твердотельные накопители большой ёмкости обеспечивают в 10 раз большую ёмкость при том же размере диска, что позволяет ещё больше снизить энергопотребление центра обработки данных. При ёмкости 128 ТБ на диск новые твердотельные накопители потребляют на 88% меньше места для хранения и на 92% меньше энергии, чем твердотельные накопители аналогичных поставщиков, при хранении каждого петабайта данных.
Чтобы быть готовыми к применению искусственного интеллекта, предприятия должны быть в состоянии готовности данных. Глобальная файловая система Omni-Dataverse, встроенная в DME, делает корпоративные информационные ресурсы видимыми, управляемыми и мобильными в разных регионах, создавая тем самым для предприятий надёжную базу хранилища озёр данных искусственного интеллекта.
В заключение д-р Питер Чжоу подчеркнул стремление Huawei пересмотреть систему хранения данных, ориентируясь на задачи и запросы клиентов в эпоху активации данных, и создать передовую инфраструктуру данных с поддержкой искусственного интеллекта для повышения ценности для клиентов.
-
1⛈ Сильный ветер и гроза ожидаются в Алматы: как обезопасить себя и имущество
-
5836
-
2
-
8
-
-
2⚠️ Доброе утро! Предлагаем обзор главных новостей за 6 сентября
-
2622
-
0
-
6
-
-
3🗼🗼🗼 Расписание выступлений казахстанцев на Паралимпиаде в Париже 7 сентября
-
2434
-
4
-
11
-
-
4🇰🇿🇧🇷 Токаев поздравил президента Бразилии с национальным праздником
-
2243
-
2
-
8
-
-
5🇰🇿🇩🇪 16-17 сентября 2024 года Казахстан с официальным визитом посетит Федеральный канцлер Германии Олаф Шольц
-
2172
-
4
-
61
-
-
6🛂 Пройти за 30 минут: Казахстан модернизирует пункты пропуска на границе с Китаем, Узбекистаном и Туркменистаном
-
2032
-
2
-
11
-
-
7🗳 Выборы депутатов маслихатов Казахстана вместо выбывших проведут в декабре
-
1819
-
1
-
2
-
-
8⛈ Высокая пожарная опасность и заморозки: штормовое предупреждение объявили в 14 регионах Казахстана
-
1781
-
0
-
2
-
-
9😱 Часть сельской школы обрушилась в Костанайской области во время ремонта: учеников переведут на "дистанционку"
-
1570
-
1
-
20
-