На выставке SC23 Supercomputing Show компания Nvidia представила новый ускоритель искусственного интеллекта H200. Как утверждается, благодаря более быстрой памяти он позволяет почти вдвое увеличить скорость вывода моделей ИИ.
H200 – первый графический процессор Nvidia, использующий быструю память HBM3e: 141 гигабайт HBM3e вместо 90 гигабайт HBM2e и пропускная способность 4,8 терабайта в секунду вместо 3,35 по сравнению с предшественником H100. Эти показатели примерно в 2-2,5 раза выше, чем у A100.
Более быстрая память и другие оптимизации должны быть особенно заметны в вычислениях по сравнению с H100: по данным Nvidia, например, Llama 2 работает почти вдвое быстрее на H200 в варианте с 70 млрд. параметров. Также утверждается, что GPU больше подходит для научных HPC-приложений. Компания ожидает дальнейших улучшений за счет оптимизации программного обеспечения.
Ожидается, что системы и облачные инстансы с H200 будут доступны со второго квартала 2024 года, включая системы HGX H200. H200 может быть развернут в различных средах ЦОД, включая локальные, облачные, гибридные и граничные.
Amazon Web Services, Google Cloud, Microsoft Azure и Oracle Cloud Infrastructure станут одними из первых поставщиков облачных услуг, которые начнут предлагать инстансы на базе H200 со следующего года.
По данным Nvidia, графический процессор H200 будет также доступен в 144-гигабайтной версии суперчипа GH200 Grace Hopper с 2024 года. GH200 соединяет графические процессоры Nvidia напрямую с процессорами Nvidia Grace, и в недавно выпущенном бенчмарке MLPerf версии 3.1 текущий вариант GH200 с меньшей пропускной способностью и 96 гигабайтами памяти HMB3 показал преимущество в скорости почти на 17% по сравнению с H100 при обучении моделей ИИ.
Эта версия будет заменена на версию HBM3e в 2024 году. По словам компании, чипы GH200 будут использоваться более чем в 40 суперкомпьютерах по всему миру, включая Суперкомпьютерный центр Юлиха (Jülich Supercomputing Centre, JSC) в Германии и Объединенный центр передовых высокопроизводительных вычислений (Joint Center for Advanced High Performance Computing) в Японии.
В JSC будет эксплуатироваться суперкомпьютер JUPITER, построенный на архитектуре GH200 и предназначенный для ускорения моделей искусственного интеллекта в таких областях, как исследование климата и погоды, материаловедение, фармацевтические исследования, промышленная инженерия и квантовые вычисления.
JUPITER – первая система, в которой используется четырехузловая конфигурация суперчипа Nvidia GH200 Grace Hopper.
Всего будет установлено около 24000 чипов GH200, что сделает JUPITER самым быстрым суперкомпьютером в мире, работающим в области искусственного интеллекта. JUPITER должен быть установлен в 2024 году и является одним из суперкомпьютеров, создаваемых в рамках совместного проекта EuroHPC Joint Undertaking.
Также на SC23 были представлены новости о недавно представленном суперкомпьютере Eos компании Nvidia. Немецкая химическая компания BASF планирует использовать EOS для проведения 50-кубитных симуляций на платформе CUDA Quantum от Nvidia.
Цель – изучение свойств соединения NTA, которое используется для удаления токсичных металлов из городских сточных вод.
23 Апр 2024
683