首页 > 科技 > 比A100性能高4.5倍!英伟达H100横扫AI推理基准测试

比A100性能高4.5倍!英伟达H100横扫AI推理基准测试

新智元报道

编辑:武穆

【新智元导读】NVIDIA H100 Tensor Core GPU在MLPerf行业标准AI基准测试中首次亮相,创下了所有工作负载推理的世界纪录,提供的性能比上一代GPU高4.5 倍。

不久前,英伟达公布了旗下的芯片,在MLPerf行业标准AI基准测试的结果。

根据英伟达的说法,H100(又名 Hopper),提高了所有六个神经网络在每个加速器上的表现标准,比上一代的A100,性能高了4.5倍,创造了所有工作负载推断的世界纪录。

所谓的推理,不同于机器学习 (ML)。

机器学习是创建训练模型并让系统「学习」的,而推理是用于在一系列数据点上运行学习模型,并获得结果。

英伟达认为,这个测试结果确立了H100在单独服务器和离线场景下的吞吐量和速度方面的领先地位,如果用户想要最高性能的高级AI模型,H100是首选。

英伟达为何看重MLPerf测试的结果

MLPerf是一个行业标准基准系列,由图灵奖得主大卫·帕特森(David Patterson)联合谷歌、英伟达 、英特尔、Meta、浪潮等全球AI领军企业,以及来自哈佛大学、斯坦福大学等学术机构的研究人员创立。

MLPerf可为各种工作负载建模,包括自然语言处理、语音识别、图像分类、医学成像和物体检测等项目。

该基准测试很有用,因为它可以跨越从高端数据中心和云的机器到小规模的边缘计算系统,并且可以为各个供应商的产品提供一致的基准测试,哪怕并非所有子测试中的基准测试都由所有测试人员运行。

它还可以创建用于运行离线、单流或多流测试的场景,这些测试创建一系列 AI 功能来模拟完整工作流管道的真实示例(例如,语音识别、自然语言处理、搜索和推荐、文本转语音等)。

虽然许多厂商认为只运行部分测试(ResNet是最常见的)的结果,是芯片性能的有效指标,比完整的MLPerf更适用。

比如,在上面的图表中也能看到,许多被比较的芯片在MLPerf的其他组件中没有测试结果,因为厂商根本不打算测。

但MLPerf测试依然被业界广泛接受,如果能在MLPerf测试中取得不错的成绩,很少有人会质疑结果的准确性和权威性。

英伟达在市场上还处于领先地位吗?

此次,对于在MLPerf测试中取得的结果,英伟达还是比较满意的。

这意味着,很可能在今年年底之前,英伟达就会首次公开演示H100 GPU。

而且,H100 GPU将参与未来的MLPerf轮次进行训练。

H100能取得如此不俗的表现,部分要归功于英伟达的Transformer Engine。

Transformer Engine使用软件和定制的NVIDIA Hopper Tensor Core技术,旨在加速对由流行的AI模型构建块变压器构建的模型的训练。

这些张量核心可以应用混合的FP8和FP16格式,以显著加速Transformer的AI计算,这种加速有时是数量级的提升,从而最适合手头的任务。

Transformer Engine这样的工具,带来的优势是显而易见的:开发人员能够专注于解决方案,而不是试图为没有相应平台的系统进行低级硬件和相关代码优化。

更重要的是,Transformer Engine这样的工具,体现了英伟达的真正优势——平台方法。

英伟达的许多竞争对手,虽然能为市场提供芯片或系统,但英伟达已经建立了一个强大的生态系统,包括芯片,相关硬件以及针对其芯片和系统优化的完全稳定的软件和开发系统。

用英伟达方面的话说,本轮MLPerf测试上,有70多份参赛作品在NVIDIA平台上运行,例如,Microsoft Azure提交了在其云服务上运行NVIDIA AI的结果。

这表明,NVIDIA AI得到了业界最广泛的机器学习生态系统的支持。

事实上,英伟达的竞争对手英特尔以及高通都强调了平台方法。

而初创公司通常只支持开源选项,这些选项可能与主要供应商提供的功能水平不同。

此外,英伟达还针对特定细分市场优化了框架,为解决方案提供商提供了一个有价值的起点,使解决方案提供商能够以更少的工作量实现更快的上市时间。

而初创AI芯片供应商无法提供这种级别的资源。

当然,英伟达并非没有弱点。

比如,虽然英伟达展示了其芯片与标准英特尔x86处理器的比较,但它没有与英特尔新的Habana Gaudi 2芯片进行比较。

而Habana Gaudi 2芯片可能会显示出高水平的人工智能计算能力,可以接近或超过一些英伟达产品。

另外,英伟达可能不是所有细分市场的NO.1,特别是在低功耗细分市场,像高通这样的公司可能具有优势。

不过,尽管如此,由于英伟达仍然提供最广泛的产品系列,其对完整平台生态系统的重视,使其在人工智能竞赛中处于领先地位,并且竞争对手很难轻易取代。

参考资料:

https://venturebeat.com/ai/what-nvidias-new-mlperf-ai-benchmark-results-really-mean/

https://blogs.nvidia.com/blog/2022/09/08/hopper-mlperf-inference/

本文来自网络,不代表趣头条立场,转载请注明出处:https://www.ngnnn.com/article/4_141408.html
上一篇机构:Q2印度个人电脑出货量增长12%达460万台
下一篇2022IF·商业年会|面对疫情催生的新需求,文商旅行业如何“迎战”?

为您推荐

北京大学研究员研制出国际上最大规模集成光量子芯片

北京大学研究员研制出国际上最大规模集成光量子芯片

​如果我们真的无法通过硅芯片技术超越欧美,那么是否可以借助光芯片实现“弯道超车”呢?近日,有报道称,我国的光芯片技术有重大突破!北京大学王剑威研究员、龚旗煌教授课题组与合作者经过6年联合攻关,研制了基于超大规模集成硅基光子学的图论“光量子计算芯片”——“博雅一号”,发展出了超大规模集成硅基光量子芯片
韩国芯片滞销:任正非2年前的预言,应验了?

韩国芯片滞销:任正非2年前的预言,应验了?

中国庞大的市场需求,将倒逼芯片制造商想方设法冲破美国封锁,向中国供货。正解局出品最近,韩国统计厅发布的数据显示,1月韩国芯片制造商的芯片库存与销售比达到265.7%,创下26年来的最高值。韩国芯片,滞销了!2年前,华为任正非预言,全世界芯片过剩时,会有人求着我们买芯片的。这一刻,来了吗?库存率,指的是商品库存
地表最强?苹果A16芯片现身跑分平台 成绩有点尴尬

地表最强?苹果A16芯片现身跑分平台 成绩有点尴尬

【手机中国新闻】苹果的A系列核心处理器,性能一般都非常强大,甚至曾经被不少网友赞誉为“地表最强”。而如今,随着iPhone 14系列的正式发布,我们也迎来了苹果的全新A16处理器。根据官方的信息,A16只配备在iPhone 14 Pro和iPhone 14 Pro Max这两款机型上,定位较低的另外两款产品依然只搭载了A15芯片。苹果如此设计,可
消息人士:三星和SK海力士将首当其冲受到美国对中国芯片的打击

消息人士:三星和SK海力士将首当其冲受到美国对中国芯片的打击

集微网消息,据路透社报道,拜登政府计划让SK海力士和三星免受中国存储芯片制造商新限制的冲击,消息人士称。美国商务部计划本周发布对中国技术出口的新限制,可能会拒绝美国供应商向中国公司发送设备的请求。然而,消息人士称,向在中国生产先进存储芯片的外国公司出售设备的许可申请将根据具体情况进行审查,这可能会允许
盖茨盛赞ChatGPT:人工智能历史意义不亚于“PC或互联网诞生”

盖茨盛赞ChatGPT:人工智能历史意义不亚于“PC或互联网诞生”

腾讯科技讯 2月3日消息,微软联合创始人比尔·盖茨表示,像ChatGPT这样的AI聊天机器人将变得与个人电脑或互联网同样重要。盖茨今日接受采访时表示:“AI将成为2023年最热门的话题。这是不可避免的。”他随后补充道:“ChatGPT将变得与个人电脑、互联网同样重要。”盖茨在20世纪80年代帮助开创了个人电脑时代。在微软和苹果等
ChatGPT从下游应用”火“到了上游芯片厂,国内谁将受益?

ChatGPT从下游应用”火“到了上游芯片厂,国内谁将受益?

因库存陷入低迷周期的半导体市场近日因ChatGPT的火热而重新受到外界关注。由于ChatGPT属于生成式AI,被誉为“AI芯片”第一股的英伟达应声而涨。2月13日收盘,英伟达最新股价已达到217美元,较今年1月3日的143美元上涨50%。英伟达创始人兼CEO黄仁勋在一场演讲中甚至将ChatGPT视为“人工智能领域的iPhone时刻”,并称其为“计
知乎发布“知海图AI”大模型 官方:已储备充足A100芯片

知乎发布“知海图AI”大模型 官方:已储备充足A100芯片

腾讯科技讯 4月13日,知乎在北京召开“2023知乎发现大会”,首次公开旗下与面壁智能共建的大模型产品“知海图AI”,双方合作将以联合研发与战略投资的方式展开。据了解,目前“知海图AI”已经应用到“热榜摘要”功能当中,通过对知乎社区现有的内容进行聚合、整理,然后提炼成摘要展现给用户,目前该功能已开放内测。官方表
英伟达:采用 RTX 技术的游戏和应用超 280 款

英伟达:采用 RTX 技术的游戏和应用超 280 款

IT之家 8 月 26 日消息,英伟达最新数据显示,二季度新增 30 款 RTX ON 游戏和应用,包括《瘟疫传说:安魂曲》、《鬼玩人:游戏版》以及《F1 22》,采用 RTX 技术的游戏和应用超过 280 款。英伟达表示,GeForce RTX 和 NVIDIA Studio 笔记本电脑的数量增加到创纪录的 180 多款,包括推出配备 GeForce RTX 3080 Ti 的笔记本
专访墨奇科技CEO邰骋:人工智能需要新的AI数据基础设施

专访墨奇科技CEO邰骋:人工智能需要新的AI数据基础设施

“人工智能要发展到下一代,必然需要基础理论和基础设施的革新,特别是需要新的 AI 数据基础设施。”9月2日,新京报贝壳财经记者获悉,在近日举办的HICOOL2022全球创业者峰会上,AI(人工智能)基础技术和平台墨奇科技的项目团队获得“HICOOL 2022 全球创业大赛一等奖”。墨奇科技联合创始人、CEO 邰骋接受了新京报贝壳财
人工智能大会将举办智慧体育高峰论坛,发布AI+体育蓝皮书

人工智能大会将举办智慧体育高峰论坛,发布AI+体育蓝皮书

2022年世界人工智能大会智慧体育高峰论坛将于9月2日开幕。  主办方供图AI+体育,将成为世界人工智能大会的全新命题和新亮点。2022年世界人工智能大会智慧体育高峰论坛将于9月2日开幕。论坛上将发布由上海人工智能研究院牵头,联合上海交通大学、上海体育学院、首都体育学院、同济大学等单位编制的国内首本《“AI+体育”蓝
大脑还有多少秘密?世界人工智能大会首开脑机接口主题论坛

大脑还有多少秘密?世界人工智能大会首开脑机接口主题论坛

在2022世界人工智能大会上,天桥脑科学研究院(简称TCCI)转化中心联合中国科学院上海微系统与信息技术研究所、脑虎科技、中国神经科学学会、上海市神经科学学会共同举办“脑·机智能融合-让大脑连接未来”论坛,这也是脑机接口首次以主题论坛的形式登陆世界人工智能大会。英国皇家工程院院士、上海交大医疗机器人研究院院
我国人工智能学科主要奠基人涂序彦逝世,享年 88 岁

我国人工智能学科主要奠基人涂序彦逝世,享年 88 岁

IT之家 3 月 28 日消息,据北京科技大学消息,我国人工智能领域著名科学家、人工智能学科的主要奠基人、中国人工智能学会的主要创始人之一、第二和第三届中国人工智能学会理事长、北京科技大学计算机与通信工程学院教授涂序彦先生,因病医治无效,于 2023 年 1 月 1 日 0 时 10 分在北京逝世,享年 88 岁。IT之家附讣告原文
梁建章:人工智能如何影响经济和各行各业

梁建章:人工智能如何影响经济和各行各业

近日人工智能再次成为了热门话题。很多人好奇的是,人工智能未来到底会如何影响经济、人口和创新?今天,我跟大家分享个人的一些看法——谈谈人工智能对于经济以及各行各业的影响。自从深度神经网络出现以来,人工智能的发展速度超乎想象。ChatGPT的出现是个奇迹,超出了几乎所有计算机科学家的预料。一个简单的神经网络模
麒麟芯片绝版 台积电越来越离不开苹果了:超级VIP客户

麒麟芯片绝版 台积电越来越离不开苹果了:超级VIP客户

台积电是全球最大也是工艺最先进的晶圆代工厂,无晶圆芯片设计公司几乎都要依赖台积电代工,包括苹果、AMD、高通、联发科、NVIDIA等等,其中苹果当之无愧地成为台积电第一大客户,而且依赖程度越来越高,2021年近4成收入都来自苹果。根据,市场调研机构Strategy Analytics数据,近年来台积电来自苹果的收入比重逐渐提高。
芯片库存调整影响ASML一季度业绩,预计中国市场收入将大幅增长

芯片库存调整影响ASML一季度业绩,预计中国市场收入将大幅增长

界面新闻记者 | 彭新界面新闻编辑 | 全球消费电子低迷背景下,客户去库存、订单持续调整的影响已传导至半导体设备厂商。“鉴于整个行业都在致力于实现更合理的库存水平,我们持续接收到来自不同终端市场多样化的需求信号。一部分主要客户正在对其需求节奏做进一步的调整;但那些对成熟制程DUV光刻机有需求的客户,正在消化
Mini LED背光面板驱动芯片成功导入理想汽车,哪家厂商?

Mini LED背光面板驱动芯片成功导入理想汽车,哪家厂商?

9月1日,聚积宣布进入理想汽车供应链,其Mini LED背光面板驱动芯片成功导入理想汽车SUV-L9车载显示器系统。理想L9方向盘上搭载了一块Mini LED背光交互屏据介绍,理想L9驾驶座设计风格简洁,以HUD抬头显示系统搭配安全驾驶交互屏取代仪表板,驾驶人所需的行车信息则通过HUD抬头显示系统投射到前风挡上,因此视线不再需要离开
受芯片出口减少等影响,韩对华出口额下滑24.2%,连跌9个月

受芯片出口减少等影响,韩对华出口额下滑24.2%,连跌9个月

【环球时报驻韩国特约记者  张静】受芯片出口减少等影响,韩国今年2月对华出口额下滑24.2%,连跌9个月。“美国政府公布芯片补贴细则,韩企在中美之间左右为难”,韩国KBS电视台2日的报道称,对韩国企业而言,美国和中国均为十分重要的市场。三星电子西安芯片工厂生产40%的NAND闪存芯片,SK海力士将近一半的DRAM产量和约20%
嘉楠科技2022年财报:营收同比下滑12.1% 芯片业务难当大任

嘉楠科技2022年财报:营收同比下滑12.1% 芯片业务难当大任

财联社3月8日讯(记者 徐赐豪) 北京时间7日晚,比特币矿机制造商嘉楠科技公布了2022年第四季度和全年财报。受2022年加密货币市场行情低迷的影响,该公司2022年第四季度收入为5680万美元,较2022年第三季度的1.419亿美元下降59.9%,2022年第四季度的净亏损为6360万美元。此外,嘉楠科技2022年全年收入为6.349亿美元,相比2
多款重磅芯片产品亮相WAIC,为元宇宙算力“蓄能”

多款重磅芯片产品亮相WAIC,为元宇宙算力“蓄能”

2022世界人工智能大会(WAIC 2022)召开前夕,第一财经记者探访世博中心展台,华为昇腾、瀚博半导体、燧原科技等一众芯片参与者齐聚,届时将有包括国产7纳米云端GPU等重磅产品发布。目前,上海已汇聚全国40%左右的集成电路人才,最新数据显示,今年1至7月,上海集成电路产业销售额同比增长超过18%;上海已成为国内集成电路
返回顶部