FPGA对比GPU,优劣势与应用场景分析
FPGA在数据中心的应用方面不断增长,但如何在其他应用程序中利用FPGA呢?
(资料图)
1 引言
全球领先的半导体公司AMD(AMD)在2021年以350亿美元收购了芯片制造商Xilinx(XLNX),这是AMD继收购ATI Technologies以来的又一次重大收购。不过,在深度学习领域中,大多数情况下GPU被认为是比FPGA更加强大。那么,AMD为什么会花费350亿美元收购Xilinx,而不进一步提升自己的GPU呢?进一步投资和开发GPU有助于增强自身的竞争力,尤其是在数据中心领域,竞对NVIDIA公司似乎有着非常雄心勃勃的计划。
2 GPU和FPGA在不同应用场景下的优劣势
确实,在许多情况下,GPU可以为一些应用程序提供更好的性能。对于数十亿美元的深度学习市场而言,GPU在训练方面可以提供无与伦比的性能,每个DL模型(深度学习模型)只需进行一次训练,需要几天或者几周。在DL推理(即图像分类)的情况下,GPU也提供了高性能(即以每秒帧数为单位衡量的图像吞吐量)。MLCommons提供了一种公认的基准,用于公平比较数据中心、移动计算和边缘应用的多个计算平台。在最新版本的MLCommons中,GPU在大多数类别中以吞吐量的形式占主导地位,具有更高的吞吐量表现,可以更高效地处理数据和算法。
然而,在许多应用程序中,除了原始处理能力之外,其他要求可能更为重要。例如,在移动或嵌入式应用程序中,能量效率(即处理能力/瓦)更为重要,特别是当设备由电池供电时。此外,在许多边缘设备或嵌入式系统中,延迟也是至关重要的。在这种情况下,FPGA具有更多的竞争优势,因为它们提供了非常低的延迟和更好的能量效率。特别是来自英特尔(S10 NG)和Xilinx Versal的新FPGA,它们集成了专门设计的AI引擎,可以提供高吞吐量(特别是在低批量大小情况下)、低延迟和高能量效率的绝佳组合。
图片
上图是NVIDIA V100和NVIDIA T4在不同批次大小下与Intel Stratix 10 NX FPGA上的NPU性能比较。参考文献:A. Boutros等人的论文“超越峰值性能:比较AI优化的FPGA和GPU的实际性能,FPT 2020”。
3 FPGA在数据中心中的广泛应用及案例介绍
在许多情况下,GPU仍然可以提供更好的性能,特别是在处理大批量数据时。虽然FPGA在一些特定应用场景下具有优势,但是在其他情况下,GPU仍然是更好的选择。那么回到问题,为什么AMD要花这么多钱购买FPGA呢?
答案可能来自于FPGA在数据中心中的最近受到广泛采用的情况。微软Azure是第一批采用FPGA加速其自身应用程序的云供应商之一。Project Catapult是第一个商业部署FPGA的创新项目。可配置的云架构在网络交换机和服务器之间放置了一层可重构逻辑(FPGA),使网络流能够以线速率“可编程转换”,从而加速在服务器上运行的本地应用程序,并使FPGA能够直接在数据中心范围内通信,以收集未被其本地服务器使用的远程FPGA。例如,微软可以利用服务器中的FPGA加速Bing网络搜索排名。FPGA在数据中心中的应用范围越来越广泛,这也许是AMD购买FPGA的原因之一。
图片
上图是Project Catapult,来源:Adrian M. Caulfield等人的论文“云规模加速架构”
微软Azure宣布了在Azure Synapse中利用FPGA用于Apache Spark。根据Azure的数据,数据格式CSV、JSON和Parquet占了90%的客户工作负载。解析CSV和JSON数据格式非常耗费CPU资源,通常占据查询的70%至80%。因此,微软Azure使用FPGA加速CSV解析。FPGA解析器读取CSV数据,对其进行解析,并生成一个接近Apache Spark内部行格式(即Tungsten)的VStream格式化二进制数据。虽然FPGA解析器在FPGA级别的内部原始性能为8GB/秒,但在端到端应用程序中还无法实现全部性能。通过这种方式,他们成功提高了Apache Spark的性能。FPGAs也可用于加速Spark应用程序的机器学习,在这些应用程序中,FPGA可以加速诸如特征提取、模型推理和数据增强等任务。
AWS是第一个宣布向终端用户提供FPGA的云供应商,于2017年推出了f1实例。FPGA开发人员可以将其设计上传到AWS市场。AWS宣布在Redshift AQUA上利用FPGA,在这项服务中,FPGA硬件执行数据集过滤和聚合。过滤可以删除数据集中不需要的信息,以创建子集;而聚合则提供记录中的总和、计数、平均值等信息。结果是向Redshift群集发送的数据量更少。由于进行了预处理,所以集群要处理的工作更少,可以将某些子查询处理卸载到AQUA节点,从而提高性能和效率。这种使用FPGA的方式在AWS的Redshift AQUA中被称为“自适应缩放”,它可以根据查询的复杂度和数据集的大小来动态分配FPGA资源。
图片
上图是Redshift AQUA使用FPGA和ASIC进行内联处理。
4 FPGA在其他应用场景中的挑战及解决方案
FPGA在数据中心的应用方面不断增长,但如何在其他应用程序中利用FPGA呢?
关键要实现更简单的FPGA部署、无缝扩展和自动资源管理。相比之下,GPU能提供易于部署、扩展和资源管理的丰富生态系统工具和方法(例如run.ai)。然而,到目前为止,FPGA的部署仍然具有挑战性,因为用户必须熟悉FPGA技术(比特流、配置文件、内存分配、LUT等)。因此,关键问题在于如何实现一种技术,让软件用户能够利用FPGA加速其应用程序,而无需先前的FPGA知识。这就是为什么InAccel的编排器提供了一种独特的技术,使任何人都能像调用软件函数一样利用FPGA的强大功能。InAccel编排器让人可以轻松地部署、扩展和资源管理FPGA集群,同时还能与任何应用程序和框架(Spark、Ray、Keras、Scikit-learn等)进行集成。这种技术的出现使FPGA在广泛的应用场景中更易于使用和普及。
例如,使用容器的强大功能,用户可以仅使用一行代码即可立即加速压缩应用程序。
docker inaccel run -e PWD -t inaccel/apps:xilinx gzip-compression
或者可以使用免费演示工具在线评估加速器的性能:
http://compression.inaccel.com/
https://studio.inaccel.com/
关键词:
- FPGA对比GPU,优劣势与应用场景分析(2023-06-28 05:05:11)
- 除土地出让金外需另行准备约1.04亿元资金 南昌青山路口旁地块遭流拍(2023-06-28 05:22:56)
- 健身卡办了不能退?闵行区体育局提醒…… 资讯推荐(2023-06-28 05:04:30)
- 安全生产月丨“宣讲+找茬” 这样的消防安全宣传走“新”又走心(附视频)|天天速递(2023-06-28 05:22:45)
- 环球新消息丨天津军人可以申请摇号指标吗?(2023-06-28 05:12:29)
- 全球报道:局部暴雨、冰雹!莒南发布重要天气预报(2023-06-28 05:08:52)
- 今日最新!海昌海洋公园迎疫后客流高峰 端午接客人次较2019同期增长超20%(2023-06-28 05:08:56)
- 民生添益8号年内跌23.33%_世界微动态(2023-06-28 05:03:38)
- 当前信息:宝宝流鼻血较为常见 家长切忌毫无根据就认为是白血病(2023-06-28 05:18:03)
- 完洁(2023-06-28 05:24:16)
- 销售成本毛利率计算公式_成本毛利率计算公式_全球热点评(2023-06-28 05:09:12)
- 写给男朋友煽情的话(2023-06-28 05:03:46)
- 正面描写侧面描写相结合的作用_正面描写与侧面描写的区别在那-重点聚焦(2023-06-28 05:22:43)
- 四部被强行下架的电视剧(这六部被强制下架的电视剧)(2023-06-28 05:02:34)
- 天天头条:“自由·向尚”年轻力社群在上海黄浦成立(2023-06-28 04:59:09)
- 环球今头条!1GB独立缓存!1TB铠侠固态到手仅295元(2023-06-28 05:13:29)
- 【环球热闻】辽宁省仅销售预包装食品备案系统正式上线(2023-06-28 05:17:52)
- 北京养老服务网可订购98项居家养老服务 全球动态(2023-06-28 05:10:15)
- VR黑暗奇幻动作RPG「Darksword: Battle Eternity」已登陆Meta Quest(2023-06-28 04:59:53)
- 港股异动 | 中集安瑞科(03899)午前涨近4% 与长航集团战略合作“气化长江”获突破性进展 天天最资讯(2023-06-28 05:12:11)
- 巴菲特12次抛比亚迪 持股降至8.98%;朱啸虎、傅盛“互怼”创业者追求大模型?_焦点快播(2023-06-28 05:15:57)
- 世界今头条!够拼乐平台怎么样_够拼乐手机端如何注册(2023-06-28 05:10:43)
- 360随身wifi驱动官方下载电脑版(360随身)(2023-06-28 05:07:01)
- 环球热点!魔兽全职者仙界纵横txt下载_魔兽全职者仙界纵横(2023-06-28 05:10:43)
- tip127三极管怎么测好坏_tip127(2023-06-28 04:58:19)
- 安全费用提取会计凭证原始凭证 武汉住房公积金提取凭证-全球今日报(2023-06-28 05:00:14)
- 强县行|“点石成金”,你见到的高铁轨道板很可能来自临朐这个镇_世界滚动(2023-06-28 04:56:47)
- 环球今亮点!拧紧安全阀,北京各区消防对供应、储存和使用燃气场所展开检查(2023-06-28 05:17:45)
- 登州路啤酒街焕新归来 6月30日正式开街-环球要闻(2023-06-28 04:55:22)
- 证券日报头版评论:让更多金融资源,流向制造业_世界热门(2023-06-28 05:17:16)
-
正面描写侧面描写相结合的作用_正面描写与
1、正面描写就是用生动形象的语言,把人物或景物的状态直接具体地描绘
-
四部被强行下架的电视剧(这六部被强制下架
hello大家好,我是城乡经济网小晟来为大家解答以上问题,四部被强行下
-
天天头条:“自由·向尚”年轻力社群在上海
中新网上海6月27日电(记者范宇斌)由上海市委统战部指导、上海市黄浦区
-
环球今头条!1GB独立缓存!1TB铠侠固态到手
铠侠RC20NVMeM 2固态硬盘1TB容量款京东活动价低至295元,近期好价,不
-
【环球热闻】辽宁省仅销售预包装食品备案系
近日,“辽宁省仅销售预包装食品备案信息系统”正式上线运行,仅销售预
-
北京养老服务网可订购98项居家养老服务 全
6月27日,北京商报记者获悉,由北京市委社会工委北京市民政局打造的智
-
VR黑暗奇幻动作RPG「Darksword: Battle E
由韩国游戏工作室Com2uSROCA开发的「Darksword:BattleEternity」是一款
-
港股异动 | 中集安瑞科(03899)午前涨近4%
中集安瑞科(03899)午前涨近4%,截至发稿,涨3 95%,报6 84港元,成交额
-
巴菲特12次抛比亚迪 持股降至8.98%;朱啸
一、今日头条朱啸虎、傅盛朋友圈“互怼”:创业者到底该不该逐鹿大模型
-
世界今头条!够拼乐平台怎么样_够拼乐手机
第一步:打开浏览器,输入够拼乐商城,进入够拼乐商城首页点击 "我的 "
- 滚动
- 综合
- 房产