天博app下载的观点

为什么能效是人工智能创新的关键,以及它对硬件和软件制造商意味着什么

2022年4月07
By 斯坦利Seibert

人工智能的应用正在继续增长 在2021年的一项调查中,56%的受访者 报告人工智能已在至少一项业务功能中被采用,高于上一年的50%. 与此同时,人工智能本身也在继续快速发展 越来越大, 更快的 模型似乎对计算能力和训练数据有着永不满足的欲望. 很长一段时间, 重点是不惜一切代价扩大规模:更广泛的数据集, 更大的模型, 更重要的部署. 不断的规模需求已经满足了与传统摩尔定律的结合,增加芯片密度, 向更专门的硬件(如gpu)的过渡, 以及在越来越大的计算集群中使用蛮力.

然而, 一个经常被忽视的因素使得AI/ML使用的扩展成为可能,那就是功耗. 大多数计算机环境, 是否移动, 笔记本电脑, 工作站, 或数据中心, 已经达到了电力预算的极限. 这意味着未来在规模和速度上的改进必须来自于在同样的能量下做更多的事情. 这种对效率的关注将导致硬件和软件设计师之间密切合作的新时代, 以及一种更模块化的方法来分析数据科学家的工作流程.

天博app下载是如何走到这一步的

从历史上看, 服务器的高资本成本意味着,跨广泛任务的灵活性和性能是一个可靠系统的标志,它可以使用很多年. 然而, 这种灵活性确实伴随着一些权衡:因为硬件需要适应各种任务, 它无法针对特定的工作负载实现最高效率. 当大多数人运行的模型规模较小时,这就不是问题了, 但在这个拥有十亿个参数模型和数万亿数据点的时代, 它不太理想.

作为一个结果, 天博app下载开始看到针对特定用例的硬件专门化, 例如gpu和tpu. 这种方法确实提高了效率, 但前提是合适的软件生态系统支持硬件. 并且随着专业化的迅速扩散, 专用芯片和服务器, 近年来,让软件和硬件很好地结合在一起变得越来越复杂. 手机友好芯片架构, 像手臂, 开始在笔记本电脑领域取得重大进展, 桌面, and server markets; new entrants like the Apple M1 are arriving on the scene; and in 2020 alone, 风险投资家 投入1美元.8B 到你.S. 芯片公司. This is a product market poised to have more new entrants than ever before; even in the face of inevitable consolidation, 很明显,对专用硬件的需求短期内不会下降.

那么,当数据科学家试图高效地运行各种工作负载时,他们该如何利用所有这些新的选择和创新,而又不受兼容性挑战的影响呢?

软件和硬件的关系越紧密,效率就越高

随着人工智能/ML任务继续在行业中得到更广泛的应用, 天博app下载将开始看到更节能的架构和软件和硬件的协同设计的强大推动力,以便更有效地协同工作. 这在实践中是怎样的呢?

随着硬件的进步, 这些公司投资于软件开发经验将是至关重要的, 太. 特别是在数据科学领域, 这包括扩展到开源社区,允许双向的信息流动:硬件制造商可以更好地了解从业者的需求和工作流程, 软件开发人员可以看到硬件创新的方向, 并创建支持架构,可以为新的和不断发展的芯片进行优化. 数据科学是一个有趣的用例,因为社区是如此的开源驱动, 这意味着硬件供应商可能并不总是有一个明显的联络点可以联系. 但是,要想采用新的芯片和服务器,这种连接的努力是值得的, 开放源码项目继续广泛兼容.

工作流的更模块化的方法最大化了优化的机会

创建高效的数据科学体验的责任不仅在于硬件和软件开发人员. 数据科学家, 太, 需要调整他们的工作习惯,以获得硬件创新的好处,同时最大限度地减少开销. 特别是, 他们应该采取更模块化的方法进行分析, 这样就可以利用硬件最有效地支持他们工作流程的每个元素. 随着时间的推移,随着新的选项的出现,数据科学家也可以更容易地混合和匹配硬件和软件. 单片软件方法在概念上很有吸引力, 但这将限制数据科学家从即将到来的创新中获益的能力.

实现模块化工作流程, 数据科学家应该问自己:“这个工具最适合做什么??,在考虑每个硬件平台和软件包时. 为特定情况下哪种硬件和软件包比较好建立一个心理模型,可以为数据科学家和MLOps人员节省大量的时间和精力. 这是一项具有挑战性的工作, 毫无疑问,尤其是随着新竞争者的到来,选择越来越多. 但是,当您为特定的用例找到一个很棒的硬件/软件组合时,效率的提高是显著的.

使模块化工作流程更实用

使模块化分析工作流程可行且易于使用的最大因素将是各种硬件平台和软件包之间的持续集成. 这两种思想作为独立的实体长久以来就更能和谐地工作, 就越容易进行混合匹配以获得最大效率. 数据科学家还可以通过考虑工作流中最关键的部分是什么,使模块化方法更容易实现, 专注于为这些任务匹配最好的硬件和最好的软件. This is where the biggest gains will come from; there’s not much benefit to speeding up a task that only takes 5% of your overall workflow runtime.

不幸的是, 目前还没有针对所有数据科学工作流程进行优化的银弹硬件解决方案, 也许永远都不会有. 但就像它们为普通用户开启了大规模计算能力一样, 云提供商可以在这方面发挥重要作用,让数据科学家在运行工作负载时更容易在不同的专用芯片之间移动. 当然, 这种方法的成功将取决于软件和硬件设计师相互配合并建立互补关系的能力, 兼容的系统.

光明的未来

在AI/ML工作流中实现最大效率需要各方共同努力, 但过去两年的进展已经表明,为这些类型的任务创建高性能和低功耗的专用硬件是可能的. 随着数据科学家开始更多地关注电力效率, 硬件和软件之间的联系和相互作用将变得更加明显和重要. 挑战在于为新平台带来大量的软件包. 能够共同应对这一挑战的硬件制造商和软件社区将从数据科学家那里获得巨大的市场份额,后者可以利用他们的技术推动新一轮的AI/ML创新.


本网站使用cookie,以确保您在天博app下载的网站上获得最佳体验. 隐私政策
接受