NVIDIA掀AI PC革命 RTX G...
|
NVIDIA掀AI PC革命 RTX GPU助大型语言模型运作快4倍
现代AI运算的中心为矩阵乘法，而配置Tensor核心的NVIDIA RTX GPU，正是为了矩阵乘法加速而设计。李建梁摄（资料照）
在过去一年蔚为科技界潮流的生成式人工智能（Generative AI），具有为各类应用领域带来变革的莫大潜力。而雄踞AI GPU与数据中心市场的处理器大厂NVIDIA，如今还要将这场AI革命，带到NVIDIA RTX GPU，以及全球范围内数量惊人、搭载这些GPU的的Windows PC上。 NVIDIA Windows AI产品管理与产品营销协理Jesse Clayton接受GamesBeat访谈时指出，就PC的AI应用而言，此刻正值科技史上最重要的时刻之一；不夸张地说，对于游戏玩家、创作者、影音串流媒体人、办公室员工、学生乃至随兴的PC使用者而言，AI都在带来新的使用者体验、释放创造力，或是协助提升工作效率。可以说，AI正在从根本上，改变人们使用计算机的方式。 举例来说，NVIDIA先前为满足数据中心需求而推出的TensorRT-LLM开源函式库，如今也正在将适用范围扩展到Windows。透过针对RTX GPU进行优化，TensorRT-LLM据称能够让诸如Meta Llama 2或Code Llama等目前最新一代的大型语言模型，在采用RTX平台的Windows PC上的运作效能提升达4倍水平，有助于改善复杂大型语言模型的使用案例所带来的使用者体验。 TensorRT-LLM还可以搭配其他技术使用，例如结合检索强化生成（RAG）技术，能够令大型语言模型根据特定数据集，来生成出精准符合使用者需求的回答。 Clayton指出，许多人没有意识到的是，其实PC的AI使用案例，早已经被稳固地建立起来；如今生成式AI正在开启全新一级的使用案例，并创造出令PC AI得以普及的契机。NVIDIA自2018年开始投入相关领域，「当我们推出首款配置Tensor核心的GPU，这便是GPU架构当中的根本性变化，因为我们那时就相信AI未来会变得有多么重要。而随着所谓RTX GPU的问世，我们也带来了游戏AI技术」。 谈到竞争对手如英特尔（Intel）、超威（AMD）、高通（Qualcomm）与苹果（Apple）等业者，如今都在尝试透过各种不同技术，来改善PC或其他智能装置的AI用户体验。Clayton指出，这些解决方案都会很适合轻型、运作功耗低的AI工作负载，并且与NVIDIA GPU的功能是互补的。 他也自豪表示，在AI工作负载的运作上，RTX GPU的效能是一般CPU的20~100倍之多，而这也是为何这项科技的发展，从GPU起头的原因所在。据称，目前的GeForce RTX GPU每秒可以执行高达1,300兆次的张量运算，令其成为目前市面上速度最快的AI PC加速器。 |
| 来自：蔡静珊 |