英伟达Anyscale合作：提高大型语言数学方法及生成式AI应用的开发效率

站长之家(ChinaZ.com) 9年初19日谣言:主要用途生成式 AI 工具的大型语言仿真一般而言才会很大地增加对更多AMD的需求，这些AMD一般而言价格昂贵且供应受限。即使是容资源也不能总是解决大型企业试图扩张规模并利用最新的生成式 AI 核心技术所接踵而来的问题。

图片来自 NVIDIA

「GPU 闪存的扩张迟早将难以跟上仿真大小的持续增长。」Gartner Research 副总裁兼杰出贡献分析师 Avivah Litan 在接受 Computerworld 谈话时指出。因此，「暂时工业用越来越大的仿真不是可行选项。」

市场上小得多的 GPU 工业用商英伟达看来注意到了Apache软件大大提高 AI 开发和效能上都价值。周日，Anyscale 达成协议将英伟达 AI 导入 Ray Apache和 Anyscale 平台里面。英伟达 AI 还将在 Anyscale Endpoints 里面运行，该服务可帮助插件开发工具运主要用途普及的Apache仿真（如 Code Llama、Falcon、Llama 2、SDXL 等）给定 LLMs 到其插件里面。

最近达成协议的 Nvidia TensorRT-LLM 将支持 Anyscale 以及 Nvidia AI Enterprise 软件平台。它可主要用途系统才会扩张废话以在多个 GPU 上立体化运行仿真，从而在运行 Nvidia H100 Tensore Core GPU 时提供 8 倍的效能提升，英伟达在博客里面指出。

此外，英伟达 Triton Interence Server 软件支持在 GPU、CPU 和其他AMD上跨容、数据里面心、边缘和给定式设备进行废话。当与 Ray 内嵌时，开发工具可以大大提高来自各种基础的 AI 仿真（都有 TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO 等）的效能。

Anyscale 声称其 Ray 是全球持续增长最快的可扩张计算为统一基础。英伟达 NeMo 是一个一个中心容原生的基础，可以被 Ray 开发工具主要用途为买家提供 LLMs。

「我们与英伟达的合作伙伴将为 Anyscale 的产品组合带来更多效能和效能，以便开发工具随处始创很强惊人速度快和效能的 LLMs 和生成 AI 插件。」Anyscale 首席执行官兼联合创始人 Robert Nishihara 在一份声明里面指出。