NVIDIA AI Enterprise 5.0為開發人員提供了一系列廣泛的新生成式AI工具。
文/Jon Gold·譯/酷魯
在3月1日 NVIDIA 召開的2024年度 GTC 大會(GPU Technology Conference)上宣布,該公司 5.0 版企業級 AI 軟體平台將提供一系列的微服務,旨在加快應用程式開發速度,並提供快速部署的方式。
[ 好文推薦:NVIDIA 展現強大 AI 運算實力 資訊長準備好了? ]
NVIDIA 在一篇官方部落格文章中表示,這些微服務是以可下載的軟體容器(Container)形式提供,用於部署企業應用程式。它們主要分成兩大類,包括涵蓋與部署生產AI模型相關微服務的 Nvidia NIM,以及作為該公司最佳化引擎並用於 cuOpt 這類微服務的 CUDA-X。
NIM 微服務的重點,莫過於生成式 AI 應用程式的部署時間,該公司表示,透過該服務可以將部署時間從「幾周縮短到幾分鐘」。其微服務包括用於標準化 AI 模型部署的 Triton Inference Server,以及用於最佳化和定義大型語言模型(LLM)的 TensorRT-LLM,使企業能夠在不需深入研究 C++ 或 Nvidia CUDA 的情況下嘗試並試驗大型語言模型。企業可透過Amazon SageMaker、Google Kubernetes Engine 和 Microsoft Azure AI 加以存取,並且還支持與 Deepset、LangChain 和 LlamaIndex 等 AI 框架整合在一起。
[ 好文推薦:資訊長透過 AI 重新詮釋自己的角色 ]
相比之下,CUDA-X 微服務更聚焦在數據準備和模型訓練,以及讓開發人員能夠將生成式 AI 應用程式與業務資料(無論是數值資料、文字還是圖片)連繫起來的工具。此一類別中的其他微服務幾乎都是他們自己的應用程式,例如用於翻譯和語音 AI 的 Nvidia Riva、前文提到過並用於過程和路由最佳化的 cuOpt,以及用於氣候和天氣模擬的 Earth-2。
該公司表示,AI Enterprise 5.0 還將進行更多更進一步的整合。自 5.0 版開始,托管在 Box、Cloudera、Cohesity、Datastax 等平台上的業務資料可以在AI應用程式中運用,而且 NVIDIA 支援的硬體皆可以在包括戴爾(Dell)、惠普企業(HPE)和聯想(Lenovo)等大多數主要供應商的伺服器和 PC 上找到。
[ 加入 CIO Taiwan 官方 LINE 與 Facebook ,與全球CIO同步獲取精華見解 ]
NVIDIA 將這些微服務描述為其全堆疊運算平台(full-stack computing platform)中的新階層,這些微服務能將模型開發人員和平台供應商及企業相連接,並為跨雲端、資料中心、工作站和 PC 運行的客製化AI模型提供標準化路徑。從現在開始,NVIDIA AI Enterprise 5.0 已可供開發人員免費嘗鮮使用,企業可以每年每 GPU 4,500美元的價格,或在雲端中以每小時每 CPU 1 美元的價格購得授權。
(本文授權非營利轉載,請註明出處:CIO Taiwan)