生成式 AI 在提升企業競爭力、生產力，以及改善客戶體驗方面，展現出強大威力，也成為多數企業的優先投資領域，預期全球在生成式 AI 應用和投資將快速成長，每年可為全球經濟帶來高達 4.4 兆美元產值。
文／林裕洋
近來生成式 AI 已成為最熱門技術與議題，不僅是企業在創新技術領域的好幫手，也在提升生產力、改善客戶體驗、增強營運效率等方面有出色表現。該技術優勢，在於能協助用戶自動化處理複雜的資料，減少重複性和耗時的任務，讓員工能將精力集中在更有價值的工作上，有助於大幅提升營運效率。此外，生成式 AI 也可透過提供更快速、個性化服務，創造更佳客戶體驗，企業在競爭中脫穎而出。尤其採用生成式 AI 核心的虛擬助手，可望能更快速解決客戶需求，進而透過更深入互動來增加收入來源。
以 NVIDIA 為例，為提升晶片設計團隊的工作效率，運用自身在 AI 領域的豐富知識與技術，以及獨步市場的高效能 AI 晶片，特別打造名為「Chip Nemo」的 AI 模型，作為晶片設計團隊的虛擬助手。Chip Nemo 在協助新進成員活用公司累積多時的晶片設計知識外，也能回答團隊各種晶片問題，並且給予相關建議，進而達到減少錯誤、提升專案效率。
[ 加入 CIO Taiwan 官方 LINE 與 Facebook ，與全球 CIO 同步獲取精華見解 ]
日前在 CIO Taiwan 舉辦的 CIO 價值學院第四堂課「數位轉型與 AI 創新」中，NVIDIA 資深解決方案架構協理康勝閔說，NVIDIA 擁有規模龐大的晶片設計團隊，我們除將相關晶片設計知識文件化之外，也考量到團隊持續有新血加入，所以也思考將累積多時的設計知識深化與活用。「Chip Nemo」是運用 NVIDIA 累積多時的晶片設計知識訓練而成的 AI 模型，可回答許多與晶片設計相關問題。當同仁有新設計想法時，可詢問「Chip Nemo」為何過去不這樣設計的原因，能避免花費重複時間在錯誤嘗試。「Chip Nemo」在設計晶片過程中，可會幫助不同領域同仁獲得足夠知識，進而讓晶片開發變得更有效率。
生成式 AI 價值攀升 企業 IT 投資首選
由於生成式 AI 在提升企業競爭力、生產力，以及改善客戶體驗方面，確實展現出強大威力，也成為多數企業的優先投資領域，預期全球在生成式 AI 應用和投資將快速成長。根據麥肯錫公布《The economic potential of generative AI: The next productivity frontier》研究報告指出，生成式 AI 對生產力的影響極大，每年可為全球經濟帶來高達 4.4 兆美元產值，範圍涵蓋知識庫領航、內內容生成、語言翻譯、報告與資料分析、虛擬助理、程式碼生成等等。
在 Gartner 公布《Innovation Insight: Generative AI Chatbot to Improve CX and Agent Productivity》報告中，預估 2026 年 50% 客服和支援服務將由生成式 AI 虛擬助手負責，以便降低人力負擔、提升客服服務品質。事實上，目前此技術已在眾多產業之中展現效益，如美國知名醫療零售業者的呼叫中心，每月需負責處理 2,700 萬通電話，對人力需求極大，所以預計打造自動化呼叫中心。該公司將透過生成式 AI 匯總語音、郵件等資訊，讓呼叫中心可以為用戶提供更快、更準確的答案，預計3年內可回收 5000 萬美元的投資。此外，在電信和金融等產業中，生成式 AI 也幫助企業實現資料保護、即時回應客戶需求，進而優化客服、資料分析等業務功能。
[ 延伸閱讀：NVIDIA 黃仁勳：代理式人工智慧（Agentic AI）引領產業變革 ]
「過去幾年採用 AI 比例並沒有太多變化，大多在 50% 上下，關鍵在於其帶來效益不夠明確，讓多數企業處於評估階段。」康勝閔解釋：「直到 2022 年底 ChatGPT 問世之後，企業感受到生成式 AI 技術的威力之後，讓推動生成式 AI 專案比例快速提升，從 2023 年 33% 提升到 2024 年 65%。
現今生成式 AI 應用範疇非常廣泛，涵蓋金融、醫療、零售等眾多產業，金融業運用 AI 可進行詐欺偵測和個人化銀行服務，醫療領域則能用於藥物發現和臨床試驗數據分析。在零售業部分，則可透過自動化商品描述、價格優化等功能來提升銷售效益，而製造業和能源行業則利用 AI 進行工廠模擬、預測性維護等，以提升營運效率和資源利用率。
視覺 AI 進化 自動串連上、下文
現今生成式 AI 的技術進一步發展為多模態應用，包括文件、影片、圖片、3D 模型等，能夠解決不同領域的需求並提升模型的泛化能力。如在改變傳統視覺 AI 與電腦視覺方面，傳統視覺 AI 系統依賴大量標記資料的做法，是種基於固定規則的應用模式，如常見的火災偵測、行為偵測等均是如此。以傳統視覺 AI 系統發展的應用系統，存在功能狹窄、有限，且有開發週期較慢、模型連結複雜等問題，也讓智慧城市、智慧工廠等發展受到侷限。
現今藉由生成式 AI 技術協助，視覺 AI 能藉由豐富上、下文協助，免去傳統大量標注資料情況下，輕鬆完成更複雜場景理解。特別藉由自然語言與 AI 模型之間的交互搭配，具備能進行深入搜尋、整合影片資訊等，只需最少調整即可縮短開發週期，輕鬆發展出推理微服務、提高系統靈活性。
康勝閔指出，當視覺語言模型（Visual Language Models，VLM）在生成式 AI 技術協助下，虛擬助手可輕鬆執行互動問答、自動警報和即時監控等多項任務。舉例來說，在新世代監控系統中，AI 助手可即時主動提醒管理者，場所有過於擁擠的現象，或存在可能缺少安全裝備等問題。不光如此，AI 助手還可根據使用者需求進行場景分析，並且主動生成事故報告和調查報告，協助調查團隊迅速尋找影片中的特定事件或內容，縮短處理事故的時間與減少人力支出。
提升金融服務價值 創造最佳客服體驗
儘管金融產業是受到高度監管的重點產業，但是在產業競爭日趨激烈下，引進生成式 AI 速度也比其他產業要快。如許多金融機構早已運用成式 AI 打造智慧助理，在提高客服效率和滿意度方面展現不錯成效，同時運用於自動化合約管理的工作，讓員工能夠專注於更高價值的工作。
除此之外，由於許多金融機構的核心銀行系統是採用老舊 COBOL 語言，早已經不符合時代潮流、也無法提供消費者所需的現代化服務。由於新程式設計師多半不懂 COBOL 語言，加上核心金融系統的程式碼改寫是非常繁瑣工作，許多銀行業者正運用生成式 AI 重新解讀傳統 COBOL 程式碼，協助資訊人員加速改寫程式碼，助銀行業者實現應用程式現代化，進而在新金融世代保有競爭力。
「在普惠金融趨勢下，金融機構也透過生成式 AI 與自然語言技術之間搭配，推出投資理財顧問服務。即根據用戶資產與過往投資習慣，提供個性化的產品建議。」康勝閔解釋：「此類智慧理財服務，會針對各種理財組合進行風險評估，作為消費者投資理財的參考，讓沒有理財經驗的用戶，也能在最短時間內找到合適的投資目標。」
值得一提，金融產業也將生成 AI 運用於詐欺偵測之中，當系統發現有可能疑似詐騙行為時，會自動向客戶、商家提出告警，同時告知予詳細理由，除可阻止詐騙行為發生外，也能兼顧消費者體驗。
NVIDIA AI Foundry 平臺 助企業打造專屬 AI 方案
因應全球市場對生成式 AI 需求暴增，市面上開源大語言基礎模型愈來愈多，參數量也持續攀升，如 Meta LLaMA 1 有 7B、13B、30B 和 65B 等參數模型、LLaMA 2 則是優化到 70B。 Mistral 則有 7B 、12.9B 等兩種，是由 BigScience 社群的 Bloom，則提供 560M、1.1B、3B、7.1B 和 176B 等參數模型。
因應市場趨勢，NVIDIA 在持續研發高效能 GPU 晶片之外，也推出 NVIDIA AI Foundry 平臺，讓企業可打造專屬的生成式 AI 方案。NVIDIA AI Foundry 在提供 Nemotron、Edify 等模型外，也提供客製化模型用的 NVIDIA NeMo 軟體，以及 NVIDIA DGX Cloud。此外，該平臺還有可隨處部署的推論微服務的 NVIDIA NIM（Neural Inference Microservice）服務，內容涵蓋客製化模型、最佳化引擎以及標準 API。
康勝閔指出，NVIDIA NeMo 是一款端對端平臺，適用於開發大型語言模型、多型態、視覺、語音等自訂生成式 AI，讓企業能在不受地域限制下，想咬精準的資料管理方式、頂尖的自訂工具、檢索增強生成（RAG），及加速效能。 NVIDIA NeMo framework 支持企業構建和部署生成式 AI 模型，包含資料準備、模型訓練和評估等功能，有助於企業快速實現 AI 應用的上線。 NeMo Serach 檢索器為檢索應用提供高準確率，支持模組化部署和快速推理，適用於各種資料源的檢索需求，如文件、圖像、結構化資料等。
NVIDIA 助攻臺灣 Llama 3 Taiwan 70B 問世
考量到 AI 主權非常重要，NVIDIA 運用 Taipei-1 超級中心的強大算力，透過與臺灣大學合作方式，以 LLaMA 3 模型搭配 NVIDIA NeMo 框架，運用來自於媒體、法律、化工、醫療、製造業製程等資料進行訓練，為臺灣打造 Llama 3–Taiwan 70B 模型。目前已在公開網站提供下載，供各產業進行利用與推論。
至於 NVIDIA NIM 是支援企業在多種領域 AI 推理應用的微服務架構，使用容器化的 AI 推理堆疊，使得開發者可以靈活地在各種運行環境中部署 AI 應用，如資料中心、邊緣設備和雲端等。此產品還可確保推理速度和處理性能， 支援醫療影像處理、金融數據分析、視覺處理等多種領域應用。
康勝閔表示，NVIDIA NIM 有靈活部署、高效推理性能、模組化架構、降低開發複雜性等四大特色。在靈活部署部分，受惠於採用容器技術，所以可支援跨雲端、資料中心和邊緣的部署選項。其次，在高效推理性能方面，透過 NIM 優化技術能高效執行推理任務，並在處理大量資料時保持穩定性能。第三點在模組化架構部分，NIM 允許用戶根據需求選擇特定的 AI 模組，實現任務的專業化處理，例如影像分類、語音識別等功能。最後則是降低開發複雜性：NIM 提供多種 AI 服務的 API 和開發工具，幫助企業快速開發並部署 AI 應用，縮短上市時間。
隨著生成式 AI 在多模態生成、自動化學習、跨領域應用等不斷突破，已成為企業靈活應對市場變化，發展創新性業務模式的重要助手。在全球吹起數位轉型浪潮下，生成式 AI 將成為企業保持競爭力的重要工具，更是推動整體產業走向更智慧、數位化的強力推手。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
