本論壇以實務分享與產學協作為核心，透過專家學者與企業領袖的多元觀點，共同探討生成式 AI的落地應用與未來趨勢，從產業導入到全球市場競爭所帶來的機遇與挑戰。這些探討不僅深化了學術研究與產業創新的交流，更展現了台灣在 AI 領域中的技術潛力與策略布局。
文／陽明交通大學人工智慧檢測中心
國立陽明交通大學人工智慧系統檢測中心與財團法人國家實驗研究院國家高速網路與計算中心共同主辦的2024年「LLM 產學技術論壇」於 12 月 5 日圓滿落幕。此次論壇以「引領 GAI 技術，創造產業智能價值」為主題，聚焦於大型語言模型（LLM）在各領域的前瞻性創新應用。透過多場專題演講與實務案例分享，與會者除了解 GAI 最新技術之外，更看到實際情境中的應用成果。
本次活動除安排主題演講外，還特別邀請了大型語言模型領域的學者及應用服務專家進行技術分享，協助在生成式 AI 領域深耕的專業人士，全面掌握 LLM 技術的最新進展與應用實務。現場實體展示分為「交大 myLLM 團隊」、「國網中心團隊」以及「應用及創新服務團隊」三大領域，吸引了逾 350 位產業人士參與。
全球科技巨頭已積極布局 AI 應用，推動在各行各業的發展。除了科技產業，AI 技術的進步還將驅動金融保險、醫療照護、衛生保健、製造業、汽車、電商、廣告媒體等多個領域的創新與轉型，陽明交通大學人工智慧系統檢測中心致力於協助國內外企業進行 AI 系統的效能評估與優化，並專注克服技術與資源的限制，提供整合平台解決方案，幫助企業實現 AI 技術的應用落地，創造價值。
簡立峰博士：New Trends in Industry Applications of Generative AI
生成式 AI 在電子商務、教育、勞動市場及智慧裝置發展等領域展現出強大影響力，提升個人化行銷、推薦及客服效率。同時，其推理能力與多模態學習進展，重塑了工作與學習方式，創造新的產業機會。特別在台灣，生成式 AI 與硬體製造的結合，邊緣 AI 應用展現潛力，有望在全球市場占據重要地位。
聯發科技總經理林宗瑤：From LLM to LMM: Hybrid AI’s opportunities and Challenges
大型語言模型的演進正以驚人的速度推進，模型的規模與精確度之間的關係成為目前關注的焦點。從 GPT-3.5 到 GPT-4 顯示出更大的模型提升效能，而中小型模型透過 LoRA 技術在特定場景接近大型模型表現，多模態模型融合語音、圖像、文字，模擬人類感知與互動。混合計算模式及模型壓縮技術提升計算效率與資源利用率，推動 AI 技術進展。PIM 技術提升數據處理速度，訓練與推論成本逐步改善。這些技術進展促進了 AI 應用的普及化，提供靈活高效的解決方案。
國網主任張朝亮：Sovereign AI and Infrastructures for Access to National Critical Data and Technologies
檢視各國發展自主 AI 系統與 AI 運算設施之趨勢，主權 AI 將可建立一套保障敏感資訊、國家關鍵知識與降低仰賴國外技術之解決方案，例如於國防、醫療與製造等領域。同時說明國網中心建構大型算力設施，雲端服務等研發環境之規劃，並期望能帶動與國內各領域之中小企業、新創事業、學研界及公部門間之協作，互惠與資源共享之方式。
資策會院長蒙以亨：以 GenAI 為核心之數位公建發展
生成式 AI 的發展基於算力、資料和演算法的協作，推動數位公共建設的創新應用。透過共享算力資源、整合數據中台與生成式 AI 技術，構建高效能跨領域數位軟體基盤，促進產業生態系發展。資策會的 AI Agent 解決方案，結合深度學習演算法與專業數據，展示了在醫療健康、金融零售等領域的顯著效益，降低企業數位轉型門檻，帶動產業邁向智慧化新時代。
台大電機教授李宏毅：The Challenge of Teaching New Skills to Large Language Models
本次探討如何透過特定方法將文本生成模型擴展至語音任務，例如語音辨識、情緒分析與音訊描述等應用，強調了適配器與多任務微調的策略。以 LLaMA 模型為例，透過整合語音編碼器與文本生成模型，實現語音到文本的精準轉換及語音特徵的多樣化理解。針對多語言與多模態的處理，研究顯示即便僅利用有限的音訊描述訓練數據，仍能有效地將文本模型推廣至新的任務，這說明了模型內在的遷移學習能力。
陽明交大資工系教授吳毅成：大語言模型之對齊問題與推理問題
強化學習透過代理與環境互動來完成任務，但獎勵模型面臨訓練難度高、穩健性不足和成本昂貴等問題。例如，大型模型如 LLaMA 2 的測試準確率僅達 62-64%，且策略梯度算法（PPO）可能生成不具意義的高分回應。為解決這些挑戰，吳教授提出直接偏好優化（DPO）方法，將語言模型作為獎勵模型的替代，直接指導代理行動選擇，提升對齊效果。演講旨在推動語言模型在實際應用中的進一步發展。
高雄大學資工系教授吳俊興：Kuwa GenAI OS 擁抱多元包容的 AI 新世代
Kuwa GenAI OS 是一種創新的生成式 AI 編導系統，結合多模型和多模態技術，讓用戶無需程式碼即可開發 AI 解決方案。系統開源，支援多作業系統及硬體配置，並具多語言介面，提升客制化能力。其友善操作介面和內建 RAG 工具鏈，使用戶能快速建構提示劇本、知識庫及整合應用，涵蓋文件摘要、即時搜尋、語音辨識及圖片生成等功能。Kuwa 強調信任與安全性，模組化設計助企業快速應對市場需求，成為生成式 AI 應用的完整生態系統。
中研院副研究員黃瀚萱博士：TAIDE，the Localization of LLMs for Taiwan
TAIDE 計畫於 2023 年啟動，致力於整合台灣的語言、文化與知識資源，開發專注於繁體中文及台灣方言的生成式 AI 模型。該計畫旨在打造符合法律規範的開源模型，反映台灣社會與語言特性，並針對多模態應用進行拓展，提升模型對台灣特定視覺與語言線索的識別與回應能力。研究團隊面臨法律限制與模型調適挑戰，目標是將 TAIDE 打造成台灣 AI 生態系的重要工具。
國網中心計畫主持人林昀德博士：一套具台灣主體意識的 B2B 繁中 LLM 服務平台與客製化應用
透過結合具在地文化的 TAIDE 開源模型，國網中心團隊為客戶專屬領域進行模型微調，提升數據處理與知識推理能力。該平台具有「落地輕量化」、「服務平民化」、「應用有感化」三大特色，致力於推動 LLM 在專業領域的廣泛應用。
創鑫智慧技術長高肇陽博士：Accelerating Intelligence: Gen AI Today’s and Tomorrow’ Hardware Innovation
以資料傳輸成本為核心議題，強調計算與記憶體整合的必要性，並提出 Compute In Memory 技術的未來可能性，包含類比與數位兩種模式的優勢比較。此外，低精度運算與新型資料格式及壓縮技術亦是演講的重點，介紹了 NeuKompressionTM 技術如何將 32 位元或 16 位元模型資料壓縮至 4 位元表示法，大幅降低記憶體使用與硬體成本。
據了解，該壓縮技術已經應用在公司開發的矽智財與 HPC AI 加速晶片當中，在市場上取得競爭優勢。演講最後介紹了創鑫智慧的 Gen AI 解決方案，包括 N3000 處理器與 Viper PCIe 卡的技術細節，這些產品在低功耗下實現了低延遲，高性能的運算特性，可支援多種開源大語言模型，適合邊緣運算與多種企業應用情境，展示了生成式 AI 硬體創新的應用前景。
工研院光電所專案副理葉書豪博士：從編譯到應用，多層次 LLM 軟體優化技術
多層次的 LLM 軟體優化技術專注於提升模型效能與應用效率，採用樣本精煉、量化與加速等創新方法。透過語意聚類剔除冗餘樣本及多模型生成高品質答案，有效縮短訓練時間並提升準確性。
技術如 LoRA 透過調整少量參數，達到與全參數微調相似的效能，並降低硬體成本。混合模型損失函數提高生成內容的品質與客觀性，模型量化則縮減大小與推理時間。編譯技術支援多硬體與系統，優化推理效能，預測解碼結合大小模型快速生成與校驗，大幅加速推理過程。
衛福部疾管暑醫師劉宇倫：理想與現實，生成式 AI 在公部門應用的機遇與挑戰
生成式 AI 在公部門應用具發展潛力，但面臨資料品質與治理不足、隱私風險、繁體中文數據匱乏及系統整合困難等挑戰。此外，算力限制、高昂成本及跨領域專才缺乏，進一步增加推動難度。公部門需營造容錯文化、設立階段性目標，平衡社會期待與現實挑戰，才能穩健推動生成式 AI 的長遠發展。
北榮眼科部醫師張高榮：Gauging LLM Readiness in Medical Tasks
透過涵蓋15個專科領域和 8 大醫學能力的數據集，並參考 175 篇頂尖的統合分析論文進行知識提煉，訓練與微調後的模型能夠處理多種多模態醫學問題。新提出的 FORTE 評估框架，則聚焦於醫學報告中的關鍵特徵，提供更精細的品質指標，成功突破傳統自然語言生成模型無法有效解析醫學語境的限制。
精誠資訊資深協理林宗瀛：以 GraphRAG 對接企業數據與 LLM，精準回答關鍵商業問題
GraphRAG 利用知識圖譜作為數據結構，結合語意理解與相似度搜尋，不僅能準確回答複雜問題，還能提升決策效率，特別適用於關鍵決策數據分析與企業內部知識管理，使企業能以更低成本與更高效率完成從數據到決策的全流程升級。
采威國際副總經理兼研發長陳耀庭：中小企業雙軸轉型
雙軸轉型結合數位轉型與淨零轉型，助企業應對現代挑戰。數位轉型透過數位化、優化與創新，提升效率並開創新商業模式；淨零轉型則以碳排放盤查及減碳目標實現永續發展。GAI 應用支持雙軸整合，實現技術創新與社會環境價值的平衡。
陽明交大創產學院教授廖元甫：台客語語音介面與大語言模型
台客語語音介面與大語言模型的發展展示了語言科技與文化保存的深度結合，展現了前所未有的可能性。透過多模態技術的整合，包括語音識別、自動翻譯、語音合成及語言生成，實現了聽、說、讀、寫全方位的 AI 應用，提升了本土語言的數位化能力與實用價值。
優智能執行長陳建志博士：應用大型語言模型於製造業品質管理
以製造業品質管理為主軸，探討了大型語言模型在製造業品質管理中的應用，透過數據處理與流程優化，提升稽核準確性與效率。LLM 技術應用於品質異常檢測、數據解析、自動化報告生成等，為使用者提供智能化、個性化服務，促進決策精度與操作時間減少，提升內部效率和用戶體驗。
大橡科技技術長李瑋航：構建企業專屬 AI，資料驅動的 AI 生成策略
資料驅動的能力是企業構建 AI 主權的核心基礎，在硬體、演算法與資料三大要素中，資料尤為關鍵。大橡科技提供創新資料整合解決方案，幫助多元領域企業高效蒐集和治理資料外，亦結合國網中心算力資源與 RAG 技術，解決 CPT 與 Fine-tuning 方法瓶頸，提升 AI 生成能力。
瑛聲科技總經理林群穎：生成式 AI 在客服產業的應用
Gen AI 透過大型語言模型構建數位大腦平台，提供智能服務。LAMP AIDB 平台整合檔案管理、自然語言處理及檢索增強生成技術，提高客服效率、準確性和個人化。語音機器人技術結合語音辨識、語音合成及情感識別功能，處理複雜需求並提供自動化客服。
宜蘭教育網路中心方志倫博士：教育 AI 應用，LLM 智慧學習系統實例分享
AI-LLM 智慧學習系統為約 4600 名學生提供個別化學習建議和規劃，運用 AI 評測簡化測驗分析，協助教師了解學生成效。系統使用 Llama3 8B Model + RAG 技術，結合數位內容和均一學習平台，提供精準建議。透過落地式邊緣 AI 方案，保護資料隱私。未來將引入學習點數機制，持續優化學習效果，提升學生學力與學習成效。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
