文／謝明華
ChatGPT 的出現，人工智慧（AI）模型已經從特定任務的解決方案，進化到通用事務的解決方案。
AI 技術進步到所謂的「人工通用智慧」（Artificial General Intelligence，AGI），對於業務複雜度高的金融服務業將產生相當的衝擊。舉凡行銷、客戶服務等業務有諸多的流程將被 AGI 取代。
AI 模型的共同問題與轉移式學習
AI 模型在實際應用上，面臨兩個主要挑戰：「資料缺乏」和「模型的泛化性能力不足」。首先，資料蒐集不易、資料準備昂貴、耗時一直是 AI 面臨的主要問題。除此之外，單一任務訓練的 AI 模型，在應對新任務時，都需要重新訓練模型，並且需要取得特定領域大量、標記良好的資料集，進而影響到專案落地的時程。
想克服這個問題，一個簡單的想法就是利用訓練好的模型，在不同的任務上進行知識轉移，以加速新模型的學習過程。類似人類學習的方式，當我們學習新知識時，常常會將之前學到的知識，應用到新的情境中，以提高學習效率。這項技術讓模型可以在不同領域之間共享資料，從而克服資料缺乏的問題。 這個想法叫做「轉移式學習」（transfer learning）。
[ 推薦閱讀：2023 金融及服務業 IT 投資重點 ]
特定任務 AI 模型因為訓練資料不足，導致泛化能力差，無法在其他類似的任務上有好的預測表現。轉移式學習在實務上的一種成功做法是運用「預訓練」和「微調」兩個步驟來建立模型：
- 「預訓練」階段，會在深度學習模型的低網層進行，使用大規模的資料訓練模型，讓它學習到足夠的通用特徵；
- 「微調」階段，則使用小資料集來微調預訓練模型的上層結構，讓模型能夠適應目標任務。這實現了情境化應用的目標。如果能確保預訓練模型足夠通用，日後因應新任務時，只需使用規模小的目標資料集，去微調預訓練模型的參數，因此，減少了模型訓練的時間並提高模型的泛化能力。
基礎模型改變 AI 模型的運作方式
基礎模型（Foundation Model）取代特定任務的模型，以自監督式學習在大量的未標記資料集上進行自我訓練（self supervised），學習一些通用的特徵表達（representation），之後針對不同任務進行微調就能運用在下游。這種大規模預訓練模型（pre-train）對各種下游使用情境，有很重要的意義和適用性，因此被稱為基礎模型。ChatGPT 是基礎模型的一種實作結果。
泛化能力指一個 AI 模型對未曾見過的資料的適應能力。在訓練過程中，模型學習了一些模式和規律，但這些規律並不一定完全適用於新的資料集。一個具有高泛化能力的模型能夠「從訓練集中學到普遍規律」，而不是僅僅記住訓練集中的樣本。這種能力可以讓模型應對各種情況。泛化能力是 AI 模型的一個重要指標，它決定了模型的實際應用效果。
[ 加入 CIO Taiwan 官方 LINE 與 Facebook ，與全球 CIO 同步獲取精華見解 ]
基礎模型有很大進展的主要原因是轉換器模型架構（transformer）的創建，它是可以學習上下文關係的架構，主要是利用專注力機制（attention mechanism）。 這個機制他會考慮資料中每個元素之間的關係強弱，知道要把注意力放在哪些資訊上面，也讓計算可並行化，提升效率。轉換器理解長文本中單詞之間的相互作用，並在 NLP 任務中取得了非常出色的表現。BERT、GPT-3、GPT-4 等現今流行的 NLP 模型都是基於轉換器架構。
基礎模型所表現出的行為是由模型內自己學習到的，而非在模型設計時人為設定的，因為它是透過自我監督的方式在大量未標記資料上進行訓練。這種訓練方式使模型自動從大量的文本資料裡學習並捕捉到一些隱含的模式和關係。這種特性顯示出模型的自我適應能力，使得模型可以應對新的問題，這使的他在少樣本或零樣本情況下有效。但也因為這種特性是模型自己學習來的，所以需要對模型的表現進行仔細的監控，以確保其行為符合預期。基礎模型模型規模越大，對於沒有訓練資料的應用情況能有效的原因有兩點：首先，大型模型擁有更多的參數和更高的表達能力，可以更好地捕捉資料中的複雜關係，提高模型的泛化能力；其次，大型模型可以使用預訓練技術，在大量的未標記資料上進行訓練，並將通用的特徵表達可以轉移到特定領域來提高模型效果。
ChatGPT 在金融服務業上的應用
ChatGPT 可以透過自然語言理解加上生成技術，理解人類的指令、問題或對話內容，幫助智能客服 Chatbot 更加了解人類的意圖和需求，生成自然語言的回應，從而更好地提供服務。
ChatGPT 可以取代或部分取代行銷的創造性與分析性工作，例如：對會議記錄做筆記或摘要，生成會議議程、影片腳本、文章標題；應對困難對話的建議；以簡單方式說明複雜的主題；撰寫具說服力、從買家角度出發的銷售文句；草擬棘手客戶的回應。
Codex 將自然語言轉換為程式碼，以增強開發人員的能力。使用者可以在寫程式時，直接輸入自然語言描述所需實現的功能，Codex 就能夠根據這些描述生成對應的程式碼，並提供多個可能的解決方案供使用者選擇，並且涵蓋了多個語言和框架，如 Python、JavaScript、Go。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
