商務族群社交媒體龍頭 LinkedIn 採用生成式 AI 來提高會員服務水準。本文將深入探究他們如何運用大型語言模型(LLMs)取得商業成果的精彩內幕。
文/Evan Schuman‧譯/Frances
全球擁有超過 10 億用戶的 LinkedIn 不斷地挑戰當今企業技術上可能性的極限,很少有公司像 LinkedIn 這樣規模營運,或像他們一樣獲得用戶提供的豐富數據資料。對於以商業與就業為目的的社群媒體平台來說,將合格候選人與潛在雇主連接起來以幫助填補職缺是核心業務,而同樣重要的是確保平台上的動態貼文與這些 LinkedIn 使用者相關。在 LinkedIn 這樣的規模下,這些配對流程必須依賴技術來進行。
在 2023 年夏季,恰逢對生成式 AI 首波熱潮高漲之際,LinkedIn 開始思考是否應該借助大型語言模型(LLMs)來最佳化配對求職者與雇主,並使貼文動態更加發揮效用。
因此,LinkedIn 踏上了生成式 AI 之旅,現在他們分享導入 Microsoft 的 Azure OpenAI 服務所得到的成果,相信各垂直產業的 CIO 們可以從其導入歷程中所學到的經驗與教訓體悟出一些心得。
起始 AI 的人性
正如多數 CIO 所經歷的,擁抱新興技術伴隨著許多試驗和挫折。LinkedIn 的情況也不例外,該公司的主要軟體工程師兼技術主管 Juan Bottaro 表示,其走向大型語言模型(LLM)洞察之路絕非一帆風順。
Bottaro 表示,最初的交付成果「感覺不足」、「連結的點不夠多」,那些對生成式 AI 的最初狂熱並沒有提供幫助。Bottaro 表示:「大型語言模型(LLM)是新東西,感覺它似乎能解決我們的所有問題。」「起初我們對於 LLM 能做什麼沒有一個非常清晰的概念。」
[ 推薦文章 :企業如何挖掘 AI 應用需求? ]
舉例來說,。LinkedIn 早期版本希望可以努力改進求職匹配,但是在缺乏更好的對話描述詞下,那些對話方式可以說是相當粗魯或不友好,或者太過於直白。
點擊「評估我是否適合此工作」,卻得到「您完全不適合」的結果,這樣的回答肯定一點幫助都沒有,」Bottaro 說,「我們希望回應在客觀的情況下,也保有同理心。有些會員可能正在考慮轉職到他們目前非其強項的領域,他們更需要的是有助於他們了解差距和下一步該做什麼的資訊。」
因此,LinkedIn 的初次經驗中獲得的重要教訓之一,便是調整大型語言模型符合受眾期待,並協助這些語言模型明白 ─ 雖然是 AI 機器人的回應,但仍然要考慮符合人性。
加速再加速
儘管 LinkedIn 擁有超過十億名會員,大多數依賴 LinkedIn 大型語言模型的求職功能最初是鎖定在付費的 Premium 會員,規模小於總會員數很多。(LinkedIn 拒絕透露真實的 Premium 會員數量)
在規模化的考量下,速度是非常重要的,特別是在進行像是把候選者配對到合適職缺這樣微妙的任務時。人們原本以為大型語言模型可以幫上忙,因為大家都說大型語言模型的一大優勢是速度快、可以迅速完成複雜的步驟。但事實上,Bottaro 說,在 LinkedIn 的應用情況並非如此。
[ 加入 CIO Taiwan 官方 LINE 與 Facebook ,與全球 CIO 同步獲取精華見解 ]
「我不認為大型語言模型很快。速度也並非其優勢,」他說。不過,速度快慢可以有好幾種解釋方式。儘管在實際操作上,大型語言模型可能沒有如預期的那麼快,但整體部署過程的加速度絕對令人驚嘆。「這個新技術的超級優勢就是可以非常快速地建立原型,大約兩三個月之間。這在以前是不可能的,」他說。
當被問及「如果沒有大型語言模型,這個專案需要多久時間才能完成?」時,Bottaro 表示有些部分根本無法完成,而一些其他部分「可能需要花上幾年的時間」。舉例來說,Bottaro 提到系統中設計用來理解意圖的部分。他表示,如果沒有 LLM,這部分可能需要兩到三個月才能完成,但 LLM「不到一週」就掌握到了。
聰明的代價 ─ 成本
Bottaro 所稱之一個「障礙」是成本。再次強調,成本在專案的不同階段可能有不同意義,LinkedIn 的經驗便能佐證這點。「我們去開發所花費的金額微不足道,」Bottaro 表示。但當涉及將資料提供給 LinkedIn 的客戶時,成本卻急遽攀升。
這是因為大型語言模型的定價 — 至少 LinkedIn 與其大型語言模型提供者兼母公司 Microsoft 達成的授權協議 — 是基於「使用量」,特別是輸入和輸出的標記(token)。「即使只是針對幾百萬名會員,價格也會飆漲。」Bottaro 這樣說,而這可能也隱約暗示了 Premium 使用者的數量。
[ 推薦文章 :產業資安聚焦、採購項目,以及零信任導入趨勢]
一位 AI 供應商的執行長 Tarun Thummala,在一篇與這個專案無關的 LinkedIn 貼文中曾解釋,LLM 的輸入和輸出標記大致相當於 0.75 個詞彙(word)。LLM 供應商通常以千或百萬的方式出售標記。例如,LinkedIn 所使用的 Azure OpenAI 按照每 100 萬個 8K GPT-4 輸入標記收取 30 美元,每 100 萬個 8K GPT-4 輸出標記收取 60 美元,在該公司位於美國東部的服務地區。
一位 AI 供應商執行長 Tarun Thummala 在 LinkedIn 的一篇與該專案無關的貼文中解釋說,LLM 輸入和輸出代幣大致相當於一個單字的 0.75 個。 LLM 供應商通常會出售數千或數百萬的代幣。 例如,LinkedIn 使用的 Azure OpenAI 在美國東部地區對每 100 萬個 8K GPT-4 輸入代幣收費 30 美元,每 100 萬個 8K GPT-4 輸出代幣收費 60 美元。
如何評估 LLM 是一項挑戰
LinkedIn 在專案中另一項功能目標是 AI 的自動化評估。就準確性、相關性、安全性等方面,評估大型語言模型一向具有挑戰性。一些科技領先組織和大型語言模型領導品牌一直在試圖自動化這項工作,但據 LinkedIn 表示,這些方面「仍然是個半成品」的狀態。
缺乏自動評估功能,LinkedIn 報告指出「工程師只能靠目視測試結果,並在有限的範例上進行測試,需要超過一天的延遲才能了解指標數據。」
該公司正根據模型建立評估系統,用以協助評估關鍵大型語言模型指標,例如整體品質得分、幻覺率、連貫性和負責任的 AI 違規情況。該公司的工程師表示,這將使得實驗過程更快,雖然 LinkedIn 的工程師在幻覺檢測方面已經取得了一些成功,但他們尚未完成這方面的工作。
資料品質是關鍵
LinkedIn 在職位配對工作中所遇到的困難之一,主要是來自於雇主和潛在員工雙方提供的資料品質問題。大型語言模型只能根據接收到的資訊運作,而有時候,雇主在發布職缺時,對於所需技能的描述不夠精確或不夠全面;另一方面,部分求職者在撰寫經歷時用詞不當,無法有效呈現自身豐富的經驗,例如解決問題的能力。
Bottaro 認為,大型語言模型在這方面擁有幫助雇主和求職者的潛力。藉由改善雇主和 LinkedIn 使用者的文字描述使兩方都能受益。因為當資料輸入的品質提高時,LinkedIn 的職涯配對大型語言模型來說就能更有效地運作。
使用者體驗
針對擁有龐大會員規模的情況,準確性和相關性指標可能會有誤導,「給人一種虛假的安全感」,Bottaro 表示。例如,如果大型語言模型「在 90% 的情況下都能正確運作,這同時也意味著 10% 的人會遭遇糟糕的體驗」,他說。
然而,要提升更高的使用者體驗並不容易,除非我們可以提供真正有用、有幫助且準確的答案,而這需要極高的細微差異感知和判斷力。「如何界定好與壞?我們花了很多時間與語言學家制定準則,以確保資訊傳遞的完整,同時也進行了大量的使用者研究。」
[ 推薦文章 :繁體LLM新秀 Project TAME大語言模型開源嘉惠產業]
Bottaro 表示,「如何訓練模型生成正確的回應?這關係到你如何定義任務,以及具體說明預期的回應方式。我們產品的目標是提供建設性和有幫助的資訊,而非過度揣測,導致模型產生幻覺。現在,我們對於回應的成果具備的一致性感到非常自豪。」
即時做出最佳媒合的要件
LinkedIn 的龐大規模為求職配對帶來挑戰。坐擁數十億會員,職缺廣告發布後,短短幾分鐘內便可能湧入數百甚至數千封應徵信。然而,這也造成了一個問題:看到已有大量競爭者,許多求職者可能會望而卻步,放棄投遞履歷。因此,如何運用大型語言模型(LLM)在茫茫人海中快速找到合適的人才,並在他們因已有眾多申請者而卻步之前,就鼓勵他們提交履歷,至關重要。同時,這些潛在候選人也需要能夠及時收到通知,並迅速做出回應,而這並非易事。
對雇主來說,真正的挑戰在於如何從眾多應徵者中,找到最符合需求的人才,而不是要選擇回覆最快應徵的那些人。然而,有些公司不願意公開薪資範圍,導致即使是最符合資格的求職者,也可能因為不確定薪酬是否符合期待而卻步,這會使招募過程更加複雜。但這個問題,並非單靠大型語言模型(LLM)能夠解決的。
APIs 與 RAG 讓 LLM 威力延伸
LinkedIn 擁有海量的資料,涵蓋了關於個人、雇主、技能和課程等豐富且獨特的資訊。然而,其大型語言模型(LLM)並未接受過這些資料的訓練。換句話說,以目前資料的儲存和交付方式,LLM 無法利用這些寶貴資訊進行任何推理或生成回應的活動。
為了解決這個問題,企業通常會採用「檢索增強生成」(Retrieval Augmented Generation,RAG)的方法。透過建立內部 API 的串接流程,企業可以為 LLM 提供更多額外資訊來「增強」其理解能力,進而更好地引導和規範 LLM 的回應。
然而,LinkedIn 大部分資料都是透過 RPC API(遠端程序呼叫應用程式介面)公開,這種方式雖然「對人類來說,以程式設計的方式呼叫很方便」,但「對 LLM 卻不太友善」,因為 LLM 更擅長的是處理自然語言和非結構化資料,而非透過特定的程式碼才能呼叫。
為了讓 LLM 能夠順利使用這些資料,LinkedIn 的工程師為其 API 進行了「技能包裝」(wrapped skills),讓 LLM 能夠理解每個 API 的功能和使用時機。 他們為每個 API 提供了更貼近 LLM 的描述,以及詳細的配置資訊、輸入和輸出資料格式,並建立了必要的邏輯,將 LLM 版本 API 的呼叫映射到實際的 RPC 版本上。
透過這些技能,LLM 能夠執行許多與 LinkedIn 產品相關的任務,例如:查看個人檔案、搜尋文章、人物、職缺、公司資訊,甚至查詢內部分析系統。 LinkedIn 的工程師在一份聲明中表示:「同樣的技術也運用在呼叫 LinkedIn 以外的 API,例如:Bing 搜尋和新聞。」
(本文授權非營利轉載,請註明出處:CIO Taiwan)