AI 資安（AI Security）的定義可以分為兩種，首先是 AI for Cybersecurity，另一則是指 Security of AI。
文／楊迺仁
當 AI 開始無所不在，逐步開始影響人們的生活，與 AI 有關的資安議題已經不再只是IT部門需要關心的議題。鴻海研究院執行長兼資通安全研究所所長李維斌指出，針對 AI 現在的發展有性本善或惡兩種不同的聲音，但不管怎麼看，AI 對人類生活形成深入影響，已經是明確的共識了。
李維斌指出，其實資安在早期發展的過程中，就已遇到不少的困難，如果能在 AI 正要起步的時候，吸取以前的教訓，就能設法避免資安方面的問題，不需要再亡羊補牢。所以人們會想到利用 AI 來幫助我們解決資安的議題，但從另一個角度來看，AI 自己本身可能成為駭客的目標，也因此會衍生 Hacking AI 的議題。
AI 資安的定義
李維斌指出，根據 NSTC（美國國家科學科技理事會）的資料，AI 資安（AI Security）的定義可以分為兩種，首先是 AI for Cybersecurity，由於 AI 的速度很快，可以全自動化或半自動化的去解決資安的問題，做好資安防禦，還可以針對資安做預測分析，讓使用者可以有足夠的反應時間，以加強使用者對系統的信任。另一方面，由於現在的許多決策仍然需要人類介入，才有辦法有效的執行AI的建議，所以人跟AI的協作介面，也是 AI 資安的重要課題。
另一種 AI 資安的定義是指 Security of AI，包括 AI 系統的規格怎麼驗證，怎麼去確保 AI 的功能、安全、強健性和公平性。AI 所作決策是不是能夠被信任？如果遇到對抗式攻擊，就會需要新技術，但整體情境跟所發生的邏輯跟應該不會有太大的變化，還有AI賦能系統能不能被信任，都是 Security of AI 需要討論的重點。
從 CIA 角度談 AI 資安
李維斌回顧網際網路的發展歷程指出，資安主要是從 C、I、A 三個角度來談：
- C（Confidentiality；機密性）、
- I（Integrity；完整性）、
- A（Availability：可用性），
簡單地說，就是看資料會不會被偷走，會不會被破壞，系統提供的應用，是不是在需要服務時不會中斷。
在這些基本要求之下，資安投資就會變成非常現實的問題。因為維護 CIA 必須付出一定的代價，於是資安部門開始購買防火牆、IPS（入侵預防系統）、IDS（入侵偵測）等資安設備，但對企業主而言，這些投入資安的成本越來越高，對業務的貢獻其時沒有那麼直接的幫助，企業主也就沒有辦法直接體會資安的重要，所以在開始進入網路世界時，資安常常被視為是成本，不是一個投資。
直到最近，才開始有人發現，資安其實是很重要的問題，因為當企業在資安部署進步的過程中，駭客也不斷的進步，有如一場打不完的軍備競賽，讓大家開始從避免風險的角度來看待資安。
[ 推薦閱讀：成功的AI團隊必備之組成元素 ]
如證期會日前已經公佈，上市櫃公司開始要設置資安長（CISO）。所以在引進 CISO 之後，CISO 的角色跟 CIO 的角色就會開始出現微妙的變化，由於球員不能兼裁判，所以 CIO 跟 CISO 要怎麼合作，CISO 要如何維持他的工作職能，才能讓整個公司能夠進步，不會因為資安問題而停滯，就是很大的思維轉變。
但李維斌坦言，我們最需要面對的問題，就是大多數人看待資安的態度，往往是「講起來重要，做起來次要，忙起來不要。」沒有人會說資安不重要，但是真正要做資安的時候，如果跟訂單需求發生衝突，企業通常會選擇對生產及營利有直接貢獻的投資，購買資安設備就會變成次要的選擇了。
事實上，許多企業在訂單滿載，忙的要死的時候，根本就不會去想到資安，這也是目前資安在網路環境所面臨到的困境。
AI 資安不能事後亡羊補牢
李維斌覺得，現在的 AI 跟 30 年前開始談網際網路時，有很多相似之處。如兩者都是很開放的環境，有太多太多的事物可以去探索，再加上一個不變的條件，就是任何的事情只要有價值，就有機會被攻擊。
但李維斌認為，IT 系統在 30 年前開始發展時，因為是為了生產、財會、物流或是倉儲管理等，影響層面有限，導致資安在早期沒有受到重視，直到現在後知後覺，才開始亡羊補牢。
反觀現在可以看到的 AI 應用，基本上都在解決人類實際生活的問題，跟人類太接近了，如果還像當年的 IT 及網際網路一樣，等發生資安問題才去亡羊補牢，可能就會有非常嚴重的問題，所以亡羊補牢絕對是很難被接受的。
[ 2022年度CIO大調查報告下載 ]
如同美國大文豪馬克吐溫的名言：「歷史不會重演，但就像文章的押韻一樣，類似的事件還是會再度發生（History Doesn’t Repeat Itself, but It Often Rhymes.）」李維斌認為，企業應該要回顧過去的資安重點，然後放到 AI 的環境中，重新思考AI帶來的新威脅跟脆弱點。如 AI 裡面往往會有很多跟使用者隱私有關的資料或參數，有沒有可能被匯出來？AI 有沒有可能做出錯誤的決定？AI 有沒有可能在應該發揮作用的時候，卻不工作了？
李維斌指出，不管是 CISO 或 CIO，即使針對資安的思維已經開始轉變了，但是面對 AI 進來之後，思維可能又要再次轉變，否則在面對新的模式時，可能會沒有辦法應付，因為用舊的資料科學方法及學到的舊知識，來應付未來的新事物，很可能沒辦法發揮功用，如果還是用以前所謂「抓 bug」的概念去看 AI 資安，可能就會失焦。
至於未來的 AI 資安還會被看成是成本中心嗎？會不會又掉進「講起來重要，做起來次要，忙起來不要。」的窠臼？
李維斌認為，因為 AI 跟人們的生活非常接近，原則上可能提供的都是與個人有關的解決方案，所以 AI 本身往往就有營利價值，或許可以把 AI 產生的利潤挪一部分出來，把資安做好，會是不同於傳統IT資安的想法，但 AI 帶來的行為跟脆弱點必須現在就要正視，亡羊補牢會造成很大的成本。
AI 資安的類型
由於 AI 的發展速度實在太快，當大家都拼命往前衝的時候，李維斌認為，原來在資安領域的專家學者及第一線工作人員，應該要開始關注 AI 資安。如 AI 其實會產生幻覺，在網路上很容易找到類似的案例，人類一看就知道是個香蕉的圖片，AI 剛開始識別時，也很清楚的告知這是個香蕉，但一旦貼上特定的貼圖（Sticker），AI 就會識別錯誤。至於 AI 為什麼會出現這種錯誤，李維斌表示，因為 AI 基本上現在還是一個黑盒子，沒有人知道到底為什麼會這樣，但 AI 就是判斷錯誤了。
另一個案例，則是圖片的左右邊各有一個人，人類一看就知道是兩個人，但只要在右邊的那個人身上掛上一張圖，這張圖就會讓 AI 產生幻覺，那裡並沒有 AI 要找的物件。在這種情況下，如果是一台車的攝影機要辨認物件時，該認出人的時候，卻認不出來，甚至認為那邊沒有物件時，會是一件很可怕的事情。
用來欺騙使用者的 Deepfake，現在已經出現許多案例，如有人冒充董事長或總經理的聲音，然後把錢騙走，或是偽造某個人發表某些言論，讓大家以為這是本人的言論，都是實際上已經發生的事情。
但李維斌認為，Deepfake 其實凸顯出 AI 是個兩面刃的工具，因為 Deepfake 既然可以做到以假亂真，也可以用來修復名畫或是幫助聾啞人獲得聲音。所以從科技的角度來看，AI 是善還是惡，其實很難講，但確實需要一套管理機制來規範 AI，避免 AI 變惡。
[ 加入 CIO Taiwan 官方 LINE 與 Facebook ，與全球CIO同步獲取精華見解 ]
李維斌指出，現在還要特別注意「欺騙 AI」的現象，因為資安戰場上的攻擊者跟防禦者，本來就是一個貓捉老鼠的比速度遊戲，而 AI 在加入資安戰場後，攻防的速度會變得非常的快，從資料的蒐集或儲存，經過訓練產生各種模式，再整合到原來的 IT 系統，進而產生決定進行動作，此時只要有人在輸入資料時，故意塞入一點點錯誤的內容，讓 AI 產生輸出錯誤的模型，而人類觀察者卻沒有辦法發現其中的差異，就會產生很大的問題。
如有一些統計歸因謬誤，認為黑人的犯罪率比較高或是女性的薪水比較低，如果 AI 納入這些統計歸因謬誤，就可能會在訓練模式時，產生特定的問題，一旦與 IT 系統結合，就可能會產生錯誤的決定及行動。所以 AI 讓資安變得比以前更複雜，如果沒有一個很好有效的架構，可能就沒有辦法應付更多的資安問題。
國際發展 AI 資安的現況
目前國際有關 AI 資安的發展現況，李維斌指出，歐盟在 2021 年推出的 Regulatory Framework Proposal on AI，對 AI 資安已經有相當進步的看法；澳洲在 2021 年 6 月也發表 Australia’s AI Action Plan；德國則是在 2020 年 11 月推出 German Standardization Roadmap on AI，內容值得借鑒，不僅可能影響台灣發展 AI 資安，甚至可能影響到整個世界。
美國則是在 2018 年就有「AI Next」專案，一直到 2021 年 1 月，已經投入 20 億美元，但目前可能還需要一些時間發展。至於中國 AI 資安的發展，在世界上的排名非常前面，畢竟中國的資料非常多。
如北京清華大學的人工智慧研究院，就發展出一個人工智能算法的安全對抗攻防基準平台。李維斌認為，臺灣應該有機會發展類似的平臺，因為臺灣畢竟是一個比較令人信任的環境，在臺灣這樣的環境做出來的東西，本身的可靠度跟可信度會高很多。
北京清華大學育成的瑞來智慧（RealAI），在 2021 年三月發佈參與人工智能安全國家級平台的任務，這項任務屬於中國科技創新 2030 重大項目－安全大腦國家新一代人工智能開放創新平台，這些平台都相值得觀察。
創新工廠南京國際人工智能研究院，則是有一個聯邦學習（Federated Learning）的安全對抗攻防與與隱私保護。浙江大學跟螞蟻金服在 2020 年 12 月也發表了人工智能安全白皮書。
李維斌表示，台灣目前也已經針對 AI 資安規劃出一套 CPR 安全模型。C 是 Confidentiality（保密性），涉及模型參數、特徵（Feature）等；P 是 Privacy（隱私性），如從參數中被反推出來的人臉特徵；R 是 Robustness（強健性），其中包括完整性（Integrity）及可用性（Available）。三者加起來稱為 CPR，其實也代表 AI 需要 CPR，才能從資安事件中安全的活下來。
AI 安全模型可以分成三個層級，包括系統、模型及數據。系統的部分是由硬體設備及系統軟體所組成。模型的部分，主要是關注強健性不足的部分，可能面臨到很多攻擊，這些攻擊可能有屬於惡意的對抗式或是木馬攻擊，但也有可能是物理世界的變化，例如車輛在下雨天行駛，會碰到光線不足之類的問題。至於數據，主要就是數據洩露及隱私安全的部分。
電動車可能出現的AI資安問題
李維斌指出，鴻海研究院針對電動車環境做了許多深入研究，發現針對 AI 的攻擊如果發生在電動車或自駕 ADAS（先進駕駛系統），如在歐洲曾經做過實驗，把車子的周圍用鹽圈起來，做成像是車道線的狀況，結果車子就會被困在裡面出不來，因為 ADAS 認為周圍是交通線，於是就只能沿著線一直不斷轉圈圈。
還有一種對抗性攻擊案例的可能性，就是刻意設計一個埋進後門木馬的訓練樣本，如在車子上面放了一些特殊的特徵值，然後告訴 AI 這是一隻鳥。在訓練的時候，人類也許感覺不到錯誤，但當一個個 Label 出現時，AI 就會認為這是一隻鳥，不是一輛車，一旦 AI 產生誤判，就會做出錯誤的決定。
另一種對抗性攻擊案例的可能性，是在聲音裡面加入一些擾動，讓 AI 在辨識時會辨識出完全不同的意義，但人類聽起來卻是一樣的聲音。如果將前述狀況放到 AI 裡面，如現在發展的智慧座艙，只要智慧座艙裡面的收音機傳出來的正常音檔裡面，其實隱含了某些擾動的聲音，人類聽起來雖然沒有問題，但是車子的語音辨識可能就會聽錯而下了不同的命令，這是一個令人擔憂的問題，其實是值得我們深思的。
另一個在台灣曾經發生的案例，是因為訓練樣本數太少或者樣本不夠全面，導致 AI 將白色貨車辨識成白光，由於原始設定是看到不認識的就是繼續執行，於是就產生出乎意料之外的結果。
AI 決策的可解釋性是取得信任的關鍵
李維斌指出，這些屬於 AI 資安的議題，都是必須要面對解決。但其實有好多事情都還是不是那麼清楚，如自主反應系統的責任是人的問題？車的問題還是 AI 的問題？責任該如何分配？要怎麼確保系統行為只會按照原來設計的狀況去做服務，而不會超出我們的預期？
更困難的是，什麼叫符合預期？當 AI 越來越擬人化的時候，這樣的 AI 系統會帶來什麼樣的風險？其實這一切都還混沌未明，我們還有很多事要做，值得大家非常深思。
李維斌指出，大家都在討論 AI 到底能做什麼，然後怎麼做，很多令人興奮的解決方案一一被提出來，可以解決人類很多的問題。但我們需要關注的是，要怎麼去解釋 AI 怎麼做決定。因為黑盒子會很難讓人產生信任感，也很難解釋 AI 為什麼能夠符合人們的需求，也就是法遵的問題，要怎麼去解釋。但只要我們能夠知道 AI 是怎麼做判斷的時候，就有可能利用這些知識，去判斷駭客的的手法，需要 AI 專業人士好好研究。
李維斌強調，假設大家都接受 AI 資安是一個很重要的議題，在開始建立 AI 安全模型之前，第一件要做的事情是 AI 的 CPR，也就是先去偵測，雖然無法做到百分之百，但至少可以知道可能會有什麼問題，就可以做一些事後的準備工作。
AI 資安需要治理與法規
放眼未來，李維斌認為，AI 絕對不是那麼簡單的只談技術，而是具有更高的複雜性，畢竟 AI 像是一個通用技術，影響人們的生活實在太深了。所以除了原本的保密性、隱私性及強健性，如何降低風險，還要關注可解釋性，瞭解 AI 到底是怎麼做決策，AI 的意圖到底是什麼？還有 AI 可能造成的偏見及道德問題，要如何避免。最後是AI治理與法規，因為還是有人擔心 AI 會做出一些人們無法預期的事情，所以如何讓 AI 能夠在正確的軌道上面發展，可能也是很重要的事情。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
