• 登入
  • 註冊網站會員
CIO Taiwan
  • 活動
  • 影音
  • 趨勢分析
  • CIO 雜誌
  • CSO精選
  • 電子報
  • 下載
  • 聯繫我們
沒有結果
查看所有結果
CIO Taiwan
沒有結果
查看所有結果
首頁 專欄

下一代資料平台是資料網格(上)

2022-11-02
分類 : 專欄
0
A A
0
1200 Mesh Net Abstract Structure Isolated White Background

口述/孫培然‧彙整/CIO編輯室


孫培然
孫培然博士目前擔任私立醫療院所協會醫院資訊暨智慧醫療發展促進會會長,也任職於中國醫藥大學附設醫院資訊室副主任,正進行體系HIS再造工程,是一位勇於接受挑戰及洞燭先機採用新技術的領導者,亦曾在中山醫大附設醫院任職資訊室主任時,回收委外HIS系統,重新改造的成功案例。

上一期說明醫院在數位轉型時,會面臨的主要問題之一,就是傳統式資料平台形成的瓶頸。為了解決這個問題,醫院可能需要導入以資料網格(Data Mesh)為基礎的現代化資料平台。

內容目錄 隱藏
資料網格的定義
以領域導向的資料所有權
以資料即產品的思維
從資料產品到架構量子
資料即產品的特性

資料網格的定義

資料網格是一種基於領域導向(Domain-oriented)和自助服務資料平台的新模式,借鑒了微服務的分散式架構思想,最初源於ThoughtWorks首席技術顧問 ZhamakDehghani 發表在 MartinFowler 官網上的兩篇文章「How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh」和「Data Mesh Principles and Logical Architecture」。討論著如何從一個耦合度極高的中心化資料湖(Data Lake),轉移到分散式的資料網格。在 2019 年時,ZhamakDehghani 提出了資料網格的方法論,主要聚焦在四個大原則,如下所述。

[ 參與 CIO Taiwan 年度盛事 2023 CIO 大調查,就從填寫問卷開始!(survey.cio.com.tw) ]

第一個原則是以領域導向的資料所有權(Domain Ownership),也就是資料本來的所有權是在大數據中心或者資訊室,現在把所有權下放到各科領域,如神經外科有屬於自己責任範圍要管理的資料,同時也可使用自己的資料去產生更多資料。同理可證,腎臟科也一樣,各科有專門管理資料的人員,而且是以低代碼/無代碼(Low-code/No-code)的概念去完成資料治理。

第二個原則是要把資料當成產品(Data as a product ),例如神經內科可能需要 15 個或 30 個欄位時,不再只是依照不同的需求提供不同的欄位,而是神經內科應該包括哪些資料,就把它打包成一個產品提供給使用者,也就是資料即產品的概念。

第三個原則是自助資料基礎架構平台的管理(Self-serve data infrastructure platform ),也就是了解領域專業的人,其實不用寫程式,而是只要透過視覺化平台的工具,去設定來源資料與目的資料的映射(Mapping)去做想要做的事情,便可以將來源資料根據你的設定,即時的轉到你所指定目的資料中台上,提供使用者存取使用及研究分析。

[ 閱讀孫培然博士所有專欄文章 ]

第四個原則是聯合計算治理(Federated computational governance),因為資料所有權已經下放,為了避免形成資料孤島,就要透過一個聯合計算的治理過程,站在使用者角度去了解資料如何被應用及分析,制定資料治理相關規範,讓資料更為透明和易於使用。

以領域導向的資料所有權

以領域導向的資料所有權,主要概念就是從業務領域角度出發,將本來集中在大數據中心的資料去中心化,將業務解耦之後,映射到資料的視角,再將資料解耦,減少資料冗餘度,重新考慮整個資料的處理位置和所有權。

再來就是臨床作業,強調的是以「就源輸入」,也就是資料在哪裡產生,就在哪裡負責輸入的概念,看誰有能力能夠了解資料的意義,以及有辦法進行資料解構或重組,那就由誰來負責。

最後就是如何使用這些資料,以及改變現有資料產生及使用的方式,誰最清楚就由誰來負責,也就是以領域知識(Domain Knowledge)的概念,把所有權下放到使用者或者生產者的概念。

以資料即產品的思維

資料即產品的思維,主要是提出了一個「資料產品經理」的概念。其職責包括,如何讓使用者可以很輕鬆隨心所欲的存取跟應用資料,讓資料可以更容易的去取得。

為了讓資料可以更容易取得,就必須要建構出完整的資料服務目錄,讓使用者可以隨選查詢他所要了解的資料,並不斷的改善、改善、再改善,改善成一個真正的產品,讓大數據工程師或IT人員可以專心的投入應用程式的相關應用,而不需要花費額外的時間去管理基礎架構。

資料即產品的思維,也可讓生產者跟使用者洞悉資料產生和使用的行為,進而鼓勵正向的使用資料行為。透過不斷的修正那些不符合資料平台思想的行為,不斷提高使用率,可以更進一步地引進出更好的資料產品設計概念。

從資料產品到架構量子

600-01
▲ 圖一 架構量子。

資料即產品的思維,引發出一種新的概念為「架構量子(Architectural Quantum)」是以最小的架構單元,它可以獨立部署,具有高內聚力、低耦合力,並包含其功能所需的所有結構元素,也就是將整個資料產品變成以架構量子為最小的架構單元,所以微服務就是最小的單體概念,一個典型的產品架構量子,如圖一所示,主要有六個組件:第一是要有一組資料輸入端口(Inputs),主要是接收其來源資料;第二是要有一組連接控制介面(Controls),可以在其中控制資料載入及資料儲存的相關政策,以確保資料的品質;第三是要有一組內置的資料流水線(Pipelines),如資料進來時,會經過很多不同的流水線,比如西元年會轉成民國,再輸出給需要的人;第四是要有可發現介面(Discovery),讓使用者很輕鬆容易的找到他們所需要的資料描述,包含元資料(Metadata)及存取資料所有權等;第五是可觀察性介面(Observability),主要是幫助使用者了解量子中的資料品質,並確保資料是否符合他們的服務水準目標 (Service-Level Objective);最後,第六要有一組資料輸出端口(Outputs),提供一個可以互交操作輸出模式,其模式可以是資料庫、文件、API等。

資料即產品的特性

資料即產品的特色,第一個是「可發現」,也就是透過資料目錄,可以去包括所有權和內容的元資料,有助於使用者找到需要的資料;第二個是「可定址」,也就是每個可發現的產品都有一個唯一識別碼,以便可以對其進行定址存取;第三個是「自我描述」,資料產品必須要為其預期的使用者提供清晰的語義、語法跟資料庫的模式;第四個是「可信賴」,對領域資料的所有者制定服務級別目標,管理其資料產品的可信度;第五個是「安全」針對資料存取權限的管控機制,確保資料的安全被存取;最後是「可交互」,資料網格中的資料產品應該要能夠跨領域存取。

要做到資料即產品,必須要有自主資料服務工具,並且要把它抽象化到與領域無關,不然就是等於客製化,日後就會形成一個資訊孤島,所以與領域無關的自助服務工具,要能夠讓資料基礎建設平台,脫離中心化的領域資料所有權。

我們要提供一個與業務領域無關的資料基礎建設平台,透過這個平台可以很迅速的將很多資料轉換成資料產品,讓它可以擁有高內聚力、低耦合力,進而成為一個能夠相互溝通有無的資料產品工具平台服務。

[ 加入 CIO Taiwan 官方 LINE 與 Facebook ,與全球CIO同步獲取精華見解 ]

自助資料服務基礎建設平台,要做到持續整合及持續交付(CI/CD)貫穿於應用的整個生命週期,才能形成很多個資料產品,也就是架構量子。它們之間則是透過 API 來互相溝通,也就是資料網格的概念。整個框架平台就等於是整個資料網格的生態系,可以具有相關的領域特色跟領域專業。自助資料服務基礎建設平台,就可以具資料產品思維的特性,來做管理跟角色的區別,做到持續整合、持續建置的概念。

每一個架構量子之間,可以透過建立資料管線及設定檔做資料轉換,這就是最近常在講的「Low-code」及「No-code」的概念。也就是架構量子必須要可以讓資料所有權者,可以去做資料擷取、轉換跟輸出的行為,讓使用者可以自定義一個資料中台。

自助資料服務平台的基礎建設,大概包括幾個功能,如資料的快取跟快照、資料來源的描述與原始副本、資料產品範本、資料格式轉換、資料管線範本、資料存取控制,以及日誌與追蹤。

以圖二為例,比如說來源資料庫可能會是 RDBMS、Hadoop或是 NoSQL,假設這些資料是某專業領域所需的資料,就可以透過資料服務平台的基礎建設,在設定完成以後,資料來源就會自動映射到目的地資料庫,也就是使用者所要使用的資料庫,中間就是要把架構量子相關資料管線及設定檔,讓使用者去設定相關的轉置機制,也就是資料互相轉換跟交換的概念。

▲ 圖二 跨服務、系統的多路雙向資料發布管線。


(本文授權非營利轉載,請註明出處:CIO Taiwan)

標籤: 架構量子資料即產品資料網格醫療醫療業
上一篇文章

Akamai發佈新一代DDoS防禦平臺

下一篇文章

【專訪】臺灣大學資訊工程學系教授兼系主任洪士灝

相關文章

I169d06 (1)
專欄

AI 企業應用的深層準備度

2025-07-10
I169s111
專欄

堅韌的台灣供應鏈

2025-07-08
I168d15
CSO精選

從原則邁向 IT 系統實踐之路(下)將個資保護 DNA,注入資通系統新生命

2025-07-08
下一篇文章
1200 華碩金慶柏 03

金慶柏:追求卓越、安全同行!

發佈留言 取消回覆

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

追蹤我們的 Facebook

近期文章

  • AI 企業應用的深層準備度
  • 黃彥男:資安是一切基礎 FIDO 專場揭示企業驗證轉型
  • 2025 Ansys Simulation World 台灣用戶技術大會開跑
  • Lenovo 推出搭載NVIDIA RTX 50系列筆電陣容
  • 扎根創新人才 華碩加入臺大AI 電資大聯盟

📈 CIO點閱文章週排行

  • 【專訪】燁輝企業總經理張振武

    【專訪】燁輝企業總經理張振武

    0 分享
    分享 0 Tweet 0
  • 健康台灣深耕計畫下的科技角色與挑戰

    0 分享
    分享 0 Tweet 0
  • 【專訪】羅昇企業資訊部資深經理林忠信

    0 分享
    分享 0 Tweet 0
  • 紅帽提出數位轉型五步驟

    0 分享
    分享 0 Tweet 0
  • 那可太厲害!華碩NUC 15 Pro系列迷你電腦 釋放AI極致潛能

    0 分享
    分享 0 Tweet 0
  • 從原則邁向 IT 系統實踐之路(下)將個資保護 DNA,注入資通系統新生命

    0 分享
    分享 0 Tweet 0
  • NVIDIA 黃仁勳:代理式人工智慧(Agentic AI)引領產業變革,數位員工時代來臨

    0 分享
    分享 0 Tweet 0
  • 企業如何應對台灣加密監管升溫?

    0 分享
    分享 0 Tweet 0
  • 黃彥男:資安是一切基礎 FIDO 專場揭示企業驗證轉型

    0 分享
    分享 0 Tweet 0
  • 【專訪】街口電子支付總經理范庭甄

    0 分享
    分享 0 Tweet 0

數位及平面

  • CIO Taiwan 網站
  • CIO 雜誌紙本
  • CIO 雜誌 HYREAD 版
  • CIO 雜誌 Zinio 版

關注社群

  • Line 加入好友
  • Facebook 粉絲頁

合作夥伴

  • CIO 協進會

關於我們

  • 公司介紹及工作機會
  • 隱私權政策

旗訊科技股份有限公司|統編:84493719|台北市 100 中正區杭州南路一段 15-1 號 19 樓|TEL: 886-2-23214335
Copyright © Flag Information Co.,Ltd. All Rights Reserved.

CIO Taiwan 歡迎你回來!

可用 使用者名稱 或 Email 登入

忘記密碼 註冊

歡迎註冊 CIO Taiwan 網站會員

請設定 Email 及 使用者名稱(使用者名稱不接受中文、將來無法更改)

欄位皆為必填 登入

找回密碼

請輸入 使用者名稱 或 Email 以重設密碼

登入
  • 登入
  • 註冊
沒有結果
查看所有結果
  • 活動
  • 影音
  • 最新文章
  • 產業速報
  • 新聞速寫
  • 風雲人物
  • CXO分享
  • 產業瞭望
  • 專欄
  • 精選文章
  • 原生現場
  • 供應商視野
  • 線上調查
  • CIO 雜誌
  • 電子報
  • 下載
  • 聯繫我們

© 2020 CIO Taiwan 版權所有

7/28 活動延期通知

因高雄市政府於7/28早上宣布全日停班停課,因此「智慧醫療研討會高雄場」活動延期舉辦。主辦單位將另行公告研討會相關訊息,歡迎報名參加!

您已閒置超過 3 分鐘了,為您推薦其他文章!點擊空白處、ESC 鍵或關閉回到網頁

台糖資訊處處長許世忠 1200 202002060064

【專訪】台糖資訊處處長許世忠

台糖轉型有成 四大面向奠定未來基石 在呼應政府政策與接軌世界潮流下,台糖將原本位

1200 46a0843

【專訪】阿瘦實業董事長羅榮岳

利用數據挖掘商業價值 成功開闢第二成長曲線 肇因於世界趨勢、科技應用、商業模式的

1200 Img 20201218 094626

LINE啟用雲原生平台 加速各項專案速度

在LINE 台灣開發者大會上,LINE在發表三大CLOVA Chatbot、CL

羽昇國際資深經理吳經國

擁抱微服務 羽昇扮演醫療業強力後盾

2022 智慧醫療研討會高雄場 Google Cloud Anthos 不光支援

AI經驗談:康舒科技引進工業3.5 智慧製造邁大步

透過清華大學專注智慧製造的「人工智慧製造系統研究中心」(AIMS)與智慧製造跨院

I135d19 01

Red Hat 助企業接軌混合雲 搶攻全新市場

許多企業都面臨私有雲平台難以支撐大量專案需求的問題,因此使用公有雲服務自然是最佳

Ciotaiwan Logo 600 White

文章分類

  • 產業速報
  • 專欄
  • 影音
  • 風雲人物
  • CXO分享
  • 產業瞭望
  • 原生現場
  • 精選文章
  • 趨勢分析
  • 供應商視野
  • 新聞速寫
  • 下載
  • Sponsors

熱門標籤

  • 最新文章
  • 雲端運算
  • 人工智慧
  • 數位轉型
  • 製造業
  • 物聯網
  • 資料與分析
  • 資安
  • 區塊鏈
  • 5G
  • 儲存
  • 基礎架構

活動

  • CIO價值學院 四堂課
  • 智慧醫療研討會 台北/高雄場
  • 金融科技高峰會 春季/秋季場
  • 製造業CIO論壇 台北/台中/高雄場
  • 商業服務科技論壇
  • 亞太CIO論壇
  • CISO資安學院 金融/醫療/新竹場
  • CIO Insight 調查

影音

  • 影音