文/鄭宜芬
算力、演算法與資料為驅動產業變革的三大支柱,Hammerspace 於9日在臺灣首度發表高效能全域資料平台,正式進軍亞洲市場,該平台顛覆傳統「以儲存為中心」的架構,轉向「以資料為中心」的設計,結合Tier 0技術與超大規模NAS架構(Hyperscale NAS),可大幅降低GPU儲存閒置率,且突破資料孤島限制,實現雲端、自動化、橫跨邊緣與核心環境的資料彈性運用,獲Meta等科技巨頭實證肯定。
[ 加入 CIO Taiwan 官方 LINE 與 Facebook,與全球 CIO 同步獲取精華見解 ]
Meta 部署 Hammerspace Tier 0 架構提升 LLM 訓練效能與資料彈性Hammerspace執行長David Flynn指出,在AI時代,若要釋放更大的商業價值,必須先解鎖資料的價值。
新平台技術亮點包括:
- 融合檔案與物件資料於單一平台,統一存取與管理
- 支援異地儲存與雲端資料串聯,突破地域限制
- 全自動資料編排與安全合規模組,強化企業資安能力
- Tier 0架構驅動GPU與高速分析工作負載最佳效能
Meta 目前在其3,000台伺服器、24,000顆GPU規模環境中部署Hammerspace平台,支援Llama 2/3等大型模型訓練,有效提升資料處理效能與資源調度效率。
[ 推薦閱讀:「自主化」工廠崛起 AI Agents 改變製造業 ]
從資料虛擬化到 CXL 的演進與挑戰
儲存虛擬化的概念已存在多年,但過往未能成功實踐的主因在於,當時的通訊協定限制虛擬化過程中必須將設備置於資料路徑上,導致資料流被「代理」(proxied)而非「導流」(routed),從而影響效能。過去的技術未能分離控制路徑與資料路徑,無法在不犧牲效能的前提下虛擬化體驗。
「真正讓資料虛擬化成真的,是 parallel NFS(pNFS)的出現。」David Flynn表示,與傳統 NAS 架構不同,pNFS 透過原生支援 Linux,提供了一種可並行傳輸的方式,讓資料得以在不降低效能的情況下實現資料虛擬化。這也是為何過去的虛擬化技術常被視為失敗技術,如今得以重新獲得關注與應用。
某些業者因技術不夠成熟,仍支援舊有協定,在公有雲中繼續提供並維護這些服務,讓市場誤以為這些架構足以應付現代應用,因而勉強使用。其實,隨著更現代化的協定出現,儲存虛擬化的實現條件也隨之成熟。David Flynn以交通比喻,傳統協定如同設有限速與紅綠燈的單線道,而 pNFS 則如同多線道高速公路,導入虛擬化技術同時處理大量資料流,而且不需犧牲效能,「關鍵就在於 parallel NFS 協定原生支援 Linux 並且真的能運作」。
parallel file system 架構應用於高效能運算(HPC)領域,若加以延伸,將其與資料虛擬化整合,便能進一步實現跨資料中心的資料管理與協調控制,甚至提供單一命名空間(global namespace)。要達成此目標,需將中繼資料與實體資料分開處理,透過資料協調調度與中繼資料同步,建立一個支援主動-主動(active-active)同步的架構。
談及未來技術應用,CXL(Compute Express Link)被視為另一個關鍵發展方向。David Flynn說明,從共享記憶體的角度談CXL,對於處理大型模型與圖形資料庫等工作負載非常重要。在這樣的架構中,NFS 可作為共享記憶體的命名空間基礎,實現對資料物件的映射與操作。這種方式不僅保留傳統檔案系統的結構,也使資料得以透過 memory mapping(記憶體對應)進行更高速的處理。
當資料駐留於 CXL 記憶體裝置中時,若能透過作業系統將其對應至具體的記憶體頁面,甚至可跳過傳統的 demand paging(需求分頁)機制,大幅提升應用效能與系統響應速度。這樣的設計也使儲存裝置如同 RAM disk,結合記憶體的速度與儲存的持久性,為未來混合型儲存架構鋪平道路。
(本文授權非營利轉載,請註明出處:CIO Taiwan)