萊迪思半導體公司為低功耗可程式化設計元件的領先供應商,宣布低功耗、AI/ML解決方案的最新藍圖,這些解決方案可以幫助客戶端運算裝置等網路邊緣應用延長電池壽命,帶來創新的使用者體驗。它們採用屢獲殊榮的Lattice sensAITM解決方案集合建構,在Lattice Nexus FPGA上執行,可以幫助OEM廠商開發智慧、即時線上、具有低功耗和硬體加速AI功能的裝置,這些裝置還能現場進行升級,支援未來更多的AI演算法。
客戶端運算裝置越來越需要快速反應和情景感知式的使用者體驗、高品質視訊會議和協作式應用。萊迪思Nexus FPGA和sensAI解決方案集合是開發電腦視覺和感測器融合應用的理想平台,可以提升使用者的參與和協作,保護使用者隱私。例如,客戶端裝置可以分析攝影機採集的圖像資料,確定後方人員是否距離使用者過近,還可以在使用者的注意力轉移到別處時模糊螢幕以保護隱私,或者調暗螢幕延長電池壽命。
萊迪思行銷和業務發展副總裁Matt Dobrodziej表示:「基於視覺、聲音和其他感測器的AI應用將革新客戶端運算體驗。我們的sensAI支援各類網路邊緣AI解決方案,賦予客戶端裝置情境感知能力,讓它們知道自身在何時、何地、以何種方式被使用。我們的Nexus FPGA則以領先業界的低功耗來實現這一功能。 」
與使用CPU來驅動AI應用的裝置相比,採用sensAI開發並在萊迪思FPGA上執行的AI運算裝置的電池壽命可延長28%。sensAI也支援現場軟體更新,保持AI演算法的演進,並讓OEM廠商靈活選擇不同的感測器和SoC技術來對應他們的裝置。
萊迪思正與領先的AI產業體系的夥伴合作,開發萊迪思客戶端運算AI體驗的發展藍圖。
Mirametrix副總裁Stephen Morganstein表示:「我們的Glance by Mirametrix注意力感應軟體可以捕捉使用者的臉部、眼睛和凝視動作,從而了解使用者的意識和注意力。這項由獨特技術開發的智慧裝置能提供更自然和沉浸式的使用者體驗和裝置互動。萊迪思的sensAI解決方案集合和低功耗FPGA可幫助開發人員實現新穎的AI功能,提高裝置的電池壽命。」
sensAI解決方案集合的最新版本(v4.1)現已發佈,支援萊迪思基於AI的應用藍圖,其增強功能和新功能包括:
● 客戶端運算AI體驗參考設計:
- 使用者偵測:使用者接近或離開裝置時會自動啟動或關閉客戶端裝置。
- 注意力追蹤:當使用者的注意力不在螢幕時,降低裝置的螢幕亮度,節省電量,延長電池壽命。
- 臉部取景:在視訊會議應用中提升視訊體驗。
- 旁觀者偵測:偵測站在裝置後面的潛在窺視者,模糊螢幕以維護資料隱私。
● 更多應用支援:
sensAI 4.1版本在效能和準確度方面的提升有助於拓展其目標應用,包括自動化工業系統中使用的高準確度目標偵測和瑕疵偵測等應用。該解決方案集合擁有全新硬體平台,包括機載圖像感測器、兩個I2S麥克風和用於增加更多感測器的擴展連接器,助力基於語音和視覺的機器學習應用開發。
● 便於使用的工具:
sensAI更新神經網路編譯器,可支援Lattice sensAI Studio這款基於GUI的工具,擁有AI模型庫,經過設定和訓練可適用於各類主流應用場景。sensAI Studio現已支援AutoML功能,可根據應用和資料集目標來創建機器學習模組。數個基於Mobilenet機器學習推論訓練平台的模型專為最新的Nexus系列產品Lattice CertusPro-NX進行優化。sensAI也相容其他廣泛使用的機器學習平台,包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。