Red Hat 攜手 NTT 運用 IOWN 技術推動邊緣 AI 分析
前言：
聯合解決方案實現大量資料集合的即時人工智慧分析，同時降低能耗與延遲
2024年3月6日--世界領先開放原始碼軟體解決方案供應商 Red Hat 日前宣布與日本電信電話公司（NTT）、NVIDIA 與富士通（Fujitsu）合作，作為創新全光和無線網路（Innovative Optical and Wireless Network，IOWN）計劃的一部份，共同開發出一套增強與擴大即時人工智慧（AI）邊緣數據分析潛力的解決方案。該解決方案採用 IOWN 全球論壇開發的技術，並建置在 Red Hat OpenShift（基於 Kubernetes 的業界領先混合雲應用程式平台）基礎上，因此其在真實可行性與實際案例方面獲得 IOWN 全球論壇的概念驗證（PoC） 一致認可。
Red Hat 技術長暨全球工程資深副總裁以及 IOWN 全球論壇董事 Chris Wright 表示，「在過去的幾年裡，我們身為 IOWN 全球論壇的一分子，致力於為開源驅動的 AI 創新奠定基礎，並提供了有利於我們為將來做出更明智選擇的技術。這是一項重要且令人振奮的工作，同時這些結果有助於證明我們能夠為全球企業建立永續及創新的 AI 解決方案。透過 Red Hat OpenShift，我們得以協助 NTT 不受限制地實現大規模 AI 即時資料分析。」
隨著 AI、感測技術與網路創新不斷加速，尤其是資料來源幾乎每天都在擴張的情況下，使用 AI 分析來評估與分診（triage）從網路邊緣輸入的資料將變得至關重要。然而，大規模地以 AI 進行分析既緩慢又複雜，且可能因引入新的 AI 模型與額外硬體而導致更高的維修成本與軟體維護費用。隨著偏遠地點的邊緣運算功能逐漸崛起，AI 分析可設置於更靠近感測器的位置，進而減少延遲並提高頻寬。
該解決方案包含 IOWN 全光網路（All-Photonics Network，APN）以及 IOWN 以資料為中心之基礎設施（Data-Centric Infrastructure，DCI）的資料管道（data pipeline）加速技術。NTT 的 AI 加速資料管道採用 APN 之遠端直接記憶體存取功能（Remote Direct Memory Access，RDMA），在邊緣高效收集並處理大量感測器資料。Red Hat OpenShift 的容器調度技術 提供了更大的靈活性，能夠在跨地理分佈之遠端資料中心的加速資料管道內操作工作負載。NTT 與 Red Hat 已成功證明該解決方案在邊緣保持即時 AI 分析低延遲的同時，能夠有效降低能耗。
NTT 資深執行副總裁暨 IOWN 全球論壇主席 Katsuhiko Kawazoe 表示：「為實現永續社會，NTT 集團與合作夥伴攜手加速 IOWN 的發展。IOWN 概念驗證是 AI 邁向綠色運算的重要一步，支援 AI 的集體智慧（collective intelligence）。我們正在透過將光電融合（Photonics-Electronics Convergence）技術應用於運算基礎架構，進一步提升 IOWN 的能源效率。我們目標以 IOWN 實現淨零碳排的永續未來。」
概念驗證評估了即時 AI 分析平台 ，以日本的橫須賀市作為感測器安裝基地、武藏野市作為遠端資料中心，兩地則藉由 APN 連接；結果指出，即使搭載大量攝影機，整合感測器資料進行 AI 分析所需的延遲時間依然較傳統 AI 推論工作負載少了 60%。此外，IOWN 的概念驗證測試顯示，每個在邊緣的攝影機進行 AI 分析所需的能耗與傳統技術相比，可以降低 40%。此即時 AI 分析平台允許 GPU 擴充以容納更多攝影機，而不讓 CPU 成為瓶頸。根據試算，搭載 1,000 個攝影機，預計能進一步降低 60% 的能耗。此解決方案的概念驗證亮點如下：
● NTT 提供的 AI 推論加速資料管道可運用遠端直接記憶體存取功能，在 APN 直接從當地位置獲取大規模感測器資料，並傳送到遠端資料中心加速器的記憶體中，進而降低傳統網路中協定處理的額外負擔。接著在加速器內完成 AI 推論的資料處理，以較少 CPU 控制的額外負擔，提高 AI 推論的能耗效率。
● Red Hat OpenShift 支援的大規模 AI 資料即時分析可以協助 Kubernetes 營運商 簡化以硬體為基礎之加速器（例如 GPU、DPU 等）的複雜性，從而提升靈活性，並且更易於在分散的環境（包括遠端資料中心）進行部署。
● 此概念驗證採用 NVIDIA A100 Tensor Core GPU 與 NVIDIA ConnectX-6 NIC 進行 AI 推論。
富士通資深副總裁與企業系統商業設備主管 Kenichi Sakai 表示：「藉由我們的伺服器技術，包含支援分解式運算的 PRIMERGY CDI，我們持續致力於實現永續且更智慧的社會。此次概念驗證結果顯示，在 2026 年實踐 IOWN 商業化的可行性已經提高，且 IOWN 具有 AI 應用的潛力。富士通透過 PRIMERGY CDI 的可組合性實現更高效能和能源效率，並持續為 IOWN 運算基礎架構的實踐做出貢獻。」
NVIDIA 電信部門資深副總裁 Ronnie Vasishta 表示：「AI 推論的需求正不斷成長，而電信邊緣扮演著關鍵角色。NVIDIA 與 NTT、IOWN 長期合作，將 APN 網路與加速資料處理管道和 AI 結合，展現低延遲且節能的電腦視覺和影像處理技術。」
該解決方案有助於為 AI 賦能的智慧技術奠定基礎，進而協助企業持續地擴大規模。透過此解決方案，企業可受益於：
● 減少因收集大量資料所產生的營運費用；
● 強化能在都會區及偏遠資料中心之間共享以加速 AI 分析的資料收集；
● 使用當地既有及潛在的再生能源之能力，例如太陽能或風力；
● 以攝影機作為感測裝置提升區域管理安全性。
額外資源
● 閱讀 NTT 研發論壇的主題演講：為人類和地球創新永續的未來
● 進一步了解 Red Hat OpenShift
● 進一步了解 Red Hat 的邊緣運算
● 進一步了解 Red Hat 於巴塞隆納 MWC 發布的新聞
Red Hat 聯絡資訊
● 深入了解 Red Hat
● Red Hat Taiwan 官網
● 加入 Red Hat Taiwan Facebook 專頁
● 關注 Red Hat 新聞
● 閱讀 Red Hat 部落格
● 在 Red Hat Twitter 追蹤 Red Hat
● 在 YouTube 觀看 Red Hat 影片
● 在 LinkedIn 追蹤 Red Hat
關於 Red Hat
Red Hat 是企業開放原始碼軟體解決方案的全球領導廠商，透過社群推動的方式，提供可靠、高效能的 Linux、混合雲、容器與 Kubernetes 技術。Red Hat 幫助客戶整合新舊 IT 應用服務、開發雲端原生應用、在業界領先的作業系統上進行標準化，並自動保護與管理複雜的作業環境。Red Hat 提供獲獎的支援、訓練與諮詢服務，是深受眾多財星五百大企業信賴的顧問公司。作為雲端服務供應商、系統整合商、應用程式開發商、客戶與開放原始碼社群的策略夥伴，Red Hat 能幫助企業為數位時代做好準備。
