1. 首頁
  2. 富士通推出「AI computing broker」中介軟體 解決全球GPU短缺問題並提升AI處理效率

PRESS RELEASE

Fujitsu Limited
December 27, 2024

富士通推出「AI computing broker」中介軟體 解決全球GPU短缺問題並提升AI處理效率

驗證AI與雲端服務供應商的試驗顯示運算效率顯著提升

摘要

  • 富士通推出 AI computing broker中介軟體，改善 GPU 運用率並解決全球短缺問題，試驗中運算效率提高最多達 2.25 倍。
  • 該中介軟體可動態分配 GPU 資源，針對各種平台和 AI 應用優化資源分配和記憶體管理。
  • 新技術的記憶體管理功能支持同時處理高達 150GB 的 AI 任務，約為實體 GPU 記憶體容量的五倍。

富士通今日宣布推出一項AI computing broker中介軟體，旨在提升 GPU 在 AI 處理中的運算效率同時應對全球 GPU 短缺問題。該技術整合了富士通自主開發的 GPU 自動適應分配技術能以便動態分配 GPU 實現高效的即時處理並結合多種 AI 處理優化技術。

經成功試驗後，TRADOM(1)將於 2024 年 10 月起開始使用基於該技術的解決方案。Sakura Internet(2)也已展開可行性研究，計劃將該技術應用於其數據中心營運。

自 2024 年 5 月起，富士通與 AWL (3)、Xtreme-D(4) 、以及 Morgenrot(5) 展開技術試驗，展現其顯著提升了多家公司業務營運效率。試驗結果表明該技術在多雲環境和伺服器中的 AI 處理效率提升最多可達 2.25 倍，且能大幅增加可同時處理的 AI 任務數量。

新技術將於 2024 年 10 月 22 日起向日本客戶提供，隨後推廣全球市場。

富士通將持續向包括 AI 服務供應商在內的終端用戶提供其AI computing broker，幫助這些用戶透過提升運算效率來降低 GPU 成本，同時也將此技術提供給雲端服務供應商以實現 GPU 使用率的最大化。通過解決由於全球對 AI 日益增長的需求所導致的 GPU 短缺和能源消耗問題，富士通旨在提升客戶的業務生產力與創造力。

應對 AI 能源消耗增長的 GPU 自動適應分配技術

隨著生成式AI等全球AI需求的爆炸性增長，比起 CPU 更適合 AI 處理的 GPU 需求也急速增加。預計生成式AI市場的全球需求金額將從2023年到2030年成長約20倍(6)，與之相應，GPU需求亦將呈現相同比例的急速增長。然而，數據中心為滿足這一需求而增加的能耗將成為一大挑戰。預估到2030年，數據中心的電力消耗將占全球總發電量的 10%(7)。

為解決這一全球性社會挑戰，富士通於 2023 年 11 月開發了 「GPU 自動適應分配技術」。該技術運用實時分配資源來優化 CPU 和 GPU 的使用，即使 GPU 正在運行程序，也能優先分配給執行效率高的任務，最大化CPU與GPU的運算資源。富士通已在多個平台上對此技術進行了驗證試驗。

關於「AI computing broker」

新開發的AI computing broker中介軟體整合了GPU 自動適應分配技術與AI處理最佳化技術，能自動識別並動態進行資源分配與最佳化。

與傳統的「以工作為單位分配」不同，富士通的 AI computing broker運用富士通長期累積的運算最佳化技術，動態地以GPU運算單位進行資源分配，提升GPU稼動率。該技術的 GPU 記憶體管理功能，讓用戶可以運行多個 AI 任務而無需擔心GPU 記憶體的使用量或實體容量的限制。

在發佈前的試驗中，富士通的AI computing broker展示了 GPU每單位時間處理性能最多提升至2.25倍。此外，其記憶體管理功能支持同時處理高達 150GB 的 AI 任務，約為實體 GPU 記憶體容量的五倍。

圖1：AI Computing Broker 的技術概述與驗證結果

未來計劃

展望未來，富士通將擴展 AI computing broker技術的應用範圍，包括在多伺服器安裝的多 GPU 環境中的實施，預計可在更大規模的運算環境中使用。富士通將繼續開發先進的運算技術，以應對 GPU 和能源短缺等挑戰，助力提升生產力與創造力的 AI，實現AI成為值得信賴的助手。

TRADOM 執行董事暨首席數據科學官 栢本 淳一 表示：

「我們公司專注於提供領先的 AI 解決方案來管理外匯風險。富士通 AI computing broker技術的試驗證明，其能顯著簡化 GPU 資源分配，高效化生成式AI模型所需的GPU運算資源，在更短時間內開發出顯著更準確的模型。我們將致力於運用這項技術並與富士通保持合作，積極擴展我們解決方案的供應範圍，推動 TRADOM 的增長以及金融科技行業的進步。」

SAKURA Internet / SAKURA Internet研究所所長 鷲北 賢 表示：

「透過此次AI Computing Broker的試驗，我們確認能在公司雲端業務中更高效地為客戶提供GPU運算資源，並能將日益普及的GPU技術擴展至更多客戶的應用。我們期待與富士通深入合作，全面整合這項技術，以滿足日益增長的 GPU 需求。」

AWL研發部門主管 藤村 浩司 表示：

「我們致力於開發和交付最前沿的 AI 攝影機解決方案，解決各類問題並最大化各種實體空間的價值，尤其是零售環境。滿足客戶高需求的同時，優化並降低 GPU 平行 AI 模型訓練的運行成本至關重要。透過此次試驗證明了富士通 AI computing broker在提升 GPU 利用率和 AI 處理效率方面的顯著能力。我們期待這項重要技術的進一步發展。」

Xtreme-D創辦人兼執行長 柴田 直樹 表示：

「祝賀富士通推出 AI Computing Broker。Xtreme-D 為 AI 和高效能運算 (HPC) 客戶提供 「Raplase」雲端服務。對我們客戶來說，優化昂貴的內部部署和裸機雲端環境中 GPU 的性價比是一個重大挑戰。我們深信富士通的 AI Computing Broker能有效解決這一難題，我們也正積極與富士通合作將這項解決方案整合到我們的客戶服務中。」

Morgenrot董事兼營運長 中村 昌道 與執行董事兼技術長 伊藤 寿 表示：

「我們公司憑藉創新的分散式方法，運用容器數據中心，正在重塑雲運算領域。我們致力於打造一個領先的運算資源共享經濟模式，以滿足對包括 GPU 在內的高級運算資源日益增長的需求。在與富士通 AI computing broker技術合作的試驗中，我們實現了 GPU 資源在多項任務間共享的能力，與在兩個 GPU 上依序執行任務相比，總執行時間顯著減少了近 10%。這種平行處理功能帶來了巨大的優勢，可以在有限資源內同時進行模型構建的長時間訓練和較短的推理/測試任務。我們對進一步探索富士通AI computing broker的應用感到興奮，期待將這一變革性技術整合到我們的產品組合中。」

相關連結

富士通對永續發展目標的承諾 (SDGs)

聯合國於2015年宣布永續發展目標（SDGs）， 作為2030年前，世界各國努力推動永續發展的指導方針。 而富士通的宗旨——"透過創新建立社會信任，使世界得以邁向永續。"
即是因應SDGs立下的承諾：富士通將致力實現永續發展目標，打造更美好的未來。

本案主要促進之永續發展目標


關於富士通（Fujitsu）

富士通的宗旨是透過創新建立社會信任，使世界得以邁向永續。作為 100 多個國家/地區客戶首選的數位轉型合作夥伴，我們的 124,000 名員工致力於解決人類面臨轉變與挑戰挑戰。我們一系列的服務和解決方案，主要利用五項關鍵技術：運算、網路、AI、數據和資安與其整合技術，我們融合運用上述五項關鍵技術以實現永續轉型。富士通有限公司（Fujitsu Limited, TSE：6702）公佈截至 2024 年 3 月 31 日的財年綜合收入為 3.7 兆日元（260 億美元），穩坐日本市佔第一的數位服務公司。了解更多信息： www.fujitsu.com.

聯繫窗口

台灣富士通行銷企劃處 戴郁芬
電話號碼: （02）2311-2255*5818
E-mail: infoTW@fujitsu.com


【本篇新聞為Fujitsu Limited 於2024/10/22 發布之新聞稿摘要】原文出處

此處提及的所有公司或產品名稱均為其各自所有者的商標或註冊商標。本新聞稿中提供的資訊在發佈時準確無誤，如有更改，恕不另行通知。