AI伺服器熱潮再起,平衡算力與電力成關鍵
資通訊科技
瀏覽數:1878
發布日期:2024/06/25
輝達(NVIDIA)AI年度盛會GTC今年3月在美國舉辦,創辦人黃仁勳公布多項科技新亮點,包括AI超級晶片、人形機器人、AI車載平台、AI工業應用與微影平台技術等,其中以目前最強的GPU運算架構Blackwell與新AI晶片B200最受矚目。
 
這一波AI伺服器的市場熱潮,發起者當屬黃仁勳分別在2023年GTC大會與Computex 2023的兩場演講,當初除輝達自己推出DGX系統產品,以及部分雲端服務商率先採購,大多數雲端服務商及伺服器品牌商都無法有充足的產品滿足市場需求,而且很多廠商當時對AI伺服器市場持觀望態度。但時隔一年,發現雲端服務商及託管營運商,甚至伺服器品牌商與GPU算力提供商對AI運算晶片上市都非常重視。
 
這些客戶競相加入AI伺服器市場,台灣伺服器產業鏈可望獲益,首先是雲端服務商客製化代工訂單,雲端服務商要導入輝達新架構晶片,需要更新伺服器產品規格,且當前AI模型訓練需要伺服器大量的叢集,形成類似超級電腦模式,這樣的架構設計需要雲端服務商、輝達與台灣伺服器代工廠密切合作。
 
再者是伺服器品牌商,其根據輝達新GPU產品推出新的伺服器規格,相關的台系代工廠同樣有接獲訂單的機會。另外,Dell與HPE等美系伺服器品牌商亦有超級電腦的解決方案,在輝達推出新晶片後,將針對此產品提供新一代方案,並同樣是由台廠代工生產。
 
伺服器自有品牌方面,台廠除將產品提供給雲端服務商,也以白牌或自有品牌方式布局較小型的雲端服務商或企業級客戶。這些客戶訂單的增加對我國產業鏈而言,產品接單內容除既有通用型伺服器訂單,AI伺服器更成為帶動營收成長的關鍵。因AI伺服器對AI算力要求高,瞬間需要處理高速度、大數量的資料運算,會產生高額用電量與熱能,若沒有搭配電源供應器、散熱解決方案,以及機櫃設計組裝等整合性能力,AI伺服器無法發揮完全的算力。
 
台灣產業鏈的業務型態已由純ODM模式轉變為提供整套解決方案的系統整合方式,甚至透過自有品牌方式協助客戶建造。為達成解決方案商的建置能力,台系伺服器廠商開始對液冷散熱系統、電源供應等相關基礎設施布建,尋求積極投資與合作的目標。
 
隨著AI應用蓬勃發展,AI資料中心建置加快速度。國際能源總署(IEA)今年發表「Electricity 2024」報告中提到,資料中心是許多地區電力需求成長的驅動力,也讓更新法規和技術改進對減緩資料中心能源消耗激增至關重要。不論從AI算力需求或電力效率供給等方面都很重要,產業或民眾使用生成式AI應用是時勢所趨,如何平衡以度、有效規劃是重要關鍵。
 
近期雲端服務商或電信商針對建置的資料中心持續優化能源使用效率,確保每一瓦電都盡可能用在AI運算。畢竟電力是驅動資料中心主要動力,提升電力使用效率可減少電力浪費與碳排放量。
 
使用雲端資料中心進行AI模型訓練,有助於台灣IT設備減少電力浪費與增加減碳貢獻。因為台灣個別企業的機房能源使用效率較差,若能鼓勵一般企業上雲,使用雲端資料中心的AI服務,企業可省去維運機房成本。而使用能源效率較佳的資料中心,省下的機房空調電力,在電力供應有限下,可用於填補AI運算所需電力,讓電力發揮出最高經濟產值。
 
在淨零碳排的環境共識下,大廠也利用AI技術發展低碳應用與雲端服務,期望最大化每度電的使用效益。針對發展AI造成的資料中心電力消耗議題,資料中心大廠Amazon、Microsoft與Google擴大布局綠電,並借助AI技術,發展內部能源管理系統與建構雲端服務平台,最大化每度電的使用效益。
 
在內部能源管理方面,Google以電網能源負載移轉做法,建立永續碳智慧運算平台,根據當地無碳能源可用性,舉凡太陽能或風力發電等,計算出最佳能源使用時段並將任務轉移給其他資料中心,增加無碳電力的使用。
 
外部雲端服務平台方面,雲端服務大廠分別推出整合AI技術的永續雲平台服務,提供使用者進行能源使用的數據監控與分析,除讓使用者端知悉資源使用狀況,更能促進調整能源使用規畫,在減少產業碳排時,也減少水資源與電力浪費。
 
(本文刊登於 2024/5/5 經濟日報A11版)
關鍵字: 生成式AI ; AI伺服器 ; AI算力 ; 電力 ; 液冷散熱