智慧物聯網AIoT多元應用AI晶片 為臺廠帶來商機 AI資料中心架構變化 驅動臺灣供應鏈廠商升級產品規格
資通訊科技
瀏覽數:1916
發布日期:2024/04/18
(圖片為資策會MIC產業顧問鄭凱安)
 
資策會產業情報研究所(MIC)4/16-4/18舉辦第37屆MIC FORUM Spring《智賦》研討會,今(18)日聚焦AI系統發展,關注AI晶片應用與封裝技術、AI導入雲端與邊緣資料中心,以及Edge AIGC應用發展動態。AI晶片是AI運算的重要硬體基礎,然而資料中心運算以GPU為主,臺灣IC設計大廠可著力於智慧物聯網AIoT多元應用。產業顧問鄭凱安表示,AIoT的特色是應用多元化,其AI晶片為少量多樣的需求,然而缺乏規模化會造成開發成本提高,AIoT的AI晶片開發必須達到彈性客製化配置的能力。分析國內外案例,利用通用型晶片或小晶片彈性組合,形成類似客製化的配置,將可有效獲得規模生產的成本控制。
 
先進封裝在臺廠AI晶片開發扮演關鍵角色 可滿足功能整合或運算效能提升
 
資策會MIC產業顧問鄭凱安表示,針對臺廠在AIoT晶片的開發,要尋求規模化的成本控制,就必須重視以通用規格晶片彈性搭配滿足客製化規格,將晶片整合於載板上形成功能模組是一種便捷的作法,如成本允許,可運用先進封裝整合不同功能小晶片,達成更輕巧便攜的單一晶片封裝。利用先進封裝,幫助AIoT晶片藉由小晶片堆疊,滿足功能整合或運算效能提升;其中,記憶體的容量與頻寬對運算效能提升非常重要,除了透過CoWoS封裝將HBM與先進製程運算晶片結合,也有業者發展客製化DRAM與成熟製程Edge AI晶片堆疊的技術,可用於較低成本的AI解決方案。觀察下世代高階運算晶片,無論是電晶體元件的垂直堆疊或背面電軌的內連線結構,都需要精度達到10nm等級的晶片3D堆疊技術支持,成為先進封裝發展的重要機會與挑戰。
 
AI算力需求使雲端資料中心調整建置 臺灣供應鏈相關廠商升級產品規格
 
2024年四大雲端服務商資本支出將持續提升,主要支出於資料中心AI基礎建設。資策會MIC表示,AI算力需求急增驅動雲端資料中心部署架構產生變化,產業分析師陳牧風表示,運算、通訊與儲存等IT設備皆須調整,如AI伺服器需透過更緊密的方式進行叢集等;而基礎設施如直接、沉浸式液體冷卻導入,或不斷電系統(UPS)、配電裝置(PDU)與備援電池(BBU)都需要升級;營運則透過AI智慧化監控資料中心的運作,大幅提升運作效率。另外,邊緣資料中心可協助AI應用在接近資料源的位置進行資料處理,改善AI應用的執行,降低AI應用的延遲性、提升頻寬效率、保障資料安全、雲端斷線仍可確保運作,以及根據需求增加容量等。
 
展望AI資料中心市場商機,資策會MIC提出兩大趨勢。一、AI資料中心架構將促使不同類型臺灣廠商升級產品規格,主要影響AI伺服器,還有網通設備、儲存設備、散熱與基礎設施廠商。產業分析師陳牧風表示,臺系伺服器廠商由代工廠擴展為AI硬體解決方案提供商,在AI伺服器之外也對基礎設施進行布局;另外,液冷散熱系統也成為原氣冷散熱提供商、臺灣伺服器廠商,以及電源管理商共同切入的目標。二、如要使生成式AI應用運作最佳化,將需要AI訓練伺服器在雲端進行叢集來進行AI模型訓練,以及AI推論伺服器於邊緣端進行AI推論、微調,可大幅改善生成式AI應用的延遲性,預期將同步帶動高階AI訓練伺服器、AI推論伺服器的需求。
 
AIGC採用邊緣運算架構 兩大誘因:降低數據壅塞、資訊數位信任
 
資策會MIC表示,生成式AI仍在快速發展中,新興應用服務勢必帶動新一波數據處理需求的擴張,其中,邊緣正是生成式AI落地的要件。產業顧問施柏榮表示,組織與企業於生成式AI選擇採用邊緣運算主要有兩大誘因,一是「降低數據壅塞」,減少傳輸至雲端處理的數據量,以及降低雲端產生數據壅塞情況;二是「資訊數位信任」,適用資訊安全較為敏感的應用,且有利於使用者掌握數據。隨著企業客戶對數據資產的數據控制權意識興起,邊緣運算即成為關鍵的技術解決方案。
 
資策會MIC表示,Edge AIGC適用如科技型智慧財產、醫療診斷、企業營運等高機敏,且資料處理型態為必須應用資料生成者。Edge AIGC有極高的成長潛力,如理財助理、智慧車載、元宇宙、高沉浸遊戲等個人化應用,隨著數據語料庫更多元化,融合雲端、邊緣資源的邊緣雲最佳化設計將是關鍵。產業顧問施柏榮表示,Edge AIGC將為工業控制、資訊服務業者創造新商機,然而Edge AIGC服務提供商也須調整改變自身定位、服務提供模式等;而企業、組織若有意願導入,第一步必須先建構數據政策,並針對自身數據與數位資產進行分級、治理,建議由數據長或Level C人員做為企業推動引擎。
關鍵字: AI晶片 ; 先進封裝 ; AI資料中心 ; 雲端 ; 邊緣 ; 生成式AI