LLM與GenAI風潮下GPU Cloud存取技術發展動向
前言

近年來全球掀起LLM、GenAI應用熱潮,對此國際雲端大廠均重金訂購對AI運算具顯著加速效果的GPU晶片,在中短期內晶片供應難紓緩下,需求者開始考慮運用GPU Cloud服務來實現其AI應用,然GPU Cloud服務也存在多種存取技術,需求者須對技術仔細評估選擇。

目錄
    GPU Cloud服務興起背景
    本機端GPU Cloud存取技術
    傳統遠端GPU Cloud存取技術
    新興遠端GPU Cloud存取技術
    比較分析
    結論
    附錄
圖目錄
    圖一、2022年比特幣顯著下跌後挖礦服務商開始思考轉型
    圖二、有別於傳統買斷HPE GreenLake讓用戶以基本費搭配超用費使用伺服器
    圖三、裸機省去虛擬機器監控器、容器引擎可將更多資源及效能用於實質運算
    圖四、2024年COMPUTEX展上黃仁勳首度揭露NVIDIA推論微服務(NIM)
    圖五、無伺服器運算需執行時自動啟用執行後自動關閉幾無資源閒置浪費
表目錄
    表一、6種GPU Cloud存取技術比較表
推薦報告
  • 以上研究報告資料係經由MIC內部整理分析所得,並對外公告之研究成果, 由於產業倍速變動、資訊的不完整,及其他不確定之因素,並不保證上述報告於未來仍維持正確與完整, 引用時請注意發佈日期,及立論之假設或當時情境,如有修正、調整之必要,MIC將於日後研究報告中說明。 敬請參考MIC網站公告之最新結果。
  • 著作權所有,非經本會書面同意,不得翻印或轉讓。
  • BACK
    評論此篇報告
    您的評論已送出
    我們會竭誠盡快地回覆您。
    分享此篇報告
    Facebook
    Line
    複製連結
    登入
    正式會員第一次使用,請輸入會員編號/會員密碼/Email,系統會偵測第一次使用,註冊/認證之後,即可上線使用

    不是會員?

    邀請您申請免費試閱聯絡我們