繼ChatGPT為生成式AI（Generative AI）帶動並形成新的AI熱潮後，生成式AI從同時集中於雲端從事訓練與推論服務，演變為「雲端訓練，企業端、邊緣端推論」的應用模式。影響所及，除各大廠持續推出用於生成式AI的專家型大語言模型（Large Language Model, LLM）外，AI評測機構MLPerf也首次訂立LLM推論評測標準，晶片、伺服器業者陸續推出企業端LLM產品，意味著生成式AI的邊緣應用競爭，即將白熱化。