生成式AI可根據訓練的資料產生「新內容」，包括文字、圖像、動態影像、音訊，甚至程式碼等。生成式AI隨著OpenAI在2022年發布ChatGPT後，近年受到市場關注，Google、輝達（NVIDIA）等企業也投入相關產品服務的研發，各種類型的新興的應用服務也大量出現，如何導入、採用生成式AI，成為企業推動數位轉型、商業模式升級的關鍵主題所在。
如何有效在組織之中導入生成式AI，並應用其帶來的潛力與效益，須觀察其基本的組成要件，大致可分為「數據」、「演算法」、「運算架構」三個部分。「數據」包括大規模數據語料庫等用以訓練的數據、資料；「演算法」意指對應的機器學習及深度學習演算法模型；「運算架構」則是支撐生成式AI運行的基礎運算架構。
生成式AI逐漸在各種場域應用，如何採取適宜的「運算架構」，成為生成式AI能否成功落地的關鍵議題；另外，2024年於國際研究協會與企業主持的討論之中，皆嘗試聚焦－如何以融合邊緣運算概念，探索生成式AI如何藉由邊緣運算進一步落地。
邊緣運算是相對於雲端運算所發展出來的一種運算架構概念，基礎內涵有二：首先，能將原先放置於雲端或部分雲端運算的服務，遷移至鄰近數據生成的位置，也就是更接近終端的設備與使用者；其次，嘗試在靠近數據生成的位置上，建置足以支持各種服務的運算、儲存的資源池。
邊緣運算相對雲端具有的優勢在於：較低的網路延遲率、運算資源的分散化，以致能在缺乏雲端的支持下，仍能提供不間斷性服務。邊緣運算也有運算資源層面的限制，無法提供中心化雲端運算架構所構築而成的運算效力，因此融合雲端、邊緣優勢的「邊緣雲」（Edge-Cloud Computing）運算架構型態是目前較主流的型態。換言之，此意味著大規模資料與預訓練模型仍由雲端負責，但是需要在邊緣的階層之中，部署輕量化模型，並進行微調，再進而在終端設備上開展出各種應用服務。
此種融合邊緣運算、多層分工的運算架構，最大優勢在於能實現「客戶導向」服務模式，客戶能掌握的程度也較高。一方面這是因此種運算架構型態可依不同情境來進行運算架構的設計外，這樣的型態也更符合「數位資產」的意識，更適用於資訊安全、機敏性質較高的應用。
企業營運過程中會產生多種不同類型的數據，其中不乏具有高機敏性的數據，包括：企業內部營運資料、客戶關係紀錄、商業信函、智慧財產，甚至是科學研發與實驗的數據等。當然，資料都能以中心化的雲端運算架構來進行處理，但企業營運的過程中，並非僅有技術、機制層面的思考（如資訊安全技術）。企業營運與決策的過程，也有許多非技術端的思考，如對於外在服務的「信任」，以及對於企業自身數據的「可見性」，尤其是企業對於與自身核心價值的「關鍵任務」的「可控制的心理」需求，尤其不可被忽視。
當前市場已整合邊緣運算的生成式AI服務案例有：契約與客戶關係文件、企業內部標準作業程序（SOP）、產品生命周期管理與生產流程規劃、重要產品研發資料分析與研發流程設計，以及產品建模與輔助設計等，多數具有高度機敏性，或涉及企業核心資產的關鍵任務，若要導入生成式AI技術，多半會採取具有相對封閉、可控制程度較高的邊緣運算概念，來開展其運算架構的型態。
企業內部導入生成式AI與相對應的運算架構，第一步驟是建立企業的數據政策，雖然融合邊緣運算概念的運算架構，能提供相對可控性高的環境，但企業在導入的過程必須留意四個可能的風險：一，雖在企業內部或封閉環境下進行，但須留意是否有侵犯內部員工、外部供應商的數據隱私的課題。二，在企業內部導入生成式AI也需要提供員工足夠的監督與培訓機制，並須考量是否指定具有專業知識的員工，以掌握生成式AI的使用方式與範圍。三，雖然應用生成式AI能為企業帶來發展效益，但企業應用的模型也可能導致意想不到後果，如偏見、群體迷思等可靠性問題。四，企業內部須制定明確的數據政策和規範，可在事故與風險發生之時進行究責。
整體而言，企業導入生成式AI，在數據資產意識驅動下，融合邊緣運算概念的運算架構，更適用內部「關鍵任務」數據情境，如企業內部業務的優化、商業智慧等，亦可將此過程視為是企業將數位資產「智慧化」的實踐。
（本文刊登於2024/9/8 經濟日報A11版）
【未經MIC許可，不得轉載與作其他用途使用】