生成式AI技術的進步也突顯攻擊者濫用的問題。以影片和語音生成技術而言，如阿里巴巴的「EMO」已能自然地模擬人像唱歌，這些技術可能被用來製作深偽影片。儘管生成式AI有護欄機制防止生成不當內容，但攻擊者通過越獄方法或自行開發無限制的生成式AI服務，仍可繼續進行惡意活動。運用本地端LLM和加強身分驗證、提高對深偽技術的訓練和提高警惕性皆為企業可採取的因應對策。