知知識遊牧 AI 中心 /延伸教學素材

Generative AI Security Incidents

生成式 AI 資安事件簿

深偽視訊會議騙走上億、工程師把原始碼貼進聊天機器人、Agent 把正式資料庫刪掉……這裡收的都是真實發生、有公開報導的事件。每一案拆成三件事:發生什麼、破口在哪、換成你要怎麼防。

它能做的事,就是你給的權限;它讀到的東西,都可能是指令;它不會自己停。— 小安(知識遊牧資安專員)

01 · Types

九種事件類型

點一個類型,下面的案例就只列那一類。再點一次取消。

02 · Timeline

事件越來越多,手法越來越像真的

2023 年多是「員工誤用」與「AI 亂講」;2024 年深偽詐騙成真;2025 年之後,主角換成會自己動手的 Agent 與 AI 工具的供應鏈;到了 2026 年,skill 市集、MCP 伺服器、AI 套件接連被投毒,深偽也開始用來破解刷臉驗證。點年份可以篩選。

一格是一件事件,顏色與圖示代表類型;點格子看那一案,點年份篩選下方案例。

03 · Quiz

考考你:這件事,破口在哪?

從事件簿隨機抽一案,只給你「發生什麼」。猜它屬於哪一類、或猜破口在哪,答完揭曉並可以直接看那一案。

04 · Cases

案例

紅底是「破口」,綠底是「怎麼防」。藍色上框是台灣案例,紅條是有公開金額的損失。點標題或「看完整案例」可以逐案翻閱;引用前請點進原始報導看原文。

05 · Defense

從這些事件學到的十條防線

不用懂技術也做得到的放前面,給導入 AI 的團隊與 IT 的放後面。

匯款、改帳號,一律走第二管道確認

視訊、語音、訊息都能造假。用你原本就有的電話號碼回撥,或問一個只有本人知道的問題。

對應:深偽詐騙

不要把機密貼進沒核准的 AI

原始碼、客戶名單、合約、會議紀錄,先問公司有沒有企業版或核准清單。

對應:員工誤用與資料外洩

AI 給的引用、數字、法條,一律查原文

它會編出看起來很真的判例和出處。對外文件、法律文件、顧問報告都要人工核對。

對應:幻覺與錯誤資訊

客服機器人說的話,公司要負責

上線前限定它能回答的範圍,涉及價格、退款、承諾的一律轉真人。

對應:幻覺與錯誤資訊、提示注入

看到驚人的圖和影片,先停三秒

找原始來源、看細節對不對得上。越像「隨手拍」越要小心。

對應:假圖假影像

AI 讀到的外部內容都可能是指令

信件、網頁、行事曆邀請、圖片、評論都能藏指令。讓 AI 讀外部資料時,不要同時給它寄信、轉帳、刪檔的權限。

對應:提示注入

Agent 的權限要最小、要有上限

正式環境與測試環境分開;刪除、付款、對外寄送一定要人按確認;設好花費與次數上限。

對應:Agent 越權與失控

AI 推薦的套件、外掛、skill,裝之前先查

確認套件真的存在、維護者是誰、下載量合不合理;鎖定版本,不要自動更新到剛發布的新版。

對應:供應鏈

AI 服務也是一般系統,也會有洞

預設帳密、公開的資料庫、外流的金鑰,這些老問題在 AI 產品上一樣會發生。選供應商時問清楚資料放哪、存多久。

對應:AI 服務自身漏洞

攻擊者也在用 AI,訓練要跟著更新

釣魚信不再有錯字、攻擊速度變快。資安訓練的範例要換成 AI 時代的版本,演練也要包含深偽。

對應:攻擊者拿 AI 當武器