01 · Intro
多模態轉換,是讓 AI 在語音、文件、影像、影片、圖表與數據之間互相轉換。金融業每天產生大量「只能用看、用聽」的資訊,例如客服錄音、手寫申請書、理賠照片、法說會影片。把這些資訊轉成可檢索、可分析的文字與數據,或反過來把數據轉成客戶看得懂的圖表與語音,就是多模態 AI 最直接的價值。
把語音、文件、影像、影片轉成可檢索的文字與欄位資料,取代人工抄錄與目視檢查。
例如客服通話摘要、醫療收據理賠、法說會重點擷取
把數據與文字轉成圖表、語音、影片,讓客戶、主管與第一線人員更快理解。
例如資產健檢報告、語音晨報、保單條款圖解
在對話或交易當下即時轉換與判斷,支援服務現場與風險攔阻。
例如臨櫃即時口譯、理專語音對練、深偽影音偵測
02 · Matrix
左欄是輸入的資訊形式,上列是 AI 產出的形式。格內數字為案例數,顏色越深代表應用越集中。點格子或欄列標題,就能篩選下方案例。
目前範圍:全部業別
03 · Cases
點標題展開「應用情境、預期效益、治理重點」。可依業別、關鍵字與導入成熟度篩選。
04 · Governance
金管會於 2024 年 6 月 20 日發布「金融業運用 AI 指引」,以六大核心原則作為金融機構導入、使用及管理 AI 的參考。多模態應用大量處理錄音、影像與生物特徵,下表整理各原則在多模態場景中特別需要注意的地方。
| 核心原則 | 多模態轉換的落實重點 |
|---|---|
| 建立治理及問責機制 | 每一條轉換流程都要有業管負責人。AI 產出的摘要、報告、判讀結果,由人員確認並署名後才進入正式紀錄。 |
| 重視公平性及以人為本的價值觀 | 語音辨識對台語、客語、口音與高齡者的準確度可能不同,須分群測試。辨識失敗時一定保留轉真人服務的管道。 |
| 保護隱私及客戶權益 | 錄音、影像、病歷與人臉屬敏感個資。錄製前告知並取得同意,處理時遮罩不必要欄位,並訂定保存期限與存取權限。 |
| 確保系統穩健性與安全性 | 影像與語音容易遭翻拍、修圖、深偽攻擊,須搭配活體偵測與流程控管。使用外部模型時,落實第三方業者的監督管理。 |
| 落實透明性與可解釋性 | 合成語音、數位分身影片須揭露為 AI 生成。擷取出的數字與文字,應能回溯到原始影像、錄音的對應位置,方便覆核。 |
| 促進永續發展 | 規劃員工轉型培訓,讓第一線人員從「鍵入資料」轉為「判讀與覆核資料」,同時評估運算資源的能源效率。 |
金管會另曾表示,金融機構不宜將生成式 AI 產出的資訊作為判斷或決策的唯一依據,應由人員就風險進行客觀且專業的最終判斷。監理規範請以主管機關最新公告及各業公會自律規範為準。