知知識遊牧 AI 中心 /延伸教學素材

Multimodal AI × Finance

金融業 AI 多模態轉換應用案例

01 · Intro

金融業每天都在做「格式轉換」

多模態轉換,是讓 AI 在語音、文件、影像、影片、圖表與數據之間互相轉換。金融業每天產生大量「只能用看、用聽」的資訊,例如客服錄音、手寫申請書、理賠照片、法說會影片。把這些資訊轉成可檢索、可分析的文字與數據,或反過來把數據轉成客戶看得懂的圖表與語音,就是多模態 AI 最直接的價值。

讀懂:非結構轉結構

把語音、文件、影像、影片轉成可檢索的文字與欄位資料,取代人工抄錄與目視檢查。

例如客服通話摘要、醫療收據理賠、法說會重點擷取

說清楚:數據轉可感知

把數據與文字轉成圖表、語音、影片,讓客戶、主管與第一線人員更快理解。

例如資產健檢報告、語音晨報、保單條款圖解

即時互動:雙向往返

在對話或交易當下即時轉換與判斷,支援服務現場與風險攔阻。

例如臨櫃即時口譯、理專語音對練、深偽影音偵測

02 · Matrix

轉換矩陣:哪個方向最熱門?

左欄是輸入的資訊形式,上列是 AI 產出的形式。格內數字為案例數,顏色越深代表應用越集中。點格子或欄列標題,就能篩選下方案例。

目前範圍:全部業別

03 · Cases

案例總覽

點標題展開「應用情境、預期效益、治理重點」。可依業別、關鍵字與導入成熟度篩選。

04 · Governance

導入治理提醒

金管會於 2024 年 6 月 20 日發布「金融業運用 AI 指引」,以六大核心原則作為金融機構導入、使用及管理 AI 的參考。多模態應用大量處理錄音、影像與生物特徵,下表整理各原則在多模態場景中特別需要注意的地方。

核心原則多模態轉換的落實重點
建立治理及問責機制每一條轉換流程都要有業管負責人。AI 產出的摘要、報告、判讀結果,由人員確認並署名後才進入正式紀錄。
重視公平性及以人為本的價值觀語音辨識對台語、客語、口音與高齡者的準確度可能不同,須分群測試。辨識失敗時一定保留轉真人服務的管道。
保護隱私及客戶權益錄音、影像、病歷與人臉屬敏感個資。錄製前告知並取得同意,處理時遮罩不必要欄位,並訂定保存期限與存取權限。
確保系統穩健性與安全性影像與語音容易遭翻拍、修圖、深偽攻擊,須搭配活體偵測與流程控管。使用外部模型時,落實第三方業者的監督管理。
落實透明性與可解釋性合成語音、數位分身影片須揭露為 AI 生成。擷取出的數字與文字,應能回溯到原始影像、錄音的對應位置,方便覆核。
促進永續發展規劃員工轉型培訓,讓第一線人員從「鍵入資料」轉為「判讀與覆核資料」,同時評估運算資源的能源效率。

金管會另曾表示,金融機構不宜將生成式 AI 產出的資訊作為判斷或決策的唯一依據,應由人員就風險進行客觀且專業的最終判斷。監理規範請以主管機關最新公告及各業公會自律規範為準。