這兩年我在某風控團隊里做反欺詐模型最大的感受是規(guī)則引擎還沒淘汰機器學(xué)習(xí)模型還在服役但大模型已經(jīng)不講武德地殺進來了。尤其是當欺詐手法從“群控腳本刷單”進化到“AI偽造證件、深度合成語音、話術(shù)誘導(dǎo)”之后傳統(tǒng)風控模型越來越吃力。我所在的團隊在過去的半年里做了一個內(nèi)部代號叫“反欺詐鷹眼”的試點項目核心思路就是用大模型重新搭一條反欺詐研判鏈路實際效果確實是肉眼可見的突破。這篇東西不是學(xué)術(shù)論文就是我們項目落地時的真實復(fù)盤。我會把整體設(shè)計、數(shù)據(jù)準備、模型選型、微調(diào)實操、上線部署以及踩過的坑全部拆開講。如果你正在做風控、反欺詐、用戶異常行為識別這類工作或者你是算法工程師、數(shù)據(jù)產(chǎn)品經(jīng)理甚至是對大模型落地感興趣的業(yè)務(wù)方這篇復(fù)盤應(yīng)該都能對得上你的需求。放心我不會堆概念能白嫖的代碼和配置我都貼出來。1. 先理思路大模型反欺詐不是把系統(tǒng)推倒重來1.1 反欺詐問題的本質(zhì)到底是什么做反欺詐這么多年我越來越覺得這個問題本質(zhì)上是在和一群人對抗。黑產(chǎn)從業(yè)者不是靜態(tài)的他們有一套完整的產(chǎn)業(yè)鏈養(yǎng)號、引流、分發(fā)、變現(xiàn)。你封一批號他換一套設(shè)備指紋再來你識別出了一種話術(shù)他立刻改個說法繼續(xù)試探。傳統(tǒng)反欺詐體系通常分三層。第一層是規(guī)則引擎比如“新注冊賬號當天高頻下單”“同一設(shè)備關(guān)聯(lián)超過五個賬號”這類規(guī)則簡單直接但隱蔽性差一點的黑產(chǎn)早就學(xué)會了規(guī)避。第二層是機器學(xué)習(xí)模型像GBDT、XGBoost這種在表格型特征上表現(xiàn)很好但它的天花板是“特征決定上限”。第三層才是近幾年興起的深度模型、圖神經(jīng)網(wǎng)絡(luò)和大模型。問題出在哪兒呢黑產(chǎn)的話術(shù)、圖片、視頻、認知策略都是非結(jié)構(gòu)化的。一條客服申訴工單里可能寫著“我是代購幫朋友買了不少東西為什么封我號”和真正的黑產(chǎn)話術(shù)“我這是正常購買你們亂封號我要投訴”在字面上差別極小但語義意圖完全不同。傳統(tǒng)模型只看特征統(tǒng)計量根本捕捉不到這種語義差異。大模型擅長的恰恰是這個——理解上下文、理解意圖、理解隱含的語義關(guān)聯(lián)。所以我們的核心判斷是反欺詐系統(tǒng)不應(yīng)該推倒重來而應(yīng)該把大模型嵌入到原有體系中去解決那些“語義研判”類的問題。1.2 大模型到底補了哪塊短板傳統(tǒng)反欺詐模型有三個公認的短板第一是冷啟動。新上線的業(yè)務(wù)、新出現(xiàn)的欺詐模式幾乎沒有歷史標簽傳統(tǒng)模型直接抓瞎。而大模型憑借通用知識預(yù)訓(xùn)練過的語義理解能力能對“從沒見過的新型話術(shù)”做出一定判斷這叫零樣本或少樣本學(xué)習(xí)能力。第二是長文本和跨模態(tài)。欺詐證據(jù)往往藏在哪里藏在申訴文本、客服對話、手機截圖、合同掃描件、語音記錄里。這不是一兩列數(shù)值特征能表達的需要模型有處理多模態(tài)、長上下文的能力。第三是可解釋性。傳統(tǒng)機器學(xué)習(xí)模型尤其是樹模型雖然能輸出特征重要性但業(yè)務(wù)方追問“為什么這個賬號是欺詐”時你只能說“因為設(shè)備號關(guān)聯(lián)度高”。大模型能生成自然語言的研判理由這個輸出直接就能給審核團隊用。當然大模型不是萬能的。它的推理延遲高、單次調(diào)用成本貴、偶爾還會出現(xiàn)幻覺。如果把全量交易請求都丟給大模型線上系統(tǒng)會直接被打爆。所以方案的選型原則是各干各擅長的活大模型只處理它值得處理的那部分流量。1.3 混合架構(gòu)規(guī)則引擎、傳統(tǒng)模型和大模型的三級協(xié)同我們最終落地的是“三級漏斗式”的混合架構(gòu)這條鏈路現(xiàn)在已經(jīng)穩(wěn)定運行了幾個月。第一級是規(guī)則引擎和名單庫負責攔截那些“特征已經(jīng)明確”的已知風險比如命中黑名單、設(shè)備指紋關(guān)聯(lián)多個異常賬號、短時間頻繁操作。這一級的攔截率大概占了整條鏈路的70%左右速度快、成本低。第二級是傳統(tǒng)機器學(xué)習(xí)模型處理那些規(guī)則沒有覆蓋到、但特征維度上能看出異常的場景比如交易行為偏離用戶歷史行為習(xí)慣。這里我保留了一個基于梯度提升樹和神經(jīng)網(wǎng)絡(luò)的雙通道模型線上大概能再攔掉一部分風險。第三級才是大模型研判只處理前兩級放行的高價值案件以及需要語義理解的場景。比如高風險申訴工單、疑似團伙欺詐的群聊對話、OCR識別出的合同時刻、客服和用戶之間的多輪溝通記錄。大模型會輸出一個風險評分、風險類型和研判理由。這套架構(gòu)的好處在于既保證了大流量的低延遲高吞吐又把大模型的智力和語義理解用在了刀刃上。一句話總結(jié)就是——讓大模型做“分析師”別讓它當“門衛(wèi)”。2. 數(shù)據(jù)與特征工程決定上限的臟活累活2.1 反欺詐標簽的構(gòu)造思路大模型落地反欺詐第一個繞不開的問題是數(shù)據(jù)。風控領(lǐng)域最大的痛點是黑樣本極少正負樣本極端不平衡。你說欺詐率是萬分之幾那都是樂觀的。我們的方案是把傳統(tǒng)有監(jiān)督學(xué)習(xí)和大模型的訓(xùn)練目標分開來看。傳統(tǒng)模型那邊我用的是歷史上有明確結(jié)論的樣本經(jīng)過人工審核坐實欺詐的賬號加上明確無風險的正常賬號做一個二分類。大模型那邊我換了一種思路。不直接訓(xùn)練“欺詐/正?！钡亩诸惼鞫怯靡粋€“語義研判任務(wù)”來訓(xùn)練。什么意思呢我把樣本組織成“案件描述提問”的形式讓模型輸出針對性的研判結(jié)論。比如輸入一段申訴工單問題上寫著“該用戶是否存在惡意申訴或身份偽造的可能請結(jié)合上下文輸出風險等級和判斷理由”。這樣模型輸出的不是簡單標簽而是結(jié)構(gòu)化的風險評估文本。另外負樣本不能只看沒被標記為欺詐的樣本因為很多未被識別的欺詐就藏在里面。我加了一個半監(jiān)督的步驟先用規(guī)則和傳統(tǒng)模型跑一遍大盤數(shù)據(jù)把高概率異常但沒有實錘的樣本標為“疑似風險”作為大模型訓(xùn)練用的候選負樣本再通過人工抽樣復(fù)核來校正。這一步雖然費時但能明顯緩解冷啟動問題。2.2 文本類特征申訴工單、客服對話、備注文本文本數(shù)據(jù)是這次項目里增量收益最大的部分。我大概梳理了一下反欺詐場景里天然存在幾類高價值文本用戶申訴工單與客服對話記錄。這是最直接的用戶自述里面有大量關(guān)于“我是誰”“我做了什么”“我為什么被限制”的描述。交易備注和留言。電商場景里經(jīng)常有“幫忙代付”“刷信譽”“線下返款”這類包含異常暗示的文本。商品或店鋪描述。團伙欺詐常會在商品標題里嵌入暗語比如“資源號”“一拖三”這類黑話。合同、協(xié)議、證明材料的OCR識別文本主要在信貸和供應(yīng)鏈金融場景。這些文本有些是短文本有些是長文本。我的建議是不要只做截斷長文本要分段后再聚合或者用支持長上下文的模型來處理。我們最后踩了好幾個坑才明白直接把兩千字的申訴工單全部塞給模型做截斷分分鐘就把關(guān)鍵信息截沒了。2.3 行為序列與多模態(tài)特征只有文本還不夠。黑產(chǎn)行為往往體現(xiàn)在序列上賬號在一天內(nèi)注冊、綁卡、下單、申請退款整個過程時間軸高度壓縮或者一個設(shè)備在凌晨三點突然開始大量操作。我在數(shù)據(jù)側(cè)的特征工程分成了四類設(shè)備指紋類設(shè)備ID、IP歸屬地、系統(tǒng)版本、屏幕分辨率、傳感器信息。行為統(tǒng)計類頻率、間隔、時段偏好、操作路徑的復(fù)雜度。關(guān)聯(lián)關(guān)系類與高風險賬號的共同設(shè)備、共同IP、共同收貨地址、共同手機號。內(nèi)容理解類文本向量、圖像相似度、語音情緒特征。其中內(nèi)容理解類特征就是給大模型用的。對于OCR文本和語音轉(zhuǎn)寫文本我直接用文本編碼器做向量化對于行為軌跡我把它序列化成類似“事件流的文字描述”再扔給大模型做行為序列的語義理解。舉個例子一條事件流可以表示成[賬號A] 2024-11-20 14:03:21 首次登錄設(shè)備D [賬號A] 2024-11-20 14:05:44 修改綁定手機號 [賬號A] 2024-11-20 14:06:12 添加新銀行卡 [賬號A] 2024-11-20 14:07:38 發(fā)起首筆大額轉(zhuǎn)賬這種事件序列轉(zhuǎn)成自然語言之后大模型能比傳統(tǒng)特征工程更敏銳地捕捉到“時間高度壓縮”和“多個異常動作連續(xù)發(fā)生”的語義模式。這一步是我從日志分析中得到的靈感效果出奇的好。2.4 數(shù)據(jù)清洗與隱私合規(guī)的幾個注意點反欺詐數(shù)據(jù)涉及大量用戶隱私這個紅線碰不得。我這邊做數(shù)據(jù)清洗時定了幾個硬規(guī)矩手機號、身份證號、銀行卡號等敏感字段在建模前做脫敏和匿名化用哈希映射替代。文本數(shù)據(jù)要過一遍隱私識別把可能包含地址、姓名、聯(lián)系方式的內(nèi)容打碼后再送入模型訓(xùn)練。模型產(chǎn)出的研判理由不能包含原始敏感信息只允許輸出風險標簽和抽象化描述。合規(guī)不是技術(shù)問題是生存問題。模型效果再好一旦在數(shù)據(jù)處理環(huán)節(jié)出了差錯整個項目都會被叫停。3. 模型選型與落地實操從通用大模型到風控研判模型3.1 基座模型怎么選通用模型還是領(lǐng)域模型做這一步時我們先盤點了市面上可用的基座模型。當時的想法是與其從零訓(xùn)練一個風控大模型不如基于開源的通用中文大模型做領(lǐng)域微調(diào)成本可控、落地周期短。選基座時重點看幾個維度中文語義理解能力尤其是對口語化、不規(guī)范文本錯別字、火星文、諧音字的容忍度。上下文窗口長度至少要能容納完整的申訴工單和對話序列。支持的能力范圍包括文本分類、實體抽取、文本生成、文本向量化。開源社區(qū)活躍度遇到問題能不能快速找到解決方案。我們初期對比了兩類基座一類是參數(shù)量相對較小的通用模型速度快、部署成本低但復(fù)雜語義理解稍微弱一點另一類是規(guī)模更大的通用模型效果更好但對顯存和推理延遲壓力很大。最終在兩個場景上用了不同的策略線上高并發(fā)推理場景用中小尺寸模型離線復(fù)雜研判場景用大尺寸模型。這里明確一下不完全是為了省成本而是反欺詐鏈路里確實存在兩種不同節(jié)奏的任務(wù)。高并發(fā)的場景更看重響應(yīng)時間復(fù)雜研判的場景更看重推理效果分而治之才是合理的。3.2 繼續(xù)預(yù)訓(xùn)練讓模型真正懂反欺詐黑話微調(diào)之前我建議你做一步繼續(xù)預(yù)訓(xùn)練。這一步不是必選項但做了之后模型對業(yè)務(wù)領(lǐng)域詞匯的敏感度會提升很多。什么叫領(lǐng)域黑話比如在電商風控里“跑單”可能不是外賣跑腿而是指訂單異常流失“白號”是指沒有任何交易記錄的新賬號“養(yǎng)號”是指黑產(chǎn)通過模擬正常行為來提升賬號權(quán)重。通用模型沒見過這些詞在風控語境下的真實用法。我們的做法是收集了脫敏后的歷史工單、客服對話、風控規(guī)則描述、風險案例報告大概攢了幾千萬條領(lǐng)域語料然后對基座模型做了多輪繼續(xù)預(yù)訓(xùn)練。這個階段不調(diào)整任務(wù)頭只是讓模型在長文本上下文中充分“浸泡”領(lǐng)域數(shù)據(jù)讓它的詞向量表征更貼近業(yè)務(wù)實際。這步做完之后我們做了個很直觀的測試把同一段包含黑話的申訴工單分別送給繼續(xù)預(yù)訓(xùn)練前后的模型問它“用戶是否存在異常操作”前一個模型的回答比較泛泛后一個模型的回答明顯能聚焦到“代付”“刷單”這些具體行為上。差距非常明顯。3.3 微調(diào)策略指令微調(diào)與偏好對齊繼續(xù)預(yù)訓(xùn)練之后進入微調(diào)階段。這個階段的核心不是讓模型死記硬背標簽而是讓模型學(xué)會“怎么按照風控分析師的方式思考”。我用的是指令微調(diào)加偏好對齊的組合方案。指令微調(diào)階段我把歷史風險研判案例整理成結(jié)構(gòu)化的指令數(shù)據(jù)。每條數(shù)據(jù)包括指令instruction描述任務(wù)是什么比如“請判斷該賬號是否存在團伙欺詐特征”。輸入input案件上下文包括申訴文本、行為序列、設(shè)備信息等。輸出output標準化的研判結(jié)論包含風險等級、風險類型、一句話理由。光有指令微調(diào)還不夠因為指令微調(diào)能學(xué)會“怎么說”但不一定能學(xué)會“怎么說得對”。我又用偏好對齊的方式進一步校準讓模型在“說得合理”和“說得準確”之間找到平衡。具體做法是構(gòu)建偏好對對同一個案件準備一個優(yōu)秀研判回答和一個普通研判回答然后讓模型學(xué)習(xí)選擇優(yōu)秀回答。這個過程的本質(zhì)是把風控專家?guī)资甑慕?jīng)驗“蒸餾”到模型偏好里。這一步做完后模型輸出明顯更克制不再動不動就給高風險因為偏好數(shù)據(jù)里有大量“這個案例不能輕易判定”的正確示例。3.4 核心代碼基于開源框架的微調(diào)流程為了方便你參考我把微調(diào)的整個流程壓縮成一個最簡可運行的結(jié)構(gòu)。這只是骨架實際業(yè)務(wù)中還需要補充分布式配置和數(shù)據(jù)處理細節(jié)。# 主流程示例指令微調(diào) from transformers import AutoModel, AutoTokenizer, Trainer, TrainingArguments from datasets import Dataset model_name your-base-model tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModel.from_pretrained(model_name) # 構(gòu)造指令數(shù)據(jù) samples [ { instruction: 請判斷該賬號是否存在團伙欺詐特征并輸出風險等級。, input: 用戶申訴我是代購經(jīng)常幫朋友買日用品近期賬號被限制。行為序列注冊后72小時內(nèi)在多臺設(shè)備上登錄。, output: 風險等級中風險。風險類型設(shè)備聚集。理由賬號短期內(nèi)關(guān)聯(lián)多臺設(shè)備但用戶自述為代購需進一步核驗。, }, # ... 更多樣本 ] def preprocess(example): prompt f指令{example[instruction]}\n輸入{example[input]}\n輸出 enc tokenizer(prompt, truncationTrue, max_length1024) target tokenizer(example[output], truncationTrue, max_length256) enc[labels] target[input_ids] return enc dataset Dataset.from_list(samples).map(preprocess) training_args TrainingArguments( output_dir./fraud_llm_ckpt, per_device_train_batch_size4, gradient_accumulation_steps8, learning_rate2e-5, num_train_epochs3, fp16True, ) trainer Trainer( modelmodel, argstraining_args, train_datasetdataset, ) trainer.train()注意幾個點max_length要根據(jù)你的顯存調(diào)整。我之前在一張消費級顯卡上跑小模型時設(shè)了1024再大會顯存溢出。指令數(shù)據(jù)的“輸入”部分必須保證脫敏這是合規(guī)紅線。如果業(yè)務(wù)場景里有大量結(jié)構(gòu)化特征不要硬塞進文本而是先做一個特征摘要再拼接效果更好。3.5 效果評估不能只看準確率模型微調(diào)完之后評估是最容易被忽視但又最重要的環(huán)節(jié)。反欺詐場景里我強烈建議不要只看準確率因為樣本極度不平衡的情況下把所有樣本都判成正常準確率也有99%以上但這毫無意義。我更關(guān)注這幾個指標召回率Recall真正欺詐案件里模型能抓出來多少。精確率Precision模型標記為高風險的案件里有多少是真正的欺詐。F1分數(shù)平衡精確率和召回率的綜合指標。KS值或AUC衡量模型把正負樣本區(qū)分開的能力。誤殺率正常用戶被誤判為高風險的比例這個直接關(guān)系到用戶體驗和客訴量。我們的目標設(shè)定是高風險案件的召回率不低于70%同時誤殺率控制在0.5%以下。如果只能抓出高風險但誤殺一堆正常用戶那業(yè)務(wù)方是不會買單的。評估集也要認真建。我特意留了一批“時間上靠后”的樣本做測試模擬模型上線的效果。因為欺詐手法一直在變用歷史數(shù)據(jù)評估出來的分數(shù)往往比實際效果樂觀。4. 上線部署與推理優(yōu)化讓大模型跑得又快又便宜4.1 大小模型協(xié)同的推理鏈路模型訓(xùn)完只是第一步上線才是生死關(guān)。我前面提過大模型不能處理全量流量所以線上鏈路的編排很關(guān)鍵。我們的線上流程大概是這樣的請求進來先過規(guī)則引擎規(guī)則命中直接拒絕或放行未命中的請求進入傳統(tǒng)機器學(xué)習(xí)模型輸出一個風險概率模型概率落在某個灰色區(qū)間比如0.4到0.8之間的案件才被送入大模型做深度研判大模型輸出的結(jié)果再疊加規(guī)則校驗最終給出決策。這個灰色區(qū)間的設(shè)定直接決定了大模型的流量比例。我最初把區(qū)間設(shè)得偏寬結(jié)果大模型每天要處理十幾萬次推理請求GPU集群直接過載。后來通過調(diào)整閾值把大模型的流量壓到總流量的5%以內(nèi)既保住了效果又保住了成本。用一張表格表達不同層級的分工會更清晰層級處理對象核心算法目標流量占比第一級全量請求規(guī)則引擎、名單庫快速攔截明確風險70%以上第二級規(guī)則未命中傳統(tǒng)機器學(xué)習(xí)模型識別行為異常20%-25%第三級灰色區(qū)間案件大模型研判語義理解、小樣本推理3%-5%4.2 推理延遲優(yōu)化量化、蒸餾和緩存大模型上線之后大家最關(guān)心的永遠是延遲。我們這邊的目標是大模型單次推理壓到500毫秒以內(nèi)復(fù)雜案件可以放寬到3秒。幾個親測有效的優(yōu)化手段半精度推理把模型參數(shù)從FP32轉(zhuǎn)到FP16顯存占用幾乎減半速度提升近一倍。精度損失在可接受范圍內(nèi)。模型量化使用INT8量化和結(jié)構(gòu)化剪枝在效果輕微下降的前提下大幅壓縮模型體積。這一步要看具體業(yè)務(wù)對精度的容忍度我的經(jīng)驗是風控場景里INT8量化后的效果差異很小。推理服務(wù)緩存對重復(fù)出現(xiàn)的案件文本做語義哈希命中緩存直接返回歷史結(jié)論。團伙欺詐的文案經(jīng)常高度相似這個優(yōu)化能砍掉不少重復(fù)計算。請求級別并行同一個案件里的多個子任務(wù)并行推理比如同時做文本分類、實體抽取和摘要生成把串行改并行端到端延遲能降一個量級。還要強調(diào)一點模型服務(wù)一定要和線上主鏈路解耦。如果大模型服務(wù)抖動或者GPU故障不能影響主交易鏈路。我的做法是在大模型前面加了一層降級開關(guān)一旦大模型超時或異常案件自動降級到傳統(tǒng)模型的決策結(jié)果。保底邏輯必須時刻在線這是風控系統(tǒng)的基本素養(yǎng)。4.3 監(jiān)控與反饋閉環(huán)對抗黑產(chǎn)也得自我進化反欺詐模型上線不是終點而是起點。因為黑產(chǎn)在持續(xù)進化模型的效果會隨時間衰減。我搭了一個完整的監(jiān)控與反饋閉環(huán)。第一層是數(shù)據(jù)監(jiān)控實時觀察大模型服務(wù)的流量、延遲、顯存、CPU占用。第二層是效果監(jiān)控每天統(tǒng)計高風險案件的人工復(fù)核結(jié)果和大模型的預(yù)測是否一致兩者不一致的案例進入次日重訓(xùn)候選池。第三層是業(yè)務(wù)指標監(jiān)控關(guān)注誤殺率、客訴率、人工復(fù)核通過率。這些指標一旦出現(xiàn)異常波動立刻觸發(fā)告警。第四層是自動重訓(xùn)機制每天把新增的坐實欺詐樣本和誤殺樣本回灌到訓(xùn)練集每周做一次增量微調(diào)每個月做一次全量重訓(xùn)。這個閉環(huán)跑起來之后模型效果不是越用越差而是越用越準。我們上線頭一個月模型在新增欺詐樣本上的召回率還不到60%第二個月就穩(wěn)步爬升到70%以上。4.4 可解釋性模型判了得讓人看得懂大模型在風控里推不開最大的阻力不是效果而是可解釋性。業(yè)務(wù)審核團隊和合規(guī)部門都會問“你說它是團伙欺詐憑什么”所以我從一開始就把“模型輸出研判理由”作為硬性要求。我們讓大模型在給出風險等級的同時一定要輸出結(jié)構(gòu)化的理由包括風險因素是什么、哪些行為序列支撐了判斷、和已知風險模式的相似度有多高。實際效果是審核團隊拿到輸出之后不再需要自己從頭看原始工單效率提升明顯。而且因為理由是可讀的自然語言業(yè)務(wù)方對大模型的信任度也在逐步提升。當然大模型生成的理由偶爾也會出現(xiàn)一本正經(jīng)地胡說八道所以我沒有完全讓它自由發(fā)揮。我把輸出格式死死約束住要求它先輸出“命中特征”再輸出“研判依據(jù)”最后輸出“風險結(jié)論”格式不對就重試一次。幾次調(diào)優(yōu)下來輸出質(zhì)量穩(wěn)定了很多。5. 常見問題與排障實錄那些年我們踩過的坑5.1 問題一小樣本場景下通用大模型也學(xué)不動一開始我們天真地以為通用大模型有一點語義理解能力就能直接上。結(jié)果在某個細分業(yè)務(wù)線上能用的坐實欺詐樣本只有幾百條微調(diào)出來的模型怎么測都過不了及格線。排查下來發(fā)現(xiàn)問題不在微調(diào)方法而在樣本本身。幾百條樣本根本覆蓋不了欺詐手法的多樣性模型記住了這幾條樣本的“表面模式”遇到變體就抓瞎。我的解法是用“兩階段訓(xùn)練法”先用規(guī)則引擎和歷史異常日志構(gòu)造海量“疑似樣本”模型在這些弱標簽上做預(yù)訓(xùn)練這一步是讓模型建立業(yè)務(wù)感知第二階段用少量高置信坐實樣本做精調(diào)讓模型學(xué)習(xí)精確決策邊界。這個組合比直接用小樣本硬訓(xùn)效果好了不止一個檔次。5.2 問題二大模型輸出“幻覺式理由”把正常用戶判成高風險這是上線初期的重災(zāi)區(qū)。明明一個老用戶正常買了幾件商品在途的物流信息正常結(jié)果大模型給出的理由是“用戶行為序列與歷史習(xí)慣不一致存在盜號可能”直接把用戶限額降了。問題出在我一開始給模型的指令里沒有明確告訴它“證據(jù)不夠充分時應(yīng)該輸出低風險”。模型為了完成指令傾向于輸出一段看起來合理的理由哪怕證據(jù)不足也會硬湊。這個問題靠的是偏好對齊解決的同時我在推理鏈路里加了一個“置信度校準”模塊如果模型生成的理由里沒有出現(xiàn)明確命中特征就強制降級為低風險。另外從業(yè)務(wù)層面我也把高風險的定義收斂了一把讓模型在“不確定”和“高風險”之間有一個清晰的安全區(qū)。5.3 問題三新欺詐手法出現(xiàn)時模型還是反應(yīng)慢半拍模型再強也追不上黑產(chǎn)的進化速度這是客觀規(guī)律。有一次我們發(fā)現(xiàn)某個新的欺詐團伙在短時間內(nèi)薅走了大量新客權(quán)益等到標注樣本積累出來損失已經(jīng)不可逆了。后來我建立了一個“新手法快速感知”機制把異常事件聚類結(jié)果、最新客訴文本、黑產(chǎn)短信模板等非結(jié)構(gòu)化信息每天自動跑一遍大模型的零樣本研判輸出的疑似案例直接推送給人工復(fù)核團隊。這樣從“新手法出現(xiàn)”到“模型介入攔截”的時間窗口從平均兩周縮短到48小時以內(nèi)。這個機制的本質(zhì)是讓大模型扮演“偵察兵”而不是等標簽夠了才被動反應(yīng)。5.4 問題排查速查表我還整理了一份高頻問題排查表直接對應(yīng)到癥狀、原因和解決方案大家可以按圖索驥癥狀可能原因解決辦法大模型誤殺率高指令不夠清晰、偏好對齊不足增加“證據(jù)不足判低風險”的偏好對推理延遲過高模型過大、未做量化切小模型、INT8量化、請求并行文本被截斷導(dǎo)致關(guān)鍵信息丟失上下文長度設(shè)置太短分段處理并做關(guān)鍵片段摘要新欺詐手法識別滯后缺乏新樣本感知鏈路建立零樣本研判人工復(fù)核快速閉環(huán)模型輸出格式混亂指令約束弱強制結(jié)構(gòu)化輸出模板并做失敗重試6. 經(jīng)驗沉淀三個我認為最值錢的心法多輪迭代下來我最大的體會是大模型不是魔法它是一個放大器。你喂給它的數(shù)據(jù)質(zhì)量高、指令設(shè)計得好、業(yè)務(wù)鏈路理得清它的效果會爆發(fā)式增長反過來數(shù)據(jù)一團糟、指令模棱兩可、業(yè)務(wù)邏輯混亂它也就比傳統(tǒng)模型強一點點。第一個心法是把“大模型賦能”落到非常具體的問題上。不要只說“用大模型做反欺詐”要落到“用大模型做申訴工單的語義研判”“用大模型做新欺詐手法的零樣本初篩”“用大模型生成人工可讀的研判理由”。問題定義得越具體落地概率越高。第二個心法是永遠留一條降級路徑。大模型再強也是模型它可能因為數(shù)據(jù)突變、服務(wù)異常、甚至是惡意攻擊而產(chǎn)生錯誤決策。反欺詐系統(tǒng)永遠要有保底手段寧可保守也不能讓系統(tǒng)整個趴窩。最后再分享一個小技巧。我們在做模型迭代時每次改完模型都會做“對抗性回放”把過去半年里誤判的案例、黑產(chǎn)新變體案例全部收集起來重新跑一遍新模型看它的決策變化。這一步能提前發(fā)現(xiàn)模型在新場景下的不適應(yīng)不用等到上線后被業(yè)務(wù)方追著罵才發(fā)現(xiàn)。大模型賦能反欺詐這條路目前還處在早期階段很多坑都是自己摸出來的。如果你正準備做類似的事希望這篇復(fù)盤能讓你少走點彎路。