1. 從零開始大模型訓(xùn)練的整體流程圖景大模型訓(xùn)練是過去幾年我對(duì)深度學(xué)習(xí)認(rèn)知被顛覆最徹底的一件事。早些年做 CV 或者傳統(tǒng) NLP 模型訓(xùn)練流程大體是收集數(shù)據(jù) - 清洗 - 打標(biāo)簽 - 訓(xùn)練 - 調(diào)參 - 評(píng)估一個(gè)小的團(tuán)隊(duì)甚至一個(gè)人就能搞定。但到了大模型時(shí)代事情完全變了數(shù)據(jù)規(guī)模從 GB 級(jí)跳到 TB 級(jí)模型參數(shù)從百萬級(jí)跳到千億級(jí)分布式訓(xùn)練從加分項(xiàng)變成了必選項(xiàng)甚至訓(xùn)練本身也從一個(gè)單純的技術(shù)問題變成了一個(gè)涉及工程、算法、數(shù)據(jù)、算力管理的復(fù)合問題。我見過不少第一次接觸大模型訓(xùn)練的人一上來就盯著某個(gè) Loss 曲線或者某篇論文的模型架構(gòu)結(jié)果折騰了很久模型就是不收斂或者收斂了但效果遠(yuǎn)不如預(yù)期。根本原因往往不是某個(gè)環(huán)節(jié)做錯(cuò)了而是對(duì)整個(gè)訓(xùn)練流程缺乏全局認(rèn)知。大模型訓(xùn)練本質(zhì)是一條完整流水線任何一個(gè)環(huán)節(jié)掉鏈子后續(xù)所有工作都白費(fèi)。這篇文章我想從一個(gè)踩過不少坑的從業(yè)者的角度把大模型訓(xùn)練的完整流程拆開講清楚。從業(yè)務(wù)目標(biāo)定義、數(shù)據(jù)工程到預(yù)訓(xùn)練、后訓(xùn)練、對(duì)齊再到評(píng)估和部署盡量把每個(gè)環(huán)節(jié)中為什么要這樣做、常見坑在哪里、我自己會(huì)怎么操作都講明白。無論你是正準(zhǔn)備入行大模型方向的學(xué)生、剛接手大模型訓(xùn)練任務(wù)的工程師還是需要在團(tuán)隊(duì)中統(tǒng)籌訓(xùn)練項(xiàng)目的技術(shù)負(fù)責(zé)人這篇文章應(yīng)該都能給你一個(gè)相對(duì)完整的參考框架。先給一個(gè)整體視圖。大模型訓(xùn)練流程通常分為以下幾個(gè)大的階段需求與可行性分析搞清楚要訓(xùn)練什么樣的模型、解決什么問題、有多少資源預(yù)算。數(shù)據(jù)工程包括數(shù)據(jù)采集、清洗、去重、配比、格式化這一階段往往被低估但影響巨大。預(yù)訓(xùn)練Pre-training在大規(guī)模無標(biāo)注數(shù)據(jù)上進(jìn)行自監(jiān)督學(xué)習(xí)讓模型獲得語言理解和生成的基礎(chǔ)能力。后訓(xùn)練 / 繼續(xù)訓(xùn)練Continual Pre-training 或者領(lǐng)域適配在通用預(yù)訓(xùn)練基礎(chǔ)上用領(lǐng)域數(shù)據(jù)或者特定任務(wù)數(shù)據(jù)繼續(xù)訓(xùn)練。對(duì)齊Alignment通過 SFT監(jiān)督微調(diào)、RLHF基于人類反饋的強(qiáng)化學(xué)習(xí)/ DPO直接偏好優(yōu)化等方式讓模型符合人類的指令和偏好。評(píng)估與迭代從自動(dòng)指標(biāo)到人工評(píng)估再到實(shí)際場(chǎng)景測(cè)試發(fā)現(xiàn)短板并決定下一輪迭代方向。部署與運(yùn)維模型壓縮、推理優(yōu)化、服務(wù)化、監(jiān)控和持續(xù)更新。這個(gè)流程每個(gè)階段之間都不是孤立的。比如預(yù)訓(xùn)練階段數(shù)據(jù)配比如果做得不好后面對(duì)齊階段再怎么調(diào)也難以彌補(bǔ)對(duì)齊階段如果只刷榜單指標(biāo)部署上線后大概率會(huì)被用戶吐槽腦子有坑。所以我把這整條流水線當(dāng)成一個(gè)系統(tǒng)工程來講而不是只講某個(gè)單點(diǎn)技術(shù)。2. 起始階段目標(biāo)定義與資源評(píng)估2.1 先搞清楚一個(gè)核心問題很多團(tuán)隊(duì)一上來就想訓(xùn)練一個(gè)大模型但真正應(yīng)該先回答的問題是這個(gè)模型到底用來干什么這不是廢話。同樣的訓(xùn)練流程目標(biāo)不同方案差別巨大。舉個(gè)例子。如果目標(biāo)是一個(gè)通用對(duì)話助手那么預(yù)訓(xùn)練階段要盡可能多地獲取多樣化的公開語料對(duì)齊階段重點(diǎn)是有用、誠(chéng)實(shí)、無害三原則如果目標(biāo)是一個(gè)垂直領(lǐng)域模型比如法律或者醫(yī)療問答那么預(yù)訓(xùn)練階段的高質(zhì)量領(lǐng)域語料配比就要大幅提高甚至在預(yù)訓(xùn)練之后還得做領(lǐng)域繼續(xù)訓(xùn)練如果目標(biāo)只是讓一個(gè)開源模型具備某個(gè)特定任務(wù)的解決能力比如信息抽取或者文本分類那么根本不需要從零預(yù)訓(xùn)練直接基于成熟底座做 SFT 或者參數(shù)高效微調(diào)LoRA、QLoRA就夠了。我把這個(gè)大模型訓(xùn)練流程拆成三個(gè)層級(jí)方便不同場(chǎng)景對(duì)號(hào)入座從零預(yù)訓(xùn)練需要 TB 級(jí)數(shù)據(jù)、數(shù)百甚至上千張 GPU、以月為單位的訓(xùn)練時(shí)間適用于通用底座或者某些需要徹底掌控?cái)?shù)據(jù)分布的場(chǎng)景?；诂F(xiàn)有底座繼續(xù)預(yù)訓(xùn)練需要百 GB 級(jí)領(lǐng)域數(shù)據(jù)、數(shù)十張 GPU適用于領(lǐng)域適配成本相對(duì)可控。基于現(xiàn)有底座做對(duì)齊/微調(diào)需要 MB 到 GB 級(jí)標(biāo)注數(shù)據(jù)、單機(jī)多卡甚至單卡就能跑適用于具體任務(wù)適配這也是絕大多數(shù)團(tuán)隊(duì)的實(shí)際選擇。做這個(gè)判斷的另一個(gè)關(guān)鍵因素是算力預(yù)算。從零預(yù)訓(xùn)練一個(gè) 7B 參數(shù)的模型在消費(fèi)級(jí) GPU 上基本是遙不可及的即便是 A100/H100 集群也需要認(rèn)真估算訓(xùn)練時(shí)間和成本。如果用 8 張 A10080G訓(xùn)練一個(gè) 7B 模型大約需要 1-2 周左右取決于數(shù)據(jù)量、序列長(zhǎng)度和優(yōu)化器配置但如果想把模型規(guī)模推到 70B同樣數(shù)據(jù)量下訓(xùn)練時(shí)間可能要翻 5-10 倍。這些數(shù)字在我實(shí)際項(xiàng)目中都是反復(fù)核算過的算力評(píng)估做不準(zhǔn)后面整個(gè)項(xiàng)目節(jié)奏都會(huì)被打亂。2.2 數(shù)據(jù)規(guī)模與模型規(guī)模的匹配這里有一個(gè)被我反復(fù)驗(yàn)證過的經(jīng)驗(yàn)?zāi)Ｐ鸵?guī)模和訓(xùn)練數(shù)據(jù)規(guī)模需要同步增長(zhǎng)不能只漲參數(shù)不漲數(shù)據(jù)。早期的 GPT-2 大約 1.5B 參數(shù)用的訓(xùn)練數(shù)據(jù)只有 40GB 左右到了 GPT-3 是 175B 參數(shù)訓(xùn)練數(shù)據(jù)到了 570GB 左右。后來業(yè)界普遍采用 Chinchilla 法則也叫 Hoffman 法則來估算對(duì)于給定的算力預(yù)算模型參數(shù)量與訓(xùn)練 token 數(shù)應(yīng)該等比增長(zhǎng)。簡(jiǎn)單說模型越大每個(gè)參數(shù)需要看到的訓(xùn)練數(shù)據(jù)越多不能指望小數(shù)據(jù)量強(qiáng)行壓出大模型。我自己在項(xiàng)目里做數(shù)據(jù)規(guī)模評(píng)估時(shí)會(huì)先確定目標(biāo)參數(shù)量再按大約每 1B 參數(shù)需要 10B-20B token 的數(shù)據(jù)量來粗估。當(dāng)然這個(gè)數(shù)字不是絕對(duì)的數(shù)據(jù)質(zhì)量越高、領(lǐng)域越聚焦所需要的 token 數(shù)可以適當(dāng)下調(diào)。但如果你發(fā)現(xiàn)某個(gè)大模型訓(xùn)練項(xiàng)目只準(zhǔn)備了幾個(gè) GB 的數(shù)據(jù)就要開始訓(xùn) 7B 模型那基本可以斷定這個(gè)項(xiàng)目的數(shù)據(jù)規(guī)模是不健康的訓(xùn)練出來的模型大概率會(huì)欠擬合。2.3 確定訓(xùn)練策略的四張表在動(dòng)手寫訓(xùn)練代碼之前我會(huì)先列四張表幫助團(tuán)隊(duì)對(duì)齊目標(biāo)和資源表名關(guān)鍵內(nèi)容作用目標(biāo)能力表模型要具備哪些能力、在哪些場(chǎng)景使用、效果如何度量決定數(shù)據(jù)配比和評(píng)估方案資源預(yù)算表GPU 型號(hào)和數(shù)量、可用內(nèi)存、訓(xùn)練時(shí)長(zhǎng)上限、預(yù)算金額決定模型規(guī)模、優(yōu)化器和并行策略數(shù)據(jù)清單表數(shù)據(jù)來源、格式、體量、質(zhì)量等級(jí)、去重狀態(tài)決定訓(xùn)練 pipeline 設(shè)計(jì)風(fēng)險(xiǎn)登記表數(shù)據(jù)合規(guī)風(fēng)險(xiǎn)、訓(xùn)練不穩(wěn)定風(fēng)險(xiǎn)、評(píng)估指標(biāo)與目標(biāo)偏差風(fēng)險(xiǎn)決定何時(shí)需要人工干預(yù)這四張表看起來簡(jiǎn)單但實(shí)際做的時(shí)候往往能提前暴露很多問題。比如我經(jīng)歷過一個(gè)項(xiàng)目最初團(tuán)隊(duì)想在 2 周內(nèi)跑完一個(gè) 7B 模型的從零預(yù)訓(xùn)練但資源預(yù)算表列出來后發(fā)現(xiàn)只有 4 張 4090這根本不可能完成于是及時(shí)調(diào)整策略改為基于現(xiàn)有底座做領(lǐng)域繼續(xù)預(yù)訓(xùn)練最后用 1 周左右就達(dá)到了可用狀態(tài)。如果沒有提前做資源評(píng)估項(xiàng)目很可能在訓(xùn)練跑到一半時(shí)才被迫中止損失慘重。3. 數(shù)據(jù)工程大模型訓(xùn)練的隱形基石3.1 數(shù)據(jù)采集源頭數(shù)據(jù)是大模型訓(xùn)練的燃料這話我已經(jīng)說過無數(shù)遍但還是要再?gòu)?qiáng)調(diào)一次很多訓(xùn)練項(xiàng)目的失敗不是模型不行而是數(shù)據(jù)不行。數(shù)據(jù)工程在大模型整個(gè)訓(xùn)練流程中占的工作量通常超過 50%但也是最容易被壓縮、被輕視的環(huán)節(jié)。數(shù)據(jù)采集有幾個(gè)主要來源公開爬蟲數(shù)據(jù)Common Crawl、網(wǎng)頁快照等規(guī)模大但噪聲高。開源數(shù)據(jù)集如 OSCAR、RedPajama、The Pile 等已經(jīng)被清洗過一輪但仍然需要自己的進(jìn)一步處理。領(lǐng)域?qū)Ｓ袛?shù)據(jù)比如法律文書、醫(yī)學(xué)論文、代碼倉(cāng)庫(kù)、企業(yè)內(nèi)部知識(shí)庫(kù)質(zhì)量高但往往體量有限。用戶生成數(shù)據(jù)產(chǎn)品中的用戶行為日志、反饋數(shù)據(jù)等需要格外注意隱私合規(guī)。我在具體項(xiàng)目中會(huì)把數(shù)據(jù)來源按體量-質(zhì)量四象限來評(píng)估爬蟲類數(shù)據(jù)體量大但質(zhì)量低適合作為預(yù)訓(xùn)練的基礎(chǔ)語料開源數(shù)據(jù)集質(zhì)量中等可以混入一定比例領(lǐng)域數(shù)據(jù)和人工標(biāo)注數(shù)據(jù)質(zhì)量高適合在對(duì)齊和領(lǐng)域適配階段重點(diǎn)使用。這個(gè)配比策略在后面數(shù)據(jù)混合階段會(huì)詳細(xì)講。3.2 清洗與過濾你偷懶模型就會(huì)變笨原始數(shù)據(jù)永遠(yuǎn)不可能是干凈的。網(wǎng)頁爬蟲數(shù)據(jù)里充斥著 HTML 標(biāo)簽、導(dǎo)航欄文本、廣告、亂碼、重復(fù)段落如果直接用這些數(shù)據(jù)去訓(xùn)練模型會(huì)學(xué)到大量無意義的模式。我在實(shí)操中有一套固定的清洗流程解碼與編碼修復(fù)處理編碼錯(cuò)誤、亂碼、無效字符。標(biāo)簽與噪音去除去掉 HTML、CSS、JavaScript 等網(wǎng)頁元素保留正文文本。語言識(shí)別與過濾用語言識(shí)別工具判斷語種過濾不需要的語言。低質(zhì)量文本過濾通過長(zhǎng)度分布、重復(fù)度、符號(hào)占比、困惑度等特征過濾掉質(zhì)量過低的文本。個(gè)人信息脫敏識(shí)別并移除郵箱、電話、身份證號(hào)等敏感信息。毒性內(nèi)容過濾用違規(guī)詞表分類模型過濾涉政、涉黃、暴力等違規(guī)內(nèi)容。其中毒性內(nèi)容過濾這一環(huán)節(jié)在實(shí)際工程里必須嚴(yán)格把關(guān)。作為從業(yè)者這是內(nèi)容安全和合規(guī)的底線要求沒有任何商量余地。我建議團(tuán)隊(duì)在數(shù)據(jù)管線中把這類過濾模塊當(dāng)成一等公民而不是事后補(bǔ)救。清洗過程中還要注意一個(gè)細(xì)節(jié)過濾規(guī)則不能太激進(jìn)。如果過濾閾值設(shè)得過高會(huì)把大量包含方言、口語、代碼片段、混合語言、特殊格式的高價(jià)值數(shù)據(jù)也一并刪掉。比如一些技術(shù)論壇的帖子本身包含 HTML 標(biāo)簽但正文可能有極高質(zhì)量的排錯(cuò)經(jīng)驗(yàn)。所以我的經(jīng)驗(yàn)是采用多級(jí)過濾策略先用規(guī)則粗過濾掉明顯的垃圾再用分類模型做細(xì)粒度質(zhì)量打分最后根據(jù)下游任務(wù)的需要做人工抽檢。每一步過濾都要保留過濾日志方便后面回溯數(shù)據(jù)分布變化。3.3 去重一個(gè)經(jīng)常被忽略的隱形指標(biāo)很多人對(duì)數(shù)據(jù)去重的理解就是去掉完全重復(fù)的文本但在大模型訓(xùn)練中去重不僅是去掉完全重復(fù)更重要的是去掉近似重復(fù)Near-duplicate。比如同一篇新聞稿被不同網(wǎng)站轉(zhuǎn)載內(nèi)容幾乎一致但可能被加了一兩句評(píng)論同一個(gè)維基詞條在不同時(shí)間被保存了多個(gè)版本。如果不做近似去重模型會(huì)反復(fù)見到同樣的內(nèi)容造成記憶過擬合——它可能把某些語料背下來而不是理解。實(shí)操中我用過兩類去重方法精確去重對(duì)文本做哈希如 MD5、SHA1先存哈希表再去重適合完全重復(fù)的文本。近似去重用 MinHash 或 SimHash 做近似重復(fù)檢測(cè)配合 LSH局部敏感哈希在百萬級(jí)/億級(jí)數(shù)據(jù)中快速找到近似重復(fù)文本。這類方法對(duì)長(zhǎng)文本和短文本都很有效。近似去重這塊我實(shí)際踩過坑。有一次訓(xùn)練領(lǐng)域模型線上語料庫(kù)看起來很大但做 MinHash 去重后發(fā)現(xiàn)真正獨(dú)一無二的高質(zhì)量語料只占不到 60%。剩下的 40% 都是各種轉(zhuǎn)載、重復(fù)、拼接內(nèi)容。如果不做這一步模型在領(lǐng)域任務(wù)上會(huì)出現(xiàn)明顯的重復(fù)生成問題——這其實(shí)就是訓(xùn)練數(shù)據(jù)中近似重復(fù)比例過高導(dǎo)致的。所以我現(xiàn)在把去重環(huán)節(jié)放在數(shù)據(jù) pipeline 的固定流程里絕不在這一步省算力。3.4 數(shù)據(jù)配比決定模型偏好的關(guān)鍵設(shè)計(jì)數(shù)據(jù)配比是指在預(yù)訓(xùn)練語料中不同類型數(shù)據(jù)的比例如何設(shè)置。常用的基礎(chǔ)配比方案是按類別分開網(wǎng)頁文本、百科、書籍、代碼、論文、對(duì)話等。為什么要特別重視配比因?yàn)槟Ｐ偷哪芰Y(jié)構(gòu)很大程度上是數(shù)據(jù)分布塑造的。如果代碼數(shù)據(jù)占比過低模型幾乎不會(huì)有代碼能力如果對(duì)話數(shù)據(jù)占比過高預(yù)訓(xùn)練階段可能過早產(chǎn)生對(duì)話化傾向但通用知識(shí)不足后面對(duì)齊很難補(bǔ)。數(shù)據(jù)配比要做的是既讓模型在通用知識(shí)上有一個(gè)寬廣的基礎(chǔ)又在關(guān)鍵的領(lǐng)域能力上給予足夠多的示例。我在實(shí)操中的配置思路大致是網(wǎng)頁文本 50%-60%書籍和百科 15%-20%代碼 10%-15%論文/技術(shù)文檔 5%-10%對(duì)話/指令類數(shù)據(jù) 5% 以下。同時(shí)為了控制不同類別數(shù)據(jù)的采樣頻率我通常會(huì)在每個(gè) epoch 中做數(shù)據(jù)加權(quán)采樣而不是簡(jiǎn)單的拼接。具體做法是給每個(gè)數(shù)據(jù)源設(shè)計(jì)一個(gè)采樣權(quán)重權(quán)重越大這個(gè)數(shù)據(jù)源在每輪訓(xùn)練中被抽中的概率越高。這樣可以讓高質(zhì)量的數(shù)據(jù)被更充分地利用同時(shí)控制整體 token 數(shù)。數(shù)據(jù)配比不是一次性定死的它需要根據(jù)模型的評(píng)估結(jié)果進(jìn)行反向調(diào)整。比如你發(fā)現(xiàn)模型代碼能力嚴(yán)重不合格可以增大代碼數(shù)據(jù)的采樣權(quán)重重新訓(xùn)練一個(gè) checkpoint發(fā)現(xiàn)模型在某個(gè)領(lǐng)域知識(shí)上表現(xiàn)太弱可能是領(lǐng)域數(shù)據(jù)量不足或者權(quán)重過低。在實(shí)際項(xiàng)目中我會(huì)在預(yù)訓(xùn)練階段同時(shí)保留多份 checkpoint方便在調(diào)數(shù)據(jù)配比時(shí)快速回退。3.5 數(shù)據(jù) Tokenization 與打包數(shù)據(jù)清洗做完之后還需要把文本轉(zhuǎn)成模型能處理的 token 序列。這一步最常見的工具是 Hugging Face Tokenizers 庫(kù)和 SentencePiece。需要自己訓(xùn)練 tokenizer 的場(chǎng)景不多絕大多數(shù)情況下直接用底座模型的詞表即可。但如果你要訓(xùn)練一個(gè)垂直領(lǐng)域模型且領(lǐng)域中有大量術(shù)語、特殊符號(hào)、代碼結(jié)構(gòu)那么擴(kuò)展詞表或者訓(xùn)練一個(gè)領(lǐng)域適配的 tokenizer 是值得考慮的。序列打包方面有一個(gè)常被忽略的細(xì)節(jié)在預(yù)訓(xùn)練時(shí)一般不會(huì)按句子切分而是按固定長(zhǎng)度如 2048、4096 或 8192 token從語料中連續(xù)切分。切分時(shí)要保證一個(gè)語義單元比如一篇文章盡量不被切斷。通常做法是先將文檔按長(zhǎng)度排序然后貪心打包到序列中文檔之間放入一個(gè)特殊分隔符如 EOS 或特殊段落符。這樣既避免短文檔造成大量 padding 浪費(fèi)又盡量保持了文檔的結(jié)構(gòu)完整性。我見過有的新手直接按 token 數(shù)硬切結(jié)果一篇文檔被切成兩半前一半出現(xiàn)在序列 A 的末尾后一半出現(xiàn)在序列 B 的開頭這種割裂的數(shù)據(jù)會(huì)影響模型的長(zhǎng)期依賴建模能力。4. 預(yù)訓(xùn)練大規(guī)模自監(jiān)督學(xué)習(xí)的關(guān)鍵環(huán)節(jié)4.1 從零預(yù)訓(xùn)練 vs 繼續(xù)預(yù)訓(xùn)練預(yù)訓(xùn)練是整個(gè)大模型訓(xùn)練流程中算力消耗最大、耗時(shí)最長(zhǎng)、工程復(fù)雜度最高的階段。如果你是從零開始預(yù)訓(xùn)練模型權(quán)重完全隨機(jī)初始化然后在大規(guī)模無標(biāo)注語料上進(jìn)行自監(jiān)督學(xué)習(xí)。這里的自監(jiān)督目標(biāo)通常有兩種主要形式自回歸語言建模Causal LM給定前文預(yù)測(cè)下一個(gè) token。這是 GPT 系列的做法也是當(dāng)前大多數(shù)大模型底座的基礎(chǔ)。掩碼語言建模Masked LM隨機(jī)掩蓋一部分 token讓模型根據(jù)上下文預(yù)測(cè)被掩蓋的內(nèi)容。這是 BERT 系列的做法更適合理解類任務(wù)。對(duì)于大多數(shù)實(shí)際項(xiàng)目我更推薦的是繼續(xù)預(yù)訓(xùn)練也就是在現(xiàn)有開源底座基礎(chǔ)上用領(lǐng)域語料繼續(xù)訓(xùn)練。這有幾個(gè)明顯優(yōu)勢(shì)不需要投入天量數(shù)據(jù)和算力去做通用能力奠基能保留底座已有的語言理解能力、推理能力、世界知識(shí)領(lǐng)域語料不足時(shí)仍然可以做出效果不錯(cuò)的垂直模型訓(xùn)練時(shí)長(zhǎng)通常只有從零預(yù)訓(xùn)練的 1/10 甚至更少。繼續(xù)預(yù)訓(xùn)練雖然省力但要注意一個(gè)風(fēng)險(xiǎn)如果領(lǐng)域語料和通用語料差異過大或者訓(xùn)練超參設(shè)置不當(dāng)可能導(dǎo)致災(zāi)難性遺忘模型原有的通用能力反而下降。我在做繼續(xù)預(yù)訓(xùn)練時(shí)會(huì)在訓(xùn)練數(shù)據(jù)里混入一定比例的通用語料比如 20%-30%同時(shí)用小學(xué)習(xí)率并且在評(píng)估時(shí)同時(shí)監(jiān)測(cè)通用任務(wù)和領(lǐng)域任務(wù)指標(biāo)確保只有漲沒有跌。4.2 訓(xùn)練超參選擇背后的邏輯預(yù)訓(xùn)練階段最核心的幾個(gè)超參是學(xué)習(xí)率、batch size、序列長(zhǎng)度、訓(xùn)練步數(shù)、warmup 步數(shù)。這些參數(shù)之間不是獨(dú)立的它們共同決定了訓(xùn)練的穩(wěn)定性、收斂速度和最終效果。學(xué)習(xí)率在預(yù)訓(xùn)練中通常采用的策略是先做一段 warmup把學(xué)習(xí)率從接近 0 線性升到峰值然后按照余弦退火調(diào)度逐漸降到最小。warmup 的作用是讓模型在訓(xùn)練初期避免因?yàn)檫^大的更新步長(zhǎng)導(dǎo)致 Loss 震蕩甚至發(fā)散。峰值學(xué)習(xí)率我一般根據(jù)模型規(guī)模和 batch size 來定經(jīng)驗(yàn)范圍在 1e-4 到 3e-4 之間。7B 級(jí)模型我用過 2e-4 配 4M tokens 的 batch size效果不錯(cuò)13B 級(jí)模型會(huì)降到 1.5e-4 左右。Batch size 在預(yù)訓(xùn)練中通常會(huì)設(shè)得很大這和大模型訓(xùn)練的同步方式有關(guān)系?，F(xiàn)在主流做法是用梯度累積把多個(gè) micro-batch 的梯度累加后統(tǒng)一更新等效 batch size 經(jīng)常是 512 甚至 1024 以上。大 batch 的好處是訓(xùn)練效率高梯度估計(jì)更穩(wěn)定。但 batch size 太大也可能導(dǎo)致收斂變慢需要在學(xué)習(xí)率上做出相應(yīng)調(diào)整——這就是所謂的學(xué)習(xí)率與 batch size 聯(lián)動(dòng)原則。簡(jiǎn)單說batch size 換成 2 倍學(xué)習(xí)率通常也要相應(yīng)調(diào)大一點(diǎn)前提是 loss 還能保持穩(wěn)定。序列長(zhǎng)度對(duì)訓(xùn)練的影響也很直接序列越長(zhǎng)模型能建模的上下文越長(zhǎng)但顯存占用呈線性甚至平方增長(zhǎng)訓(xùn)練速度也會(huì)明顯下降。我見過有人在 8 卡環(huán)境下直接把序列長(zhǎng)度拉到 8192結(jié)果 OOM 不斷步進(jìn)極慢。正確的做法一般是先用短序列如 2048啟動(dòng)訓(xùn)練穩(wěn)定后在訓(xùn)練中段再切換到長(zhǎng)序列?，F(xiàn)在很多框架已經(jīng)支持動(dòng)態(tài)序列長(zhǎng)度可以在 training 過程中逐步加長(zhǎng)。訓(xùn)練步數(shù)則取決于數(shù)據(jù)量和 batch size。一個(gè) epoch 定義成模型完整看過一遍全部數(shù)據(jù)但實(shí)際中很少真的訓(xùn)滿一個(gè) epoch因?yàn)轭A(yù)訓(xùn)練數(shù)據(jù)量通常巨大訓(xùn)一個(gè) epoch 的成本太高。常見做法是設(shè)置一個(gè)目標(biāo) token 數(shù)比如總共看 200B token 就停下然后根據(jù) batch size 和序列長(zhǎng)度反推步數(shù)。步數(shù) 目標(biāo) token 數(shù) ÷batch size × 序列長(zhǎng)度。4.3 并行策略從單卡到千卡大模型訓(xùn)練幾乎一定會(huì)遇到顯存裝不下整個(gè)模型的情況。以 7B 模型為例僅模型權(quán)重 FP16 就有 14GB加上優(yōu)化器狀態(tài)Adam 優(yōu)化器需要額外保存一階動(dòng)量、二階動(dòng)量、梯度總顯存需求往往接近 100GB一張 A100 80G 都裝不下。所以必須用分布式并行策略。常用的并行方式有四種我按自己實(shí)際項(xiàng)目中的應(yīng)用頻率排序數(shù)據(jù)并行DP每張卡持有一份完整模型副本喂不同的數(shù)據(jù)通過 all-reduce 同步梯度。這是最先考慮的方案實(shí)現(xiàn)簡(jiǎn)單適合模型能裝進(jìn)單卡的場(chǎng)景。張量并行TP把單個(gè) transformer 層的參數(shù)切分到多張卡每張卡只算一部分。比如把自注意力頭的矩陣切開分給多卡計(jì)算。7B 模型在單卡裝不下時(shí)通常用 TP2 或 TP4。流水線并行PP把模型的不同層切分到不同設(shè)備數(shù)據(jù)按層順序流動(dòng)。比如 32 層 transformer 分成 4 段每段 8 層放在一張卡上。缺點(diǎn)是存在流水線氣泡bubble設(shè)備利用率會(huì)受影響。上下文并行 / 序列并行SP在序列維度上切分常用于超長(zhǎng)序列訓(xùn)練。在小型集群上8-32 卡我通常的組合是數(shù)據(jù)并行 張量并行必要時(shí)加流水線并行。在真實(shí)項(xiàng)目里7B 模型用 8 卡 A100 配 TP2、DP4 能跑得比較舒服13B 模型用 16 卡配 TP4、DP4 比較穩(wěn)70B 模型需要 64 卡以上TP8、PP4 的組合比較常見。這些數(shù)字不是死的需要根據(jù)模型結(jié)構(gòu)和顯存實(shí)測(cè)來調(diào)整。現(xiàn)在很多框架已經(jīng)幫我們封裝好了這些并行策略。我常用的包括 DeepSpeedZeRO 系列優(yōu)化、Megatron-LM、PyTorch FSDP以及 Hugging Face 生態(tài)的 Accelerate。如果你沒有特殊理由建議先基于這些成熟框架搭建而不是自己造輪子。自己造分布式訓(xùn)練框架的坑太多了——通信瓶頸、死鎖、顯存碎片、checkpoint 不一致每一個(gè)都?jí)蚰阏垓v一星期。4.4 混合精度與 Loss Scale大模型訓(xùn)練如果不做混合精度Mixed Precision基本沒法在合理成本內(nèi)完成?；旌暇戎傅氖窃谟?xùn)練過程中用 FP16 或 BF16 來表示部分張量以降低顯存占用和計(jì)算開銷。目前主流偏好是 BF16因?yàn)樗?FP16 有更大的指數(shù)范圍和更少的下溢問題在梯度更新時(shí)更穩(wěn)。用 FP16 訓(xùn)練時(shí)需要注意 Loss Scaling——因?yàn)?FP16 的表示范圍有限如果梯度太小可能會(huì)直接下溢為 0導(dǎo)致模型不更新。通常做法是動(dòng)態(tài)調(diào)整 loss scale當(dāng)梯度溢出時(shí)減小 loss scale當(dāng)連續(xù)若干步?jīng)]有溢出時(shí)增大 loss scale。BF16 則基本不需要這個(gè)機(jī)制省心不少。不過即使是 BF16訓(xùn)練久了也會(huì)出現(xiàn)loss spike或者loss 突刺的現(xiàn)象——某個(gè) step 的 loss 突然飆到正常值的幾十倍甚至上百倍然后逐漸恢復(fù)。這種情況我遇到過好幾次最常見的原因是出現(xiàn)了 NAN 或者 Inf 梯度通常和數(shù)據(jù)中的異常 token、嵌入層溢出有關(guān)。處理辦法是設(shè)置梯度裁剪gradient clipping一般把梯度的 L2 范數(shù)裁剪到 1.0 或 0.5。此外在 PyTorch 中打開 detect anomaly 來定位問題源也是有效的排查手段但這種模式下訓(xùn)練會(huì)慢很多只能作為臨時(shí)排查手段。4.5 Checkpoint 策略與中途故障恢復(fù)預(yù)訓(xùn)練動(dòng)輒幾周甚至幾個(gè)月中途宕機(jī)幾乎是必然事件。所以 checkpoint 策略必須從一開始就想清楚而不是等出事后再補(bǔ)救。我的做法是每訓(xùn)練固定步數(shù)比如 500 或 1000 步保存一次 checkpoint同時(shí)維護(hù)最好和最新兩份。最好的一份是在評(píng)估集上 loss 最低的那版最新的一份用于故障恢復(fù)。保存的內(nèi)容包括模型權(quán)重、優(yōu)化器狀態(tài)、學(xué)習(xí)率調(diào)度器狀態(tài)、數(shù)據(jù)加載器狀態(tài)隨機(jī)種子和索引這樣才能保證從斷點(diǎn)無縫恢復(fù)訓(xùn)練。如果只保存模型權(quán)重而不保存優(yōu)化器狀態(tài)恢復(fù)后學(xué)習(xí)率調(diào)度會(huì)亂掉訓(xùn)練曲線也會(huì)出現(xiàn)明顯的斷層。此外我強(qiáng)烈建議在訓(xùn)練啟動(dòng)時(shí)先在少量數(shù)據(jù)上做 smoke test冒煙測(cè)試確認(rèn)從本輪 epoch 的起始狀態(tài)到訓(xùn)練循環(huán)、再到 checkpoint 保存和恢復(fù)的整條鏈路是通的再正式投入長(zhǎng)訓(xùn)練。這個(gè)習(xí)慣幫我避免過很多次跑了 3 天發(fā)現(xiàn)代碼里有個(gè) bug 導(dǎo)致全部白跑的慘劇。5. 后訓(xùn)練與對(duì)齊從會(huì)續(xù)寫到聽人話5.1 SFT——教模型學(xué)會(huì)指令跟隨預(yù)訓(xùn)練完成后的模型本質(zhì)上是一個(gè)文本續(xù)寫器。你給它一句給我寫一封郵件它可能會(huì)繼續(xù)寫給我寫一封郵件的內(nèi)容如下而不是真的給你寫一封郵件。要讓模型學(xué)會(huì)按照人類的指令行事就需要 SFTSupervised Fine-Tuning即用指令-回答這樣的監(jiān)督數(shù)據(jù)對(duì)模型進(jìn)行有監(jiān)督微調(diào)。SFT 的數(shù)據(jù)質(zhì)量是重中之重。我之前在項(xiàng)目中反復(fù)體會(huì)到一個(gè)道理SFT 的成敗 80% 取決于數(shù)據(jù)而不是模型結(jié)構(gòu)和訓(xùn)練技巧。那些公開的 SFT 數(shù)據(jù)集比如一些開源 instruction 數(shù)據(jù)集可以用但它們往往泛化性不夠領(lǐng)域任務(wù)效果不好。真正高質(zhì)量的 SFT 數(shù)據(jù)需要從實(shí)際業(yè)務(wù)場(chǎng)景中積累、篩選和人工編寫。我在構(gòu)造 SFT 數(shù)據(jù)時(shí)遵循幾條原則指令多樣覆蓋不同的表達(dá)方式、不同的任務(wù)類型問答、寫作、分類、抽取、總結(jié)等。回答詳實(shí)且正確每條回答都要經(jīng)過人工校驗(yàn)或強(qiáng)模型輔助校驗(yàn)不能有明顯的錯(cuò)誤。難度適中既要有簡(jiǎn)單的示例讓模型快速學(xué)會(huì)格式也要有復(fù)雜的示例讓模型學(xué)會(huì)推理?？刂茢?shù)量SFT 數(shù)據(jù)不一定越多越好。經(jīng)驗(yàn)表明幾萬到幾十萬條高質(zhì)量 SFT 數(shù)據(jù)往往比幾百萬條低質(zhì)量數(shù)據(jù)效果更好。我在一個(gè)垂直領(lǐng)域項(xiàng)目中用了大約 5 萬條人工校驗(yàn)過的 SFT 數(shù)據(jù)效果就明顯好于之前用 50 萬條自動(dòng)構(gòu)造的低質(zhì)數(shù)據(jù)。SFT 訓(xùn)練本身相對(duì)簡(jiǎn)單通常就是標(biāo)準(zhǔn)的因果語言建模訓(xùn)練但有幾個(gè)細(xì)節(jié)需要注意。一是學(xué)習(xí)率不能太高一般取 1e-5 到 2e-5 左右因?yàn)轭A(yù)訓(xùn)練模型已經(jīng)有足夠能力微調(diào)太多容易破壞原有參數(shù)分布二是訓(xùn)練輪數(shù)不要太多2-3 個(gè) epoch 就夠訓(xùn)練太久容易過擬合訓(xùn)練集導(dǎo)致模型在評(píng)估集上表現(xiàn)下降三是在訓(xùn)練數(shù)據(jù)里可以混入一些通用指令數(shù)據(jù)避免模型只在新任務(wù)上表現(xiàn)好、在通用能力上退化。5.2 RLHF 與 DPO——讓模型符合人類偏好SFT 只是讓模型學(xué)會(huì)了按照指令給出回答但什么樣的回答更符合人類期望這個(gè)標(biāo)準(zhǔn)SFT 并不擅長(zhǎng)。這時(shí)候就需要偏好對(duì)齊。目前主流方法有兩種RLHF基于人類反饋的強(qiáng)化學(xué)習(xí)和 DPO直接偏好優(yōu)化。RLHF 的流程大致是三步訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型Reward Model基于人類對(duì)多個(gè)回答的排序/打分?jǐn)?shù)據(jù)訓(xùn)練一個(gè)模型來預(yù)測(cè)哪個(gè)回答更好。用強(qiáng)化學(xué)習(xí)優(yōu)化策略模型讓策略模型生成回答獎(jiǎng)勵(lì)模型打分通過 PPO 等算法優(yōu)化策略模型的參數(shù)使期望獎(jiǎng)勵(lì)最大化。在優(yōu)化過程中加入?yún)⒖寄Ｐ图s束通常用 KL 散度懲罰防止策略模型為了刷獎(jiǎng)勵(lì)而偏離原始模型太遠(yuǎn)導(dǎo)致輸出胡言亂語。RLHF 效果挺好但是工程復(fù)雜度很高。PPO 訓(xùn)練中的穩(wěn)定性問題、獎(jiǎng)勵(lì)模型的過擬合問題、KL 系數(shù)的調(diào)節(jié)問題任何一個(gè)處理不好都會(huì)讓訓(xùn)練崩潰或者產(chǎn)生非常奇怪的模型行為。我剛開始實(shí)踐 RLHF 時(shí)多次遇到獎(jiǎng)勵(lì)模型的 loss 明明在下降但策略模型的生成質(zhì)量卻在惡化——這是因?yàn)椴呗阅Ｐ驮阢@獎(jiǎng)勵(lì)模型的空子找到了高獎(jiǎng)勵(lì)但實(shí)際很差的回答模式。解決方法是加強(qiáng) KL 約束和獎(jiǎng)勵(lì)模型的多樣性并且在訓(xùn)練中定期人工評(píng)估真實(shí)生成質(zhì)量。DPO 是近年來特別火的替代方案。它的核心思路是不需要訓(xùn)練獎(jiǎng)勵(lì)模型也不需要強(qiáng)化學(xué)習(xí)而是直接通過偏好數(shù)據(jù)構(gòu)造一個(gè)簡(jiǎn)單的對(duì)比損失函數(shù)來優(yōu)化策略模型。具體做法是對(duì)于一個(gè)提示收集被偏好的回答和被拒絕的回答然后直接用語言模型自身的概率來構(gòu)造損失讓被偏好回答的概率提升、被拒絕回答的概率下降。DPO 相比 RLHF 最大的優(yōu)勢(shì)是簡(jiǎn)單穩(wěn)定訓(xùn)練資源消耗也低得多。在一些中等規(guī)模模型的實(shí)踐中DPO 的效果可以和 RLHF 媲美甚至某些場(chǎng)景下更好。我做對(duì)齊時(shí)的一般策略是如果團(tuán)隊(duì)里有人熟悉強(qiáng)化學(xué)習(xí)且預(yù)算充足可以先跑 RLHF如果想快速看到一個(gè)可用的對(duì)齊模型DPO 是性價(jià)比更高的選擇。很多情況下我會(huì)先用 DPO 快速迭代出一個(gè) baseline等產(chǎn)品驗(yàn)證了方向再?zèng)Q定是否用 RLHF 做進(jìn)一步打磨。5.3 對(duì)齊訓(xùn)練中的常見策略與踩坑點(diǎn)對(duì)齊階段最常見的錯(cuò)誤是過擬合到獎(jiǎng)勵(lì)模型或者對(duì)著榜單指標(biāo)猛優(yōu)化。我先說榜單指標(biāo)的問題。很多團(tuán)隊(duì)在對(duì)齊之后喜歡看一些公開 benchmark 的分?jǐn)?shù)比如 MMLU、HumanEval、GSM8K然后試圖通過調(diào)數(shù)據(jù)、調(diào)超參來刷高這些分?jǐn)?shù)。但刷榜分?jǐn)?shù)和真實(shí)產(chǎn)品體驗(yàn)往往存在偏差。我在實(shí)際項(xiàng)目中見過一個(gè)模型在某個(gè)公開 benchmark 上分?jǐn)?shù)很高但用戶一用就發(fā)現(xiàn)它在邏輯推理上存在明顯缺陷——原因就是 benchmark 中的測(cè)試題在 SFT 階段就已經(jīng)被泄露進(jìn)訓(xùn)練數(shù)據(jù)了。這是嚴(yán)重的合規(guī)問題也違背了做對(duì)齊的初衷。所以我堅(jiān)持在內(nèi)部評(píng)估中使用完全獨(dú)立的測(cè)試集并且定期從實(shí)際用戶反饋中構(gòu)造新的評(píng)測(cè)樣本防止評(píng)估集被污染。再看 RLHF 訓(xùn)練本身的穩(wěn)定性問題。PPO 對(duì)超參非常敏感我踩過最大的坑是初始 KL 懲罰系數(shù)設(shè)置太小導(dǎo)致策略模型肆意偏離參考模型最后輸出內(nèi)容變得非常碎、非常空。另一個(gè)坑是 reward model 訓(xùn)練時(shí)只用了一種類型的偏好數(shù)據(jù)導(dǎo)致它對(duì)某些 prompt 的分?jǐn)?shù)極不穩(wěn)定然后策略模型為了迎合它就出現(xiàn)了災(zāi)難性的模式坍塌。我的建議是RLHF 訓(xùn)練中每跑幾百步就抽一批 prompt 讓模型生成結(jié)果人工快速掃一眼不要只看 reward 曲線。reward 曲線在訓(xùn)練中往往不能完全反映生成質(zhì)量。DPO 也有自己的坑。最典型的是 beta 參數(shù)控制對(duì)參考模型的偏離程度調(diào)不好。beta 太小模型容易過度擬合偏好數(shù)據(jù)導(dǎo)致通用能力下降beta 太大模型幾乎沒有學(xué)到任何偏好跟微調(diào)前差不多。我一般從 0.1 起步配合訓(xùn)練集大小和評(píng)估結(jié)果來調(diào)。還有一個(gè)坑是偏好數(shù)據(jù)的構(gòu)造方式如果偏好數(shù)據(jù)中被拒絕的回答寫得特別差模型學(xué)到的是避免那種極端差的格式而不是提升回答質(zhì)量。所以好的偏好數(shù)據(jù)應(yīng)該是兩個(gè)回答都有一定質(zhì)量但一個(gè)更優(yōu)這樣模型才能學(xué)會(huì)區(qū)分好壞而不是死記硬背地淘汰低質(zhì)回答。6. 評(píng)估與迭代訓(xùn)練流程的反饋閉環(huán)6.1 評(píng)估集設(shè)計(jì)別讓評(píng)估變成走過場(chǎng)評(píng)估是大模型訓(xùn)練流程中容易被應(yīng)付了事但卻至關(guān)重要的一環(huán)。我自己做評(píng)估時(shí)會(huì)至少建立三套評(píng)估體系自動(dòng)指標(biāo)集在固定的測(cè)試集上計(jì)算指標(biāo)比如困惑度Perplexity、BLEU翻譯、ROUGE摘要、Pass1代碼、準(zhǔn)確率問答。這套體系方便快速迭代但它只能反映模型在某類任務(wù)上的機(jī)械能力。高質(zhì)量人工評(píng)估集從真實(shí)業(yè)務(wù)場(chǎng)景中采樣一批 prompt讓評(píng)估員最好是目標(biāo)用戶或領(lǐng)域?qū)＜覍?duì)模型的回答從準(zhǔn)確性、相關(guān)性、流暢性、安全性等維度打分。這個(gè)耗時(shí)耗錢但最能反映真實(shí)體驗(yàn)。線上 A/B 測(cè)試真正放到產(chǎn)品里對(duì)用戶反饋?zhàn)雎顸c(diǎn)和分析。最終決定一個(gè)模型是否上線還是得看線上數(shù)據(jù)而不是訓(xùn)練集上那點(diǎn)指標(biāo)。很多團(tuán)隊(duì)在訓(xùn)練后只跑自動(dòng)指標(biāo)看起來分?jǐn)?shù)不錯(cuò)就上線了結(jié)果線上反饋一塌糊涂。原因在于自動(dòng)指標(biāo)對(duì)幻覺和邏輯一致性的捕捉能力非常有限。比如模型一本正經(jīng)地輸出一段包含虛構(gòu)事實(shí)的答案自動(dòng)指標(biāo)可能因?yàn)殛P(guān)鍵詞匹配而給出高分但用戶一眼就能發(fā)現(xiàn)內(nèi)容是錯(cuò)的。所以在評(píng)估階段我會(huì)固定每周安排一批人工評(píng)估讓模型跑真實(shí)用戶 prompt再由兩個(gè)人獨(dú)立打分交叉驗(yàn)證一致性。這個(gè)成本不低但對(duì)于保證模型質(zhì)量是必須付出的。6.2 訓(xùn)練后數(shù)據(jù)反饋閉環(huán)評(píng)估完不能只是看個(gè)分?jǐn)?shù)就結(jié)束關(guān)鍵是要把評(píng)估結(jié)果反饋到訓(xùn)練流程中形成一個(gè)閉環(huán)。我在項(xiàng)目中實(shí)際使用的做法是每次評(píng)估完將典型的錯(cuò)誤案例比如產(chǎn)生幻覺的回答、邏輯矛盾的推理、違反指令約束的輸出收集起來分析它們的共性然后針對(duì)性地調(diào)整下一輪訓(xùn)練的數(shù)據(jù)。比如如果發(fā)現(xiàn)模型在長(zhǎng)文檔摘要任務(wù)上表現(xiàn)差那就專門采集和構(gòu)造更多高質(zhì)量的長(zhǎng)文檔摘要 SFT 數(shù)據(jù)再做一輪增量訓(xùn)練如果發(fā)現(xiàn)模型在特定領(lǐng)域名詞上經(jīng)常出錯(cuò)那就擴(kuò)大該領(lǐng)域的預(yù)訓(xùn)練數(shù)據(jù)權(quán)重做一輪領(lǐng)域繼續(xù)預(yù)訓(xùn)練。這個(gè)反饋閉環(huán)的節(jié)奏需要控制好。訓(xùn)練一輪大模型成本很高不可能每次發(fā)現(xiàn)問題都立刻重新預(yù)訓(xùn)練。我的經(jīng)驗(yàn)是按周或按雙周為周期把反饋數(shù)據(jù)積累到一個(gè)閾值后再觸發(fā)一輪小規(guī)模訓(xùn)練。小規(guī)模訓(xùn)練可以是領(lǐng)域繼續(xù)預(yù)訓(xùn)練也可以是 SFT/DPO視問題類型而定。對(duì)于預(yù)訓(xùn)練階段的問題可能要先積累足夠多的數(shù)據(jù)再啟動(dòng)下一輪大規(guī)模預(yù)訓(xùn)練而不是為了一個(gè)小問題就打亂整個(gè)訓(xùn)練計(jì)劃。6.3 人情味與業(yè)務(wù)指標(biāo)的平衡最后我想聊一個(gè)很多技術(shù)人容易忽略的維度模型效果的評(píng)判不能只看技術(shù)指標(biāo)還要看業(yè)務(wù)指標(biāo)。比如一個(gè)客服場(chǎng)景的模型回答得對(duì)不一定是好——用戶可能更在意回復(fù)是否禮貌、是否簡(jiǎn)短、是否讓他感受到被理解。一個(gè)金融風(fēng)控場(chǎng)景的對(duì)齊模型如果回答得太繞太保守可能用戶根本不愿意用。所以我在評(píng)估體系中會(huì)為每個(gè)業(yè)務(wù)場(chǎng)景定制業(yè)務(wù)指標(biāo)比如用戶投訴率下降幅度、首輪解決率、用戶滿意度評(píng)分等。這些指標(biāo)雖然不直接反映模型訓(xùn)練的好與壞但對(duì)于決定項(xiàng)目是否繼續(xù)投入、模型能否上線往往比技術(shù)指標(biāo)更有說服力。7. 部署與成本優(yōu)化訓(xùn)完不等于結(jié)束7.1 模型壓縮蒸餾/量化/剪枝的取舍訓(xùn)練完成的大模型在部署時(shí)通常面臨一個(gè)尷尬模型太大推理太慢顯存占用太多業(yè)務(wù)方希望 100ms 內(nèi)返回結(jié)果但大模型的推理時(shí)延動(dòng)不動(dòng)就超過 500ms。這時(shí)候就需要做模型壓縮。常用的手段有三種各有適用的場(chǎng)景知識(shí)蒸餾用一個(gè)大的教師模型剛訓(xùn)練好的模型去指導(dǎo)一個(gè)小模型的學(xué)習(xí)讓小模型盡量逼近大模型的輸出。這個(gè)過程可以離線完成最終部署的是小模型速度快、成本低。缺點(diǎn)是訓(xùn)練周期長(zhǎng)且如果大小模型差距過大小模型的學(xué)習(xí)效果可能受限。我一般把小模型設(shè)定為教師模型的 1/4 到 1/8 參數(shù)量。量化把模型權(quán)重從 FP16 壓縮到 INT8 或 INT4。其中最常用的是 GPTQ 和 AWQ 這類訓(xùn)練后量化方法不需要重訓(xùn)模型。量化后的模型體積減小 3-4 倍推理速度明顯提升但會(huì)有一定精度損失。在垂直任務(wù)上我的經(jīng)驗(yàn)是 INT8 量化對(duì)精度的影響通?？煽厝鐪?zhǔn)確率下降 1% 以內(nèi)INT4 則要看具體任務(wù)有些任務(wù)下降明顯。如果對(duì)精度要求較高可以考慮量化感知訓(xùn)練QAT在訓(xùn)練中就讓模型適應(yīng)量化誤差。剪枝去除模型中重要性較低的參數(shù)或?qū)訙p少計(jì)算量。對(duì)于大模型來說結(jié)構(gòu)化剪枝把整行/整列權(quán)重置零或者去掉某些層現(xiàn)在用得相對(duì)少因?yàn)樾Ч惶€(wěn)定而且大模型中的冗余似乎更結(jié)構(gòu)化不是簡(jiǎn)單去掉參數(shù)就能保性能。我更傾向于把剪枝用在一些局部場(chǎng)景比如去除某些 attention head。我實(shí)際項(xiàng)目中最常見的壓縮組合是量化 推理優(yōu)化。比如把一個(gè) 7B 模型量化到 INT4配合 KV Cache 優(yōu)化和算子融合在單張 4090 上可以達(dá)到不錯(cuò)的生成速度基本滿足交互式應(yīng)用的需求。如果業(yè)務(wù)對(duì)速度要求更高但能接受延遲那么蒸餾出一個(gè)小模型可能更合適。7.2 推理服務(wù)的工程細(xì)節(jié)大模型部署和傳統(tǒng)模型的部署有不少區(qū)別某些工程細(xì)節(jié)如果不處理好線上體驗(yàn)會(huì)很差。KV Cache 是自回歸生成中的一個(gè)核心概念。每生成一個(gè)新 token模型需要重新計(jì)算整個(gè)前文的鍵值向量。如果每次都從頭算計(jì)算量是平方級(jí)增長(zhǎng)延遲高得無法接受。實(shí)踐中我們把之前計(jì)算過的 key/value 緩存下來生成新 token 時(shí)只需計(jì)算增量部分。KV Cache 的大小和序列長(zhǎng)度、batch size、層數(shù)相關(guān)很容易占滿顯存。所以需要為它預(yù)留顯存空間并且設(shè)置合理的 max length 策略。另外一個(gè)關(guān)鍵工程細(xì)節(jié)是 batching 策略。在線推理服務(wù)通常通過連續(xù)批處理continuous batching來提升吞吐量。傳統(tǒng)靜態(tài)批處理是收集到固定 batch 就一起跑而連續(xù)批處理允許一個(gè)請(qǐng)求生成完了就退出 batch新的請(qǐng)求可以隨時(shí)插入這樣能更充分地利用 GPU 算力。我實(shí)測(cè)過連續(xù)批處理相比靜態(tài)批處理能把吞吐量提升 1.5-3 倍這在流量波動(dòng)大的場(chǎng)景下特別重要。推理服務(wù)框架的選擇也有講究。如果只是單卡部署一個(gè) 7B 模型用 vLLM 或者 TGI 這些商業(yè)友好的框架就夠如果要部署 70B 級(jí)別模型可能就需要結(jié)合 TensorRT-LLM 或者自研服務(wù)框架做更細(xì)粒度的算子優(yōu)化和顯存管理。我的經(jīng)驗(yàn)是不要一開始就想著自研推理引擎除非你有專門的基礎(chǔ)設(shè)施團(tuán)隊(duì)否則基于成熟框架先跑通業(yè)務(wù)模式等量上來了再考慮深度優(yōu)化。7.3 全生命周期成本估算算力成本和訓(xùn)練時(shí)間在大模型項(xiàng)目中是繞不開的賬。這里我給出一個(gè)非常粗略但符合實(shí)際經(jīng)驗(yàn)的計(jì)算方法訓(xùn)練成本 ≈ GPU 數(shù)量 × 單卡價(jià)格/小時(shí) × 訓(xùn)練時(shí)長(zhǎng)單卡價(jià)格取決于硬件型號(hào)和采購(gòu)/租賃模式。以云服務(wù)租用為例一張 A100 80G 的價(jià)格大約在每小時(shí)幾十元左右H100 會(huì)更貴一些。訓(xùn)練時(shí)長(zhǎng)可以根據(jù)模型參數(shù)量、數(shù)據(jù)量和集群性能來估算。一個(gè) 7B 模型、200B token 數(shù)據(jù)、在 32 張 A100 上的訓(xùn)練時(shí)間樂觀估計(jì)也要 2-3 周。如果采用 64 卡訓(xùn)練時(shí)間可以縮短到 1-2 周但 GPU 通信開銷增大加速比會(huì)略低于線性。除了訓(xùn)練成本還要算上數(shù)據(jù)工程和人工評(píng)估的成本。這些往往占總預(yù)算的 30%-50%。我看到很多項(xiàng)目把預(yù)算幾乎全部花在 GPU 上結(jié)果數(shù)據(jù)質(zhì)量和評(píng)估質(zhì)量跟不上訓(xùn)練出來的模型效果不佳最后還要返工整體成本反而更高。所以我在項(xiàng)目規(guī)劃時(shí)會(huì)明確地把算力預(yù)算、數(shù)據(jù)預(yù)算、人力預(yù)算三本賬分開算任何一個(gè)都不能省。8. 大模型訓(xùn)練的未來方向與個(gè)人建議8.1 訓(xùn)練范式的演進(jìn)趨勢(shì)大模型訓(xùn)練流程這幾年變化非常快。兩三年前從零預(yù)訓(xùn)練還是主流話題現(xiàn)在更多討論的是如何用更少的算力、更少的數(shù)據(jù)在開源底座上做出領(lǐng)域好模型。從我的觀察看幾個(gè)比較明顯的趨勢(shì)是數(shù)據(jù)質(zhì)量權(quán)重越來越高隨著公開數(shù)據(jù)逐漸被訓(xùn)完高質(zhì)量專有數(shù)據(jù)將成為真正的壁壘。未來競(jìng)爭(zhēng)不是誰 GPU 多而是誰擁有的高質(zhì)量數(shù)據(jù)多、數(shù)據(jù)處理 pipeline 更先進(jìn)。對(duì)齊技術(shù)越來越多樣化除了 SFT、RLHF、DPO基于自對(duì)弈、基于搜索的在線對(duì)齊等方法也在迅速發(fā)展。但本質(zhì)上的核心仍然是一致的讓模型輸出更加符合人類意圖。多模態(tài)和長(zhǎng)上下文成為新挑戰(zhàn)訓(xùn)練框架需要適配圖像、視頻、音頻、代碼等混合模態(tài)數(shù)據(jù)同時(shí)序列長(zhǎng)度從 2K 增長(zhǎng)到 1M 甚至更長(zhǎng)分布式策略和內(nèi)存管理都需要重新設(shè)計(jì)。小型化部署成為落地關(guān)鍵大模型訓(xùn)練完成后如何壓縮、加速、部署到邊緣設(shè)備或者有限的云資源上將決定產(chǎn)品能否真正規(guī)?；＿@些趨勢(shì)對(duì)從業(yè)者的啟示是不要只盯著某一個(gè)模型架構(gòu)或者某個(gè)訓(xùn)練技巧要建立全流程工程化的思維方式理解每個(gè)環(huán)節(jié)的演進(jìn)方向這樣才能在快速變化的環(huán)境中做出合理的決策。8.2 給新手的三個(gè)可操作建議如果你是一個(gè)正準(zhǔn)備進(jìn)入大模型訓(xùn)練方向的開發(fā)者我的建議是三句話先跑通小規(guī)模閉環(huán)再上大規(guī)模訓(xùn)練。先用一個(gè)小模型比如 0.5B-1B 參數(shù)在一個(gè)中等規(guī)模數(shù)據(jù)集幾 GB 到幾十 GB上跑通從數(shù)據(jù)預(yù)處理、訓(xùn)練、評(píng)估到部署的完整鏈路。這個(gè)過程會(huì)讓你對(duì)大模型訓(xùn)練成本、數(shù)據(jù)分布、超參影響形成真實(shí)的體感。讀懂 Loss 曲線比看懂論文更重要。訓(xùn)練過程中l(wèi)oss 曲線的形態(tài)能告訴你大量信息欠擬合曲線是緩慢下降但有明顯余量過擬合曲線是驗(yàn)證集 loss 反彈不穩(wěn)定訓(xùn)練會(huì)出現(xiàn)尖刺或者震蕩。學(xué)會(huì)讀懂這些曲線你就能快速判斷一個(gè)訓(xùn)練任務(wù)是否正常。把數(shù)據(jù)工程當(dāng)成一項(xiàng)長(zhǎng)期投資。很多新手覺得數(shù)據(jù)工作枯燥更愿意花時(shí)間調(diào)模型或者看論文。但真正拉開訓(xùn)練效果差距的恰恰是數(shù)據(jù)。我強(qiáng)烈建議每個(gè)人在早期階段親手做一部分?jǐn)?shù)據(jù)清洗、標(biāo)注、去重工作這樣你才能深刻理解模型能力的上限是在哪里設(shè)定的。8.3 從訓(xùn)練到產(chǎn)品化的最后一公里最后說一點(diǎn)個(gè)人體會(huì)。訓(xùn)練出一個(gè)指標(biāo)優(yōu)秀的模型只是邁出了產(chǎn)品化的第一步。真正難的是讓模型在一個(gè)真實(shí)的業(yè)務(wù)環(huán)境里穩(wěn)定、可靠、低成本地運(yùn)行。你需要面對(duì)模型幻覺帶來的信任危機(jī)、請(qǐng)求忽高忽低帶來的擴(kuò)縮容壓力、上線后用戶反饋中暴露出的新長(zhǎng)尾問題……這些都不是訓(xùn)練階段能夠完全預(yù)見的。我自己的經(jīng)驗(yàn)是在大模型訓(xùn)練流程的每一個(gè)環(huán)節(jié)都盡量保留可追溯的日志和數(shù)據(jù)版本記錄。這樣當(dāng)線上模型出現(xiàn)問題時(shí)你能快速定位是預(yù)訓(xùn)練數(shù)據(jù)的問題、對(duì)齊策略的問題還是增量訓(xùn)練中引入的回歸。這種全鏈路可觀測(cè)性的建設(shè)前期往往感覺是額外的工作量但一旦業(yè)務(wù)規(guī)模起來、問題變多就會(huì)成為你最寶貴的資產(chǎn)。訓(xùn)練大模型沒有銀彈每一個(gè)環(huán)節(jié)都需要扎扎實(shí)實(shí)地投入沒有捷徑可走。權(quán)衡取舍、快速實(shí)驗(yàn)、充分復(fù)盤才是這條路上真正重要的方法論。希望能通過這篇文章幫你構(gòu)建起大模型訓(xùn)練全景圖的認(rèn)知框架在這個(gè)快速發(fā)展且充滿機(jī)遇的領(lǐng)域走得更穩(wěn)、更遠(yuǎn)。