這兩年大家都在聊大模型但真正動手從零訓練一個小語言模型的人還是少數(shù)。我自己花了將近一個月用開源工具把一個純實驗性質(zhì)的小模型 Xihe 完整跑了一遍預訓練、CPT、SFT、PEFT、蒸餾、DPO每一環(huán)都沒有跳過。今天這篇文章就把整套決策思路、具體參數(shù)和踩過的坑寫出來適合那些不想只調(diào)包、想搞清楚一個 LLM 從無到有全生命周期的工程師和學生。我會盡量說人話也盡量把“為什么這么做”講透而不是甩一堆可以照抄但不一定理解的操作命令。先說結論如果你只是想做一個通用聊天助手直接下載現(xiàn)成的開源權重最省事。但如果你需要完全掌握數(shù)據(jù)配比、詞表、訓練細節(jié)或者想在小團隊、小預算條件下把整條管線跑通那從零訓練一個小模型是性價比極高的選擇。Xihe 這個名字沒什么特殊含義就是我自己給實驗模型起的代號。下面按完整流水線順序展開。1. 先想清楚為什么從零訓練Xihe 的定位與預算1.1 從零訓練和下載現(xiàn)成模型的本質(zhì)區(qū)別很多人看到“從零訓練”第一反應是不理解開源社區(qū)已經(jīng)有一堆預訓練語言模型隨便下一個不就行了嗎這句話對通用場景確實成立但“從零訓練”和“下載現(xiàn)成權重再微調(diào)”解決的問題本質(zhì)上不一樣。下載現(xiàn)成模型相當于精裝修二手房到手后改軟裝效率確實高但你沒法換戶型。體現(xiàn)在技術上就是詞表不是你自己定的里面中文字符切得碎不碎你說了不算預訓練數(shù)據(jù)配比不是你決定的模型當前積累的知識邊界也不是你設計的更關鍵的是如果你想針對某個垂直領域比如法律條文、內(nèi)部文檔、古籍、特定產(chǎn)品話術做深度優(yōu)化現(xiàn)成權重的數(shù)據(jù)分布和你真正需要的數(shù)據(jù)分布之間有一道很難跨過去的坎。從零訓練則相當于自己買地蓋樓。地基用什么材料、每層樓多高、窗戶開多大全都可以按需求來。代價是成本高、周期長、工程細節(jié)多。Xihe 這個項目之所以選擇從零做是因為我想跑通一條完全可控的玩具級生產(chǎn)線從清洗語料開始體驗一個 Base 模型怎么從隨機權重變成能對話、能守規(guī)矩、能對齊偏好的完整過程。這個經(jīng)歷對理解微調(diào)、RLHF 替代方案、模型收斂問題都特別有幫助。1.2 目標模型規(guī)格與實際預算Xihe 的規(guī)格我最終定成了兩檔一檔是 0.5B 參數(shù)用于快速驗證流程另一檔是 1.3B 參數(shù)作為最終實驗基線。結構上采用目前主流的 decoder-only Transformer具體配置類似 LLaMARMSNorm、SwiGLU 激活、RoPE 位置編碼詞表是單獨訓練的 32K 中文 BPE。為什么選 1.3B 而不是直接上 7B原因很現(xiàn)實1.3B 在消費級多卡上訓練可控單卡推理也毫無壓力而且很多實驗現(xiàn)象比如學習率敏感度、災難性遺忘、偏好對齊漂移在 1.3B 已經(jīng)體現(xiàn)得很明顯。你用 1.3B 踩過的坑放到 7B 以上一樣會遇到只不過換了個更大的臺階。預算方面只按預訓練階段算一筆賬。假設用 1.3B 參數(shù)、5B token 數(shù)據(jù)量訓練總計算量大約是 FLOPs 6ND也就是 6 × 1.3e9 × 5e9 ≈ 3.9e19 FLOPs。用 8 張 H100單卡稠密算力約 989 TFLOPS按 30%-45% 的實際利用率估算純計算時間大概在 4-6 小時。如果換成 8 張 4090利用率低一些大概要 2-3 天。這只是預訓練后面還有 CPT、SFT、蒸餾、DPO所以完整流程建議按一周左右的機器時間來規(guī)劃。如果預算緊張把模型降到 0.5B數(shù)據(jù)量也降到 2B token預訓練時間可以直接縮短一個數(shù)量級整條流程仍然能跑完。1.3 小語言模型的獨特價值和適用邊界小模型經(jīng)常被拿來和大模型對比效果但這其實混淆了目標。小語言模型的價值從來不是超越大模型而是在特定約束下做到“夠用且可控”。比如單位內(nèi)部的知識助手、教學用的示例模型、需要低延遲離線部署的邊緣場景1B 級別比 7B/13B 有優(yōu)勢得多。另外小模型的失敗模式也是學習大模型技術最好的教材。參數(shù)少意味著容量有限它會把訓練數(shù)據(jù)里的問題赤裸裸地暴露出來數(shù)據(jù)里有重復它就學會復讀數(shù)據(jù)里廢話多它就口若懸河但空洞偏好數(shù)據(jù)質(zhì)量差它立刻變成“諂媚怪”。這些現(xiàn)象在 7B 上也會出現(xiàn)但小模型出現(xiàn)得更快、更明顯定位起來更容易。所以 Xihe 這個項目的真正定位不是一個“能打的模型”而是一條“能跑通、能調(diào)參、能理解問題”的完整流水線。2. 預訓練與 CPT先把 Base 模型造出來2.1 數(shù)據(jù)準備小模型比大模型更依賴高質(zhì)量語料預訓練的第一步不是寫代碼而是洗數(shù)據(jù)。一個大模型可能靠著超大數(shù)據(jù)量硬扛數(shù)據(jù)噪聲小模型沒有這個余量臟數(shù)據(jù)會直接體現(xiàn)在困惑度和生成質(zhì)量上。我 v1 版本直接用了一個開源中文語料包大概 200GB 原始文本。清洗流程我分成了四步第一步去 HTML 標簽、控制字符、零寬字符把所有不可見字符清掉第二步做精確去重和近似去重近似去重用 MinHash 加 SimHash閾值設在 0.85 左右把重復段落占比壓到 1% 以下第三步做語言過濾和質(zhì)量過濾保留中文、英文和代碼用困惑度過濾掉亂碼和拼湊文本第四步是檢查標點符號和段落結構不能為了一味“干凈”把所有標點都刪掉標點是模型學語法的重要線索。數(shù)據(jù)配比我最終選了中文 70%、英文 20%、代碼 10%。這個比例沒有絕對最優(yōu)可以根據(jù)后續(xù)應用場景調(diào)整。但有一點一定要記住小模型學不完海量語料所以數(shù)據(jù)質(zhì)量遠比數(shù)量重要。寧可只留 5B token 的干凈語料也不要硬上 50B token 的低質(zhì)量文本。2.2 Tokenizer 訓練詞表是模型理解中文的底層視角很多教程會直接跳過 tokenizer 訓練直接拿現(xiàn)成詞表用。但既然是從零訓練Tokenizer 這一關繞不過去。我用 SentencePiece 或 Hugging Face Tokenizers 庫訓練了一個 BPE 詞表語料只用了清洗后數(shù)據(jù)的抽樣部分約 1 億 token。詞表大小定為 32K不要盲目追求大詞表因為 embedding 參數(shù)會跟著膨脹1.3B 模型在 32K 詞表下的 embedding 矩陣只占很小一部分但如果你把詞表提到 100K存儲和顯存開銷都會明顯上漲。最關鍵的一步是在訓完詞表之后做“中文可讀性檢查”。我拿“人工智能”“自然語言處理”“甲骨文”這類詞去分詞觀察它們被切成了幾個 token。如果常見的領域?qū)Ｓ忻~被切得過碎說明 BPE 訓練語料的覆蓋不夠或者參數(shù)不合適。Tokenizer 的好壞直接影響后續(xù)所有階段的性能這個環(huán)節(jié)值得多花幾小時反復驗證。2.3 預訓練超參與訓練細節(jié)預訓練階段我用的是 1.3B 配置序列長度設為 1024全局 batch size 控制在 0.5M token 左右。8 張卡的情況下單卡 batch 是 32 條序列全局就是 256 條序列但 1.3B 模型在 4090 上放不下這個 batch所以實際用了梯度累積把物理 batch 拆小累積步數(shù)按顯存調(diào)整。學習率我優(yōu)先嘗試峰值 1e-3warmup 500 步采用 cosine schedule 衰減到 1e-4。如果你發(fā)現(xiàn)訓練不穩(wěn)定先降到 5e-4不要糾結。小模型把學習率調(diào)大一點通常能加速收斂但梯度 norm 一旦超過 10就要警惕發(fā)散?；旌暇任矣玫氖?BF16它比 FP16 穩(wěn)很多基本不用處理溢出問題。梯度裁剪開在 1.0。預訓練跑完后的 base 模型不需要能“對話”它的任務是續(xù)寫文本。判斷預訓練質(zhì)量的指標是困惑度和 loss而不是生成效果。我跑 5B token 后 loss 降到 2.2 附近說實話這個量級下 base 不算訓透但作為后續(xù)階段的基礎已經(jīng)夠用了。如果你想更接近理論最優(yōu)按 Chinchilla 的估計1.3B 模型可能需要 20B 以上的訓練數(shù)據(jù)但這個成本在小項目里不太現(xiàn)實。2.4 CPT讓通用基座變得更懂目標領域如果你的語料已經(jīng)以中文為主其實可以不做 CPT。但如果后續(xù)要接入法律、醫(yī)療或者某個垂直領域CPT 就非常關鍵。CPT 全稱是 Continual Pre-Training在已有模型基礎上用領域語料繼續(xù)做自回歸訓練。做 CPT 最大的坑是災難性遺忘。本來 base 已經(jīng)學會的通用知識你用領域語料一沖擊可能迅速退化。我的處理方法是領域數(shù)據(jù)和通用數(shù)據(jù)按 1:2 的比例混合訓練學習率從預訓練的 1e-3 級別大幅降到 5e-5 級別訓練步數(shù)控制在預訓練總步數(shù)的 10%-20% 以內(nèi)。觀察指標不能只看領域困惑度還得同時盯通用困惑度如果通用 PPL 突然暴漲就說明回放比例不夠。這里順帶提一句很多人搜“RoBERTa 中文預訓練模型”以為那可以作為生成模型的基座。其實 RoBERTa 這類模型是針對分類、NER 等判別任務的網(wǎng)絡結構是 encoder-only不是生成式 LLM 的架構。視覺那邊常有人搜 YOLOv8 預訓練權重下載那本質(zhì)上是遷移學習里的“復用預訓練權重再微調(diào)”思路和 NLP 里的 checkpoint 復用一個道理但和語言模型的從零預訓練是兩碼事。如果要做生成老老實實把 decoder-only 基座訓練好不要指望拿判別模型的權重來續(xù)寫。3. SFT 與 PEFT讓模型學會指令跟隨3.1 指令數(shù)據(jù)怎么構建和篩選有了 base 模型之后模型還是一個“續(xù)寫機器”你問它問題它不會按對話格式回答只會按概率續(xù)寫。SFT 階段就是教會它“用戶說什么、助手答什么”的交互模式。數(shù)據(jù)格式我用的很樸素的 JSONL 結構包含 instruction、input、output然后按自定義的對話模板拼成一條完整文本。模板長這樣用戶消息用特殊 token 包裹助手回復用另一個特殊 token 包裹訓練時只對助手部分算 loss用戶部分在 label 里全部置為 -100否則模型會學著把用戶問題也復述一遍損失函數(shù)的方向就錯了。數(shù)據(jù)量方面我實測對 1.3B 模型來說 1 萬到 3 萬條高質(zhì)量指令是甜點區(qū)間。少于 5 千條模型學不到模式多于 5 萬條非常容易出現(xiàn)重復輸出和過度背誦。SFT 數(shù)據(jù)的質(zhì)量篩選比數(shù)量更重要。我做了三件事第一按輸出長度過濾少于 20 個字的刪掉第二做全局重復篩選確保沒有大量雷同話術第三隨機抽 100 條人工看重點檢查格式是否統(tǒng)一、答案是否明顯錯誤。如果你接到的數(shù)據(jù)來源是大模型生成的抽檢更要嚴格因為大模型也會一本正經(jīng)地胡說八道。3.2 SFT 訓練細節(jié)與收斂判斷SFT 階段的超參和預訓練完全不同。預訓練學習率可以用 1e-3SFT 全參微調(diào)我建議從 2e-5 到 5e-5 之間試起。epoch 不要貪多1 到 2 輪就夠了。loss 降低速度和預訓練相比會快得多因為模型只需要調(diào)整到適合當前任務分布的參數(shù)狀態(tài)而不是從零學語法。一個經(jīng)常被忽略的問題是“不要只看 token 平均 loss”。SFT 階段經(jīng)常出現(xiàn)訓練 loss 已經(jīng)非常低但實際生成質(zhì)量很差的怪現(xiàn)象。原因是模型可能把助手模板背下來了回復卻空洞套路化。我習慣在訓練過程中每幾百步保存一次 checkpoint然后用固定測試集做生成測試肉眼判斷輸出是否自然。自動化指標只能輔助SFT 階段的最終標準必須是“抽看生成的文本”。如果你發(fā)現(xiàn)模型訓練完之后只會回“好的請問還有什么可以幫您”這類話大概率是數(shù)據(jù)里這類套話太多。不要試圖靠調(diào)高采樣溫度來掩蓋必須回到數(shù)據(jù)層面刪掉同質(zhì)化輸出。3.3 PEFTLoRA 和 QLoRA 到底怎么選PEFT 的全稱是參數(shù)高效微調(diào)核心思想是凍結大部分模型權重只訓練少量新增參數(shù)?，F(xiàn)在最常用的就是 LoRA寫成矩陣形式就是 W′ W BAB 和 A 是兩個低秩小矩陣通過低秩分解把更新量約束在一個很小的子空間里。我用的 LoRA 典型配置是 r16、lora_alpha32、lora_dropout0.05target_modules 覆蓋注意力層和 FFN 層也就是 q_proj、k_proj、v_proj、o_proj、gate_proj、up_proj、down_proj。embedding 和 lm_head 一般不做 LoRA因為這兩個地方對生成的影響很敏感訓練不穩(wěn)定。用 PEFT 庫的寫法非常直接from peft import LoraConfig, get_peft_model lora_config LoraConfig( r16, lora_alpha32, target_modules[q_proj, k_proj, v_proj, o_proj], lora_dropout0.05, task_typeCAUSAL_LM, ) model get_peft_model(base_model, lora_config) model.print_trainable_parameters()那到底什么時候用全參 SFT什么時候用 PEFT我的經(jīng)驗是如果模型只有 1.3B而且你已經(jīng)決定只做一個最終模型那全參 SFT 并不會貴到哪里去效果通常是最穩(wěn)的。LoRA 的真正價值在于三件事顯存不足時救命、需要同時保留多套風格時做到可插拔、以及快速做 A/B 實驗時不用反復復制完整權重。QLoRA 更加激進把基座模型量化到 4bit 再加 LoRA適合在單卡上微調(diào) 7B、13B 甚至更大模型。但 Xihe 本身只有 1.3BQLoRA 就不太必要了。LoRA 的實戰(zhàn)經(jīng)驗還談不上完美它往往能達到全參微調(diào)八成到九成的效果但在知識密度高、推理鏈路長的任務上差距會更明顯。rank 不是越大越好我試過 r64在小數(shù)據(jù)量上反而更容易過擬合。如果數(shù)據(jù)量不大r16 是一個穩(wěn)重的起點。4. 蒸餾讓小模型借大模型的判斷力漲知識4.1 蒸餾的核心邏輯不是復制權重而是學習判斷模型已經(jīng)能對話了但效果離大模型還有明顯差距。蒸餾階段要做的事情是讓大模型當“老師”把它的知識和判斷方式遷移到小模型上。蒸餾不是直接復制大模型的權重而是讓小模型學會“在哪些答案之間做選擇”。老師傅帶學徒有兩種帶法一種是把每個動作的發(fā)力方式拆解出來一點點講——這對應 logits 蒸餾另一種是直接讓學徒做大量練習老師在旁邊批改——這對應行為蒸餾。對語言模型來說前者需要師生模型共享完全相同的詞表因為 logits 是按詞表維度對齊的后者則沒有這個限制更通用。對 Xihe 來說我訓練的小模型詞表和絕大多數(shù)開源大模型都不一樣所以 logits 蒸餾做不了。但這不代表蒸餾無法進行把大模型生成的答案當作新的 SFT 數(shù)據(jù)本質(zhì)上就是一種蒸餾。這條路線網(wǎng)上一般叫“指令蒸餾”它實現(xiàn)簡單、效果顯著是小模型獲取高質(zhì)量行為模式的主流方式。4.2 logits 蒸餾的參數(shù)設計和實現(xiàn)要點如果以后你的學生模型和老師模型詞表一致可以嘗試離線 logits 蒸餾。做法是先把大模型在大量固定 prompt 上的輸出 logits 提前算好并緩存然后讓學生模型在這些 logits 上學習。溫度是 logits 蒸餾最核心的超參。常規(guī)做法是將 logits 除以一個溫度 T 再做 softmax讓概率分布變得更平滑這樣“次優(yōu)答案”之間的差異也能被小模型學到。T 一般取 2 到 5。損失函數(shù)是學生分布的 KL 散度加上硬標簽的交叉熵兩者按權重混合。因為 KL 散度對溫度縮放后的 logits 梯度會有 T2 量級的變化所以訓練時要乘回 T2否則實際學習率會被帶偏。偽代碼大致長這樣teacher_logits teacher(input_ids) # 提前緩存 student_logits student(input_ids) T 3.0 loss_kl kl_div( log_softmax(student_logits / T), softmax(teacher_logits / T), ) * T * T loss_ce cross_entropy(student_logits, hard_labels) loss loss_kl alpha * loss_ce這個方案的坑在于對齊細節(jié)prompt 的 padding 方式、序列長度截斷策略、位置編碼偏移都會影響 logits 分布。如果 logits 對不齊蒸餾效果會非常差而且不好排查。我個人的建議是只有在你確實需要極限壓縮模型且詞表一致的前提下才選擇 logits 蒸餾否則無腦用行為蒸餾更省心。4.3 行為蒸餾實操用大模型生成 SFT 數(shù)據(jù)我把大模型當成“數(shù)據(jù)生產(chǎn)機器”先收集了一批 seed 問題然后用大模型批量生成答案。seed 問題主要來自開源指令集、網(wǎng)頁問答和我自己手寫的覆蓋性題目最終篩出 2 萬條左右作為蒸餾數(shù)據(jù)。大模型生成答案時我調(diào)的溫度在 0.7 到 0.9 之間太低容易模板化太高會胡編。生成完以后清洗流程和 SFT 數(shù)據(jù)一樣去重、過濾空回復、過濾明顯格式錯誤然后人工抽檢 200 條。這里要特別強調(diào)行為蒸餾最大的坑是大模型自己也會“翻車”如果種子問題帶有誘導性或者生成內(nèi)容包含錯誤知識小模型會原封不動學會。我最后會在數(shù)據(jù)里混入 20% 到 30% 的人工高質(zhì)量答案用來對沖大模型的固定語氣和潛在錯誤。行為蒸餾的訓練目標就是普通 SFT區(qū)別只在于數(shù)據(jù)來源。跑完之后用同樣的測試集對比上一步 SFT 全參模型我發(fā)現(xiàn) Xihe 在開放域問答上的通順程度明顯提升幻覺比例也有所下降因為“老師”提供的答案通常更有邏輯層次小模型模仿這種結構后輸出不再碎片化。4.4 蒸餾后的評估方式蒸餾后不能只看 loss因為小模型可能只是“學會了老師的口吻”并沒有真正記住更多知識。我的評估分兩層一層是固定指令集上的自動指標包括關鍵詞命中率、答案長度、重復率另一層是人工打分把 SFT 版和蒸餾版的輸出并排放一起盲評。盲評結果比任何指標都直觀小模型有沒有把大模型的“骨架”學到一眼就能看出來。這里提醒一句蒸餾之后模型的參數(shù)量和推理速度完全不變提升的是數(shù)據(jù)效率和監(jiān)督信號強度。所以不要期待蒸餾能讓模型“變聰明”到超越理論容量上限它只是讓模型在同樣規(guī)模下發(fā)揮得更充分。5. DPO輕量級對齊不碰 RLHF 也能有偏好5.1 DPO 和 RLHF 的本質(zhì)區(qū)別對齊階段傳統(tǒng)方案是 RLHF先訓練獎勵模型再用 PPO 去優(yōu)化策略中間涉及大量工程細節(jié)包括獎勵模型的校準、PPO 的 KL 懲罰、各項超參的平衡對 1.3B 這種規(guī)模的實驗來說性價比很低。DPO 出現(xiàn)后這條路徑被大幅簡化了。DPO 的核心思路是直接通過偏好數(shù)據(jù)構造優(yōu)化目標不再單獨訓練獎勵模型也不再需要強化學習。它假設存在一個隱含的獎勵函數(shù)通過“chosen 回答優(yōu)于 rejected 回答”的約束去調(diào)整策略分布。訓練目標是讓模型提高 chosen 答案的概率、降低 rejected 答案的概率同時用參考模型ref model當作錨點防止模型偏離 SFT 后的分布太遠。DPO 的 loss 可以簡寫成這樣L -log σ(β * (log πθ(y_w) - log πref(y_w) - log πθ(y_l) log πref(y_l)))其中 y_w 是更優(yōu)回答y_l 是更差回答β 控制偏離參考模型的強度。這個式子看起來很抽象但直覺很好理解如果模型對 chosen 和 rejected 的得分差距越大loss 越小β 越小模型越被允許在偏好數(shù)據(jù)上大步修改。對 Xihe 這種小項目來說DPO 的優(yōu)勢非常明顯訓練穩(wěn)定不需要維護多個模型和采樣環(huán)節(jié)數(shù)據(jù)只需要 prompt、chosen、rejected 三要素幾千到一萬條偏好對就能看到效果。這比 RLHF 動輒要搭一堆組件友好太多了。5.2 偏好數(shù)據(jù)從哪來偏好數(shù)據(jù)的構建是最容易偷懶、也是最影響 DPO 效果的地方。理想情況下你需要對同一個 prompt 有兩段答案一段明顯更好、一段明顯更差。數(shù)據(jù)來源有三類第一類是人工標注質(zhì)量最高但成本也最高第二類是模型對比用多個大模型生成多個回答再人工或規(guī)則評選優(yōu)劣第三類是讓一個大模型同時扮演生成者和打分者先產(chǎn)出多個答案再用評委指令打分排序。我實驗時用的是混合方案找了一批種子 prompt讓兩個不同參數(shù)規(guī)模的開源模型分別生成回答再用一個更強的模型當裁判投票選優(yōu)劣。裁判也會誤判所以 final 前抽了 500 條人工復核把明顯不合理的樣本剔掉。最終留下約 8000 條有效偏好對。數(shù)量不需要多但 chosen 和 rejected 之間的差異必須要明顯。如果兩者只是措辭小差別DPO 基本學不到東西。數(shù)據(jù)格式長這樣{ prompt: 給我解釋一下什么是梯度消失。, chosen: 梯度消失是指反向傳播時梯度逐層變小導致前面的層幾乎無法更新……, rejected: 梯度消失就是梯度變小可能產(chǎn)生一些影響。 }5.3 DPO 訓練參數(shù)與典型坑DPO 訓練我直接用了 TRL 庫配置很簡單from trl import DPOTrainer, DPOConfig dpo_config DPOConfig( beta0.1, lr5e-6, max_length1024, max_prompt_length512, ) trainer DPOTrainer( modelmodel, ref_modelref_model, train_datasetdataset, argsdpo_config, ) trainer.train()這里的 model 用 SFT 之后的學生模型初始化ref_model 必須是在相同 SFT 權重下凍結的副本。如果 ref_model 用錯loss 的絕對數(shù)值會異常而且訓練方向可能完全錯誤。β 常用 0.1可以先按這個值跑一個 epoch如果訓練集 loss 在穩(wěn)定下降說明數(shù)據(jù)分布和參考模型距離合理如果 loss 掉得極快但是生成質(zhì)量變差說明 β 偏大改成 0.05 再試。學習率比 SFT 低很多1e-5 已經(jīng)算上限。DPO 階段最大的坑是 reward hacking。模型找到了提高 loss 的捷徑表現(xiàn)為輸出變得非?！罢~媚”過度使用肯定語氣和高頻詞匯但內(nèi)容空洞甚至出錯。應對方法很簡單訓練輪數(shù)限制在一個 epoch最多兩個觀測驗證集上的人工評分而不是盯著 DPO loss 不放。DPO 不會給模型補充新知識它只改變模型對回答風格的偏好所以不要指望它對事實性錯誤有修復作用。5.4 蒸餾、PEFT 和 DPO 的組合路線完整的流程不是只能走一條直線可以自由組合。我在 Xihe 上實際跑了三條并行版本線第一條是全參 SFT 后直接 DPO用來觀察對齊對全參模型的增益第二條是在 LoRA 適配器上做 SFT 和 DPO適合需要保留多套風格的部署場景第三條是蒸餾數(shù)據(jù) SFT 后再 DPO這條線最終效果最好因為蒸餾已經(jīng)提升了模型對高質(zhì)量回答的模仿能力DPO 再進一步壓縮偏好差距。路徑選擇沒有絕對標準我建議按模塊化看待預訓練和 CPT 提供語言能力SFT 提供任務格式蒸餾提供更強的監(jiān)督DPO 提供偏好約束。每一步都是可插拔的你完全可以在某個階段單獨停止或替換數(shù)據(jù)。6. 完整訓練管線、顯存省法與問題排查實錄6.1 各階段配置速查與成本總覽把整個流水線放在一張表里看會更清楚階段模型規(guī)模數(shù)據(jù)量學習率訓練輪數(shù)/步數(shù)參考耗時8×4090預訓練1.3B5B token1e-3 → 1e-4約 6000 步2-3 天CPT1.3B1B token 混合5e-5約 1000 步0.5 天SFT 全參1.3B1-3 萬條2e-5 起1-2 epoch2-4 小時LoRA SFT1.3B同上1e-4 起1-2 epoch1-2 小時蒸餾 SFT1.3B2 萬條生成數(shù)據(jù)2e-5 起1 epoch3-5 小時DPO1.3B8000 條偏好對5e-6 到 1e-51 epoch1-3 小時這個表只是我實驗中的參考值不是標準答案。你的數(shù)據(jù)質(zhì)量和機器配置不同數(shù)字會浮動很大但階段之間的相對關系是穩(wěn)定的SFT 和 DPO 的消耗遠小于預訓練所以把預算重點放在預訓練和 CPT 上不會錯。6.2 訓練 NaN 與不收斂排查順序這個可能是最多人卡住的問題。Loss 變成 NaN不要急著調(diào)學習率按順序排查先檢查數(shù)據(jù)里有沒有空樣本、控制字符、非法 token id其次檢查 labels 是不是某個 batch 里全部為 -100這會讓 loss 計算變成除零我實際就遇到過 SFT 階段因為序列截斷導致 loss 缺失的情況加上“有效 token 數(shù)小于 1 就跳過”的判斷即可解決再檢查混合精度FP16 容易溢出換 BF16最后看學習率和梯度裁剪梯度 norm 大于 10 時優(yōu)先降學習率。Loss 不下降的排查思路不一樣。如果預訓練 loss 平著不降先確認數(shù)據(jù)是否真的切分并 shuffle 過我見過有人把同一個連續(xù)文本切片當成獨立樣本送進去數(shù)據(jù)順序沒打亂模型只能背順序。其次檢查 warmup 和峰值學習率是否匹配1e-3 對 1.3B 已經(jīng)不小了如果還在大規(guī)模波動降一半重新跑。6.3 生成重復、空話連篇的常見原因生成重復這個問題在小模型和微調(diào)模型里特別常見。最直接的原因是訓練數(shù)據(jù)里重復句子太多比如“好的請問還有什么可以幫您”在指令數(shù)據(jù)里出現(xiàn)幾百次模型自然會把這句話變成高頻模式。還有一種原因是 epoch 過多模型開始機械記憶訓練集而不是學習泛化規(guī)則。我的經(jīng)驗是寧可把 epoch 減少到 0.5 epoch也不要跑到 3 個 epoch 以上。如果模型只是回答短、不會展開通常是數(shù)據(jù)里長答案不足。加一些長輸出樣本或者用大模型生成的蒸餾數(shù)據(jù)補充就能緩解。調(diào)解碼參數(shù)對這種情況幫助有限那是治標不治本。6.4 顯存不夠的省錢方案小模型項目最常見的問題是“單卡放不下”。實際上 1.3B 模型在 24G 顯存的 4090 上是能全參 SFT 的只要你把序列長度壓到 512、開啟梯度 checkpointing、使用 BF16 混合精度。如果顯存還是不夠有幾個優(yōu)先級很高的操作先把 batch size 降到最小用梯度累積補全局 batch再開 activation checkpointing代價是訓練速度慢 20%-30%還可以做 4bit 量化走 QLoRA 路線。不到萬不得已不要壓縮序列長度因為序列長度直接影響模型對長上下文的建模能力。云 GPU 按小時租用也是一個好辦法。預訓練階段租 8 卡 A100 或 H100 實例SFT 和 DPO 階段直接用 4090 實例整體成本可能比買卡便宜很多。記得關實例我見過不少人忘了關導致費用翻倍。寫在最后完整跑一遍的價值如果只追求從開源項目里拉一個模型下來跑推理你永遠不會知道數(shù)據(jù)清洗在整條流水線里的分量也不會理解為什么 SFT 學習率要比預訓練低兩個數(shù)量級更不會明白 DPO 里的參考模型為什么必須凍結。這些知識不是看文檔能補上的必須自己撞一次墻才能內(nèi)化。我做完 Xihe 之后最大的體會是小模型從頭訓練難的不是某一個單獨環(huán)節(jié)而是統(tǒng)籌一整條流水線。每個環(huán)節(jié)的決策都會傳導到下一環(huán)預訓練時偷懶不做去重SFT 時可能被重復數(shù)據(jù)帶偏SFT 時多跑了幾個 epochDPO 階段可能怎么調(diào)都救不回來。如果你打算自己動手建議先用 0.5B 模型跑通全流程再把規(guī)模放大到 1.3B。等你完整跑完一次之后你再看“預訓練模型下載”和“微調(diào)”這類話題視角會完全不一樣。