置模型實(shí)戰(zhàn)：ERNIE 4.5 系列在 vLLM、llama.cpp 與 MLX 上的部署全解)
Xinference 內(nèi)置模型實(shí)戰(zhàn)ERNIE 4.5 系列在 vLLM、llama.cpp 與 MLX 上的部署全解【免費(fèi)下載鏈接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/in/inference本篇基于 Xinference 倉(cāng)庫(kù)中 ERNIE 4.5 的內(nèi)置模型文檔ernie4.5.rst完整拆解該系列 3 個(gè)尺寸、9 份模型規(guī)格Model Spec的格式、量化、引擎與 Model ID 細(xì)節(jié)并結(jié)合 llm_family.json 與 vllm/core.py 的源碼說(shuō)明每份規(guī)格在 Xinference 中的實(shí)際加載邏輯。讀完后你可以直接復(fù)制命令按硬件條件選擇合適的格式與量化把 ERNIE 4.5 跑起來(lái)。模型概覽規(guī)格、上下文與能力邊界ERNIE 4.5 在 Xinference 中作為**內(nèi)置模型builtin model**注冊(cè)其元數(shù)據(jù)集中定義在 llm_family.json 中對(duì)應(yīng)條目包含以下核心屬性屬性值說(shuō)明Context Length131072128K最大上下文窗口Model NameErnie4.5--model-name參數(shù)取值Languagesen, zh中英文雙語(yǔ)Abilitieschat當(dāng)前僅注冊(cè) chat 能力ArchitecturesErnie4_5ForCausalLM模型架構(gòu)標(biāo)識(shí)model_typeernie4_5底層模型類型DescriptionERNIE 4.5, a new family of large-scale multimodal models comprising 10 distinct variants官方描述該系列覆蓋從 0.3B 到 300B 的 3 個(gè)尺寸其中兩個(gè)大尺寸是 MoE混合專家結(jié)構(gòu)0.3B稠密小模型適合單卡/邊緣場(chǎng)景快速驗(yàn)證21B-A3B總參數(shù) 21B、激活參數(shù) 3Bmodel_size_in_billions: 21, activated_size_in_billions: 3推理成本接近 3B 稠密模型300B-A47B總參數(shù) 300B、激活參數(shù) 47B旗艦尺寸。注意一個(gè)容易踩坑的點(diǎn)--size-in-billions參數(shù)對(duì) 0.3B 尺寸的取值是字符串0_3而不是0.3下劃線替代小數(shù)點(diǎn)這是 Xinference 內(nèi)置模型的命名約定文檔與 llm_family.json 中均如此登記。9 份模型規(guī)格逐條解析原始文檔將 ERNIE 4.5 拆分為 9 份 Model Spec3 尺寸 × 3 格式pytorch / ggufv2 / mlx。以下是完整繼承并整理后的規(guī)格清單Spec尺寸格式量化選項(xiàng)支持引擎Model IDHugging Face / ModelScope10.3BpytorchnonevLLM, Transformersbaidu/ERNIE-4.5-0.3B-PT/PaddlePaddle/ERNIE-4.5-0.3B-PT20.3Bggufv2Q2_K, Q2_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_1, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K, Q8_0, F16vLLM, llama.cppunsloth/ERNIE-4.5-0.3B-PT-GGUF兩 Hub 同名30.3Bmlx4bit, bf16MLXmlx-community/ERNIE-4.5-0.3B-PT-{quantization}兩 Hub 同名421BpytorchnonevLLM, Transformersbaidu/ERNIE-4.5-21B-A3B-Base-PT/PaddlePaddle/ERNIE-4.5-21B-A3B-Base-PT521Bggufv2Q2_K, Q2_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_1, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K, Q8_0, BF16vLLM, llama.cppunsloth/ERNIE-4.5-21B-A3B-PT-GGUF621Bmlx4bit, 5bit, 6bit, 8bit, bf16MLXmlx-community/ERNIE-4.5-21B-A3B-PT-{quantization}7300BpytorchnonevLLM, Transformersbaidu/ERNIE-4.5-300B-A47B-PT/PaddlePaddle/ERNIE-4.5-300B-A47B-PT8300Bggufv2Q2_K, Q4_K_M, Q6_K, Q8_0vLLM, llama.cppunsloth/ERNIE-4.5-300B-A47B-PT-GGUF9300Bmlx4bitMLXmlx-community/ERNIE-4.5-300B-47B-PT-{quantization}幾個(gè)選型要點(diǎn)0.3B 的 GGUF 量化檔位最全Q2_K 到 F16 共 13 檔因?yàn)閱挝募w積小300B 的 GGUF 只提供 4 個(gè)檔位Q2_K / Q4_K_M / Q6_K / Q8_0這是超大規(guī)模 MoE 模型常見(jiàn)的做法——只保留極省顯存、均衡、高質(zhì)量、近無(wú)損四檔代表。MLX 格式只走 Apple 芯片路徑0.3B 僅 4bit/bf1621B 有 4/5/6/8bit 與 bf16 全檔300B 僅 4bit47B 激活參數(shù)量級(jí)下這是務(wù)實(shí)選擇。pytorch 格式統(tǒng)一只有 none 量化即 fp 權(quán)重原始精度由 vLLM 或 Transformers 引擎承載。啟動(dòng)命令三種格式的完整示例原始文檔給出的命令模板如下${engine}從該 Spec 支持的引擎中取${quantization}從量化列表中取pytorch 格式Spec 1 / 4 / 7xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 0_3 --model-format pytorch --quantization ${quantization} xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 21 --model-format pytorch --quantization ${quantization} xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 300 --model-format pytorch --quantization ${quantization}pytorch 格式量化只有none引擎取vllm或transformers例如 21B-A3B 用 vLLM 啟動(dòng)xinference launch --model-engine vllm --model-name Ernie4.5 --size-in-billions 21 --model-format pytorch --quantization noneggufv2 格式Spec 2 / 5 / 8xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 0_3 --model-format ggufv2 --quantization ${quantization} xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 21 --model-format ggufv2 --quantization ${quantization} xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 300 --model-format ggufv2 --quantization ${quantization}以 21B-A3B Q4_K_M llama.cpp 為例xinference launch --model-engine llama.cpp --model-name Ernie4.5 --size-in-billions 21 --model-format ggufv2 --quantization Q4_K_Mmlx 格式Spec 3 / 6 / 9xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 0_3 --model-format mlx --quantization ${quantization} xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 21 --model-format mlx --quantization ${quantization} xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 300 --model-format mlx --quantization ${quantization}mlx 格式的引擎固定為mlx{quantization}會(huì)直接拼入 Model ID例如 21B 的 4bit 版實(shí)際拉取的倉(cāng)庫(kù)是mlx-community/ERNIE-4.5-21B-A3B-PT-4bit。源碼佐證引擎依賴、vLLM 版本門檻與分片下載按引擎隔離的虛擬環(huán)境依賴從 llm_family.json 中 ERNIE 4.5 條目的virtualenv.packages字段看Xinference 為每個(gè)引擎注冊(cè)了獨(dú)立的依賴集采用 PEP 508 環(huán)境標(biāo)記語(yǔ)法#engine# xxx占位符在運(yùn)行時(shí)被替換virtualenv: { packages: [ #transformers_dependencies# ; #engine# \Transformers\, #llama_cpp_dependencies# ; #engine# \llama.cpp\, mlx-lm0.25.2 ; #engine# \MLX\, #vllm_dependencies# ; #engine# \vllm\, #system_numpy# ] }這意味著用--model-engine mlx啟動(dòng)時(shí)會(huì)安裝mlx-lm0.25.2用llama.cpp時(shí)啟用 llama.cpp 依賴集#system_numpy#表示統(tǒng)一復(fù)用系統(tǒng) numpy避免引擎間版本沖突。這也解釋了為什么 mlx 引擎與 CUDA 引擎可以共存于同一臺(tái)機(jī)器的不同虛擬環(huán)境中。vLLM 引擎的架構(gòu)版本門檻Ernie4_5ForCausalLM架構(gòu)并非所有 vLLM 版本都支持。在 vllm/core.py 中Xinference 按 vLLM 實(shí)際版本動(dòng)態(tài)維護(hù)支持列表if effective_version version.parse(0.9.2): _append_unique( VLLM_SUPPORTED_CHAT_MODELS, Ernie4_5ForCausalLM, Qwen3MoeForCausalLM, )即只有 vLLM ≥ 0.9.2 才會(huì)把Ernie4_5ForCausalLM加入 chat 支持列表。如果你的環(huán)境里 vLLM 版本低于該門檻即使指定--model-engine vllmXinference 的引擎協(xié)商邏輯也可能不會(huì)選中 vLLM 來(lái)跑這個(gè)模型此時(shí)可退回 Transformers 引擎pytorch 格式或 llama.cppggufv2 格式。官方 backends.rst 的 vLLM 支持模型清單中也已將Ernie4.5列入其中。300B GGUF 的分片下載機(jī)制對(duì)于 300B GGUFllm_family.json 額外定義了quantization_parts與分片文件名模板quantization_parts: { Q2_K: [00001-of-00003, 00002-of-00003, 00003-of-00003], Q4_K_M: [00001-of-00004, 00002-of-00004, 00003-of-00004, 00004-of-00004], Q6_K: [00001-of-00005, ..., 00005-of-00005], Q8_0: [00001-of-00007, ..., 00007-of-00007] }, model_file_name_split_template: {quantization}/ERNIE-4.5-300B-A47B-PT-{quantization}-{part}.gguf這說(shuō)明 300B 的 GGUF 權(quán)重是多文件分片發(fā)布Q2_K 3 片、Q4_K_M 4 片、Q6_K 5 片、Q8_0 7 片Xinference 會(huì)依據(jù)該模板逐個(gè)拉取分片后再交給 llama.cpp/vLLM 加載而不是一次性下載單一大文件。量化檔位與分片數(shù)的正相關(guān)精度越高、分片越多也直觀反映了顯存/內(nèi)存預(yù)算的線性關(guān)系。對(duì)話模板與停止信號(hào)ERNIE 4.5 條目還內(nèi)置了 chat_template 與停止信號(hào)這決定了 Xinference 對(duì)外的 chat 接口如何拼裝 prompt角色前綴采用User:/Assistant:的簡(jiǎn)潔格式system角色內(nèi)容直接拼接在消息頭部句子邊界使用 ERNIE 自有特殊 token|begin_of_sentence|/|end_of_sentence|停止條件為stop_token_ids: [2]與文本 stop/s。因此在自定義客戶端接入時(shí)若自行拼裝 prompt應(yīng)對(duì)齊上述模板與停止信號(hào)否則可能出現(xiàn)回復(fù)截?cái)嗷蚪巧靵y。引擎與格式怎么選一張決策表結(jié)合文檔與源碼信息按硬件條件給出決策路徑硬件/場(chǎng)景推薦格式推薦引擎推薦量化Linux NVIDIA GPU追求吞吐pytorch21B-A3BvLLM≥ 0.9.2noneLinux NVIDIA GPU顯存有限ggufv2vLLM / llama.cppQ4_K_M / Q5_K_MCPU-only / 邊緣設(shè)備ggufv20.3B 或 21Bllama.cppQ4_K_S ~ Q8_0內(nèi)存充足則 Q8_0Apple Silicon MacmlxMLX21B 選 4bit/8bit0.3B 選 4bit需要最高質(zhì)量參考實(shí)現(xiàn)pytorchTransformersnone幾點(diǎn)適用前提上下文全部規(guī)格共享 131072 的 context_length 上限但實(shí)際可用長(zhǎng)度受顯存/內(nèi)存與引擎調(diào)度限制長(zhǎng)上下文 大 MoE 尺寸300B組合需要按模型內(nèi)存估算見(jiàn) model_memory.rst自行評(píng)估能力目前注冊(cè)的能力只有chat雖然 ERNIE 4.5 官方描述提到多模態(tài)家族但在 Xinference 的 llm 分類下不提供 vision/tool 等能力聲明版本前提以上結(jié)論基于當(dāng)前倉(cāng)庫(kù)的 ernie4.5.rst 文檔與 llm_family.json 條目updated_at時(shí)間戳已登記量化檔位與 Model ID 可能隨上游倉(cāng)庫(kù)更新而變化以倉(cāng)庫(kù)實(shí)時(shí)內(nèi)容為準(zhǔn)。小結(jié)ERNIE 4.5 在 Xinference 中以3 尺寸 × 3 格式 9 份 Spec的完整矩陣提供0.3B 稠密小模型覆蓋全量化檔位便于低門檻驗(yàn)證21B-A3B 與 300B-A47B 兩個(gè) MoE 尺寸分別面向單節(jié)點(diǎn)與多卡場(chǎng)景。核心命令只有三條pytorch / ggufv2 / mlx 各一差異全部體現(xiàn)在--model-format、--size-in-billions0.3B 寫作0_3與--quantization上。落地前建議先確認(rèn)兩點(diǎn)環(huán)境中的 vLLM 版本是否 ≥ 0.9.2pytorch vLLM 路徑的硬門檻以及 MLX 路徑是否要求mlx-lm0.25.2Xinference 虛擬環(huán)境會(huì)自動(dòng)安裝。對(duì)齊這兩點(diǎn)后再按上表選擇規(guī)格即可把 ERNIE 4.5 接入到 Xinference 統(tǒng)一的推理 API 中?！久赓M(fèi)下載鏈接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/in/inference創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Xinference 內(nèi)置模型實(shí)戰(zhàn)：ERNIE 4.5 系列在 vLLM、llama.cpp 與 MLX 上的部署全解
Xinference 內(nèi)置模型實(shí)戰(zhàn)ERNIE 4.5 系列在 vLLM、llama.cpp 與 MLX 上的部署全解【免費(fèi)下載鏈接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/in/inference本篇基于 Xinference 倉(cāng)庫(kù)中 ERNIE 4.5 的內(nèi)置模型文檔ernie4.5.rst完整拆解該系列 3 個(gè)尺寸、9 份模型規(guī)格Model Spec的格式、量化、引擎與 Model ID 細(xì)節(jié)并結(jié)合 llm_family.json 與 vllm/core.py 的源碼說(shuō)明每份規(guī)格在 Xinference 中的實(shí)際加載邏輯。讀完后你可以直接復(fù)制命令按硬件條件選擇合適的格式與量化把 ERNIE 4.5 跑起來(lái)。模型概覽規(guī)格、上下文與能力邊界ERNIE 4.5 在 Xinference 中作為**內(nèi)置模型builtin model**注冊(cè)其元數(shù)據(jù)集中定義在 llm_family.json 中對(duì)應(yīng)條目包含以下核心屬性屬性值說(shuō)明Context Length131072128K最大上下文窗口Model NameErnie4.5--model-name參數(shù)取值Languagesen, zh中英文雙語(yǔ)Abilitieschat當(dāng)前僅注冊(cè) chat 能力ArchitecturesErnie4_5ForCausalLM模型架構(gòu)標(biāo)識(shí)model_typeernie4_5底層模型類型DescriptionERNIE 4.5, a new family of large-scale multimodal models comprising 10 distinct variants官方描述該系列覆蓋從 0.3B 到 300B 的 3 個(gè)尺寸其中兩個(gè)大尺寸是 MoE混合專家結(jié)構(gòu)0.3B稠密小模型適合單卡/邊緣場(chǎng)景快速驗(yàn)證21B-A3B總參數(shù) 21B、激活參數(shù) 3Bmodel_size_in_billions: 21, activated_size_in_billions: 3推理成本接近 3B 稠密模型300B-A47B總參數(shù) 300B、激活參數(shù) 47B旗艦尺寸。注意一個(gè)容易踩坑的點(diǎn)--size-in-billions參數(shù)對(duì) 0.3B 尺寸的取值是字符串0_3而不是0.3下劃線替代小數(shù)點(diǎn)這是 Xinference 內(nèi)置模型的命名約定文檔與 llm_family.json 中均如此登記。9 份模型規(guī)格逐條解析原始文檔將 ERNIE 4.5 拆分為 9 份 Model Spec3 尺寸 × 3 格式pytorch / ggufv2 / mlx。以下是完整繼承并整理后的規(guī)格清單Spec尺寸格式量化選項(xiàng)支持引擎Model IDHugging Face / ModelScope10.3BpytorchnonevLLM, Transformersbaidu/ERNIE-4.5-0.3B-PT/PaddlePaddle/ERNIE-4.5-0.3B-PT20.3Bggufv2Q2_K, Q2_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_1, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K, Q8_0, F16vLLM, llama.cppunsloth/ERNIE-4.5-0.3B-PT-GGUF兩 Hub 同名30.3Bmlx4bit, bf16MLXmlx-community/ERNIE-4.5-0.3B-PT-{quantization}兩 Hub 同名421BpytorchnonevLLM, Transformersbaidu/ERNIE-4.5-21B-A3B-Base-PT/PaddlePaddle/ERNIE-4.5-21B-A3B-Base-PT521Bggufv2Q2_K, Q2_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_1, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K, Q8_0, BF16vLLM, llama.cppunsloth/ERNIE-4.5-21B-A3B-PT-GGUF621Bmlx4bit, 5bit, 6bit, 8bit, bf16MLXmlx-community/ERNIE-4.5-21B-A3B-PT-{quantization}7300BpytorchnonevLLM, Transformersbaidu/ERNIE-4.5-300B-A47B-PT/PaddlePaddle/ERNIE-4.5-300B-A47B-PT8300Bggufv2Q2_K, Q4_K_M, Q6_K, Q8_0vLLM, llama.cppunsloth/ERNIE-4.5-300B-A47B-PT-GGUF9300Bmlx4bitMLXmlx-community/ERNIE-4.5-300B-47B-PT-{quantization}幾個(gè)選型要點(diǎn)0.3B 的 GGUF 量化檔位最全Q2_K 到 F16 共 13 檔因?yàn)閱挝募w積小300B 的 GGUF 只提供 4 個(gè)檔位Q2_K / Q4_K_M / Q6_K / Q8_0這是超大規(guī)模 MoE 模型常見(jiàn)的做法——只保留極省顯存、均衡、高質(zhì)量、近無(wú)損四檔代表。MLX 格式只走 Apple 芯片路徑0.3B 僅 4bit/bf1621B 有 4/5/6/8bit 與 bf16 全檔300B 僅 4bit47B 激活參數(shù)量級(jí)下這是務(wù)實(shí)選擇。pytorch 格式統(tǒng)一只有 none 量化即 fp 權(quán)重原始精度由 vLLM 或 Transformers 引擎承載。啟動(dòng)命令三種格式的完整示例原始文檔給出的命令模板如下${engine}從該 Spec 支持的引擎中取${quantization}從量化列表中取pytorch 格式Spec 1 / 4 / 7xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 0_3 --model-format pytorch --quantization ${quantization} xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 21 --model-format pytorch --quantization ${quantization} xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 300 --model-format pytorch --quantization ${quantization}pytorch 格式量化只有none引擎取vllm或transformers例如 21B-A3B 用 vLLM 啟動(dòng)xinference launch --model-engine vllm --model-name Ernie4.5 --size-in-billions 21 --model-format pytorch --quantization noneggufv2 格式Spec 2 / 5 / 8xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 0_3 --model-format ggufv2 --quantization ${quantization} xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 21 --model-format ggufv2 --quantization ${quantization} xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 300 --model-format ggufv2 --quantization ${quantization}以 21B-A3B Q4_K_M llama.cpp 為例xinference launch --model-engine llama.cpp --model-name Ernie4.5 --size-in-billions 21 --model-format ggufv2 --quantization Q4_K_Mmlx 格式Spec 3 / 6 / 9xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 0_3 --model-format mlx --quantization ${quantization} xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 21 --model-format mlx --quantization ${quantization} xinference launch --model-engine ${engine} --model-name Ernie4.5 --size-in-billions 300 --model-format mlx --quantization ${quantization}mlx 格式的引擎固定為mlx{quantization}會(huì)直接拼入 Model ID例如 21B 的 4bit 版實(shí)際拉取的倉(cāng)庫(kù)是mlx-community/ERNIE-4.5-21B-A3B-PT-4bit。源碼佐證引擎依賴、vLLM 版本門檻與分片下載按引擎隔離的虛擬環(huán)境依賴從 llm_family.json 中 ERNIE 4.5 條目的virtualenv.packages字段看Xinference 為每個(gè)引擎注冊(cè)了獨(dú)立的依賴集采用 PEP 508 環(huán)境標(biāo)記語(yǔ)法#engine# xxx占位符在運(yùn)行時(shí)被替換virtualenv: { packages: [ #transformers_dependencies# ; #engine# \Transformers\, #llama_cpp_dependencies# ; #engine# \llama.cpp\, mlx-lm0.25.2 ; #engine# \MLX\, #vllm_dependencies# ; #engine# \vllm\, #system_numpy# ] }這意味著用--model-engine mlx啟動(dòng)時(shí)會(huì)安裝mlx-lm0.25.2用llama.cpp時(shí)啟用 llama.cpp 依賴集#system_numpy#表示統(tǒng)一復(fù)用系統(tǒng) numpy避免引擎間版本沖突。這也解釋了為什么 mlx 引擎與 CUDA 引擎可以共存于同一臺(tái)機(jī)器的不同虛擬環(huán)境中。vLLM 引擎的架構(gòu)版本門檻Ernie4_5ForCausalLM架構(gòu)并非所有 vLLM 版本都支持。在 vllm/core.py 中Xinference 按 vLLM 實(shí)際版本動(dòng)態(tài)維護(hù)支持列表if effective_version version.parse(0.9.2): _append_unique( VLLM_SUPPORTED_CHAT_MODELS, Ernie4_5ForCausalLM, Qwen3MoeForCausalLM, )即只有 vLLM ≥ 0.9.2 才會(huì)把Ernie4_5ForCausalLM加入 chat 支持列表。如果你的環(huán)境里 vLLM 版本低于該門檻即使指定--model-engine vllmXinference 的引擎協(xié)商邏輯也可能不會(huì)選中 vLLM 來(lái)跑這個(gè)模型此時(shí)可退回 Transformers 引擎pytorch 格式或 llama.cppggufv2 格式。官方 backends.rst 的 vLLM 支持模型清單中也已將Ernie4.5列入其中。300B GGUF 的分片下載機(jī)制對(duì)于 300B GGUFllm_family.json 額外定義了quantization_parts與分片文件名模板quantization_parts: { Q2_K: [00001-of-00003, 00002-of-00003, 00003-of-00003], Q4_K_M: [00001-of-00004, 00002-of-00004, 00003-of-00004, 00004-of-00004], Q6_K: [00001-of-00005, ..., 00005-of-00005], Q8_0: [00001-of-00007, ..., 00007-of-00007] }, model_file_name_split_template: {quantization}/ERNIE-4.5-300B-A47B-PT-{quantization}-{part}.gguf這說(shuō)明 300B 的 GGUF 權(quán)重是多文件分片發(fā)布Q2_K 3 片、Q4_K_M 4 片、Q6_K 5 片、Q8_0 7 片Xinference 會(huì)依據(jù)該模板逐個(gè)拉取分片后再交給 llama.cpp/vLLM 加載而不是一次性下載單一大文件。量化檔位與分片數(shù)的正相關(guān)精度越高、分片越多也直觀反映了顯存/內(nèi)存預(yù)算的線性關(guān)系。對(duì)話模板與停止信號(hào)ERNIE 4.5 條目還內(nèi)置了 chat_template 與停止信號(hào)這決定了 Xinference 對(duì)外的 chat 接口如何拼裝 prompt角色前綴采用User:/Assistant:的簡(jiǎn)潔格式system角色內(nèi)容直接拼接在消息頭部句子邊界使用 ERNIE 自有特殊 token|begin_of_sentence|/|end_of_sentence|停止條件為stop_token_ids: [2]與文本 stop/s。因此在自定義客戶端接入時(shí)若自行拼裝 prompt應(yīng)對(duì)齊上述模板與停止信號(hào)否則可能出現(xiàn)回復(fù)截?cái)嗷蚪巧靵y。引擎與格式怎么選一張決策表結(jié)合文檔與源碼信息按硬件條件給出決策路徑硬件/場(chǎng)景推薦格式推薦引擎推薦量化Linux NVIDIA GPU追求吞吐pytorch21B-A3BvLLM≥ 0.9.2noneLinux NVIDIA GPU顯存有限ggufv2vLLM / llama.cppQ4_K_M / Q5_K_MCPU-only / 邊緣設(shè)備ggufv20.3B 或 21Bllama.cppQ4_K_S ~ Q8_0內(nèi)存充足則 Q8_0Apple Silicon MacmlxMLX21B 選 4bit/8bit0.3B 選 4bit需要最高質(zhì)量參考實(shí)現(xiàn)pytorchTransformersnone幾點(diǎn)適用前提上下文全部規(guī)格共享 131072 的 context_length 上限但實(shí)際可用長(zhǎng)度受顯存/內(nèi)存與引擎調(diào)度限制長(zhǎng)上下文 大 MoE 尺寸300B組合需要按模型內(nèi)存估算見(jiàn) model_memory.rst自行評(píng)估能力目前注冊(cè)的能力只有chat雖然 ERNIE 4.5 官方描述提到多模態(tài)家族但在 Xinference 的 llm 分類下不提供 vision/tool 等能力聲明版本前提以上結(jié)論基于當(dāng)前倉(cāng)庫(kù)的 ernie4.5.rst 文檔與 llm_family.json 條目updated_at時(shí)間戳已登記量化檔位與 Model ID 可能隨上游倉(cāng)庫(kù)更新而變化以倉(cāng)庫(kù)實(shí)時(shí)內(nèi)容為準(zhǔn)。小結(jié)ERNIE 4.5 在 Xinference 中以3 尺寸 × 3 格式 9 份 Spec的完整矩陣提供0.3B 稠密小模型覆蓋全量化檔位便于低門檻驗(yàn)證21B-A3B 與 300B-A47B 兩個(gè) MoE 尺寸分別面向單節(jié)點(diǎn)與多卡場(chǎng)景。核心命令只有三條pytorch / ggufv2 / mlx 各一差異全部體現(xiàn)在--model-format、--size-in-billions0.3B 寫作0_3與--quantization上。落地前建議先確認(rèn)兩點(diǎn)環(huán)境中的 vLLM 版本是否 ≥ 0.9.2pytorch vLLM 路徑的硬門檻以及 MLX 路徑是否要求mlx-lm0.25.2Xinference 虛擬環(huán)境會(huì)自動(dòng)安裝。對(duì)齊這兩點(diǎn)后再按上表選擇規(guī)格即可把 ERNIE 4.5 接入到 Xinference 統(tǒng)一的推理 API 中?！久赓M(fèi)下載鏈接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/in/inference創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考