1. 為什么要在 Macbook 上折騰本地 Qwen3.6-27B 量化模型如果你手里是一臺 Apple Silicon 的 Macbook又想讓 AI 編碼助手真正跑在本地MLX-LM 加載 Qwen3.6-27B 量化模型并接入 opencode 這套組合是目前比較省心的一條路。它解決的核心問題是你不想把項目代碼發(fā)到云端也不想每個月為編碼訂閱付費但又希望有一個能讀文件、能改代碼、能跑工具調(diào)用的本地 Agent 后端。MLX 是 Apple 官方開源的數(shù)組計算框架專門為統(tǒng)一內(nèi)存架構(gòu)設(shè)計。模型權(quán)重、計算圖和內(nèi)存之間不需要來回拷貝這讓它在 Mac 上的推理效率比通用方案更直接。MLX-LM 則是在 MLX 之上封裝的推理與微調(diào)工具它自帶一個 HTTP 服務(wù)接口形態(tài)和 OpenAI Chat Completions 基本一致默認監(jiān)聽127.0.0.1:8080。opencode 支持把任意兼容/v1/chat/completions的服務(wù)注冊成 provider所以兩者對接非常自然。這套方案適合誰適合用 Macbook Pro M 系列、內(nèi)存 24GB 起步、想本地跑編碼 Agent 的開發(fā)者。不適合誰如果你只有 16GB 內(nèi)存或者需要同時服務(wù)多個用戶那 27B 的 4-bit 權(quán)重會非常吃力建議換更小的模型。我實測下來24GB 統(tǒng)一內(nèi)存跑 4-bit 量化是能用的但必須把并發(fā)和緩存壓到最低否則系統(tǒng)會開始瘋狂交換內(nèi)存。Qwen3.6-27B 本身支持思考模式和工具調(diào)用這對編碼場景很關(guān)鍵。opencode 依賴工具調(diào)用來讀文件、寫補丁、執(zhí)行命令所以模型必須能正確返回 OpenAI 格式的tool_calls。MLX-LM 的服務(wù)端代碼已經(jīng)能接收tools字段并返回對應(yīng)結(jié)構(gòu)這也是我選擇它而不是自己寫一層適配的原因。整篇文章會按順序講清楚環(huán)境準(zhǔn)備、模型下載、服務(wù)啟動參數(shù)、opencode 配置、端到端驗證、常見報錯排查。每一步都給可復(fù)制的命令或配置片段你可以直接跟著做。2. 前置準(zhǔn)備MLX-LM 安裝與 Qwen3.6-27B 量化權(quán)重獲取在 Macbook 上用 MLX-LM 跑 Qwen3.6-27B 量化模型第一步是把工具鏈裝好。我建議用uv來管理 MLX-LM因為它能把命令行工具隔離在獨立環(huán)境里升級和卸載都干凈。如果你還沒裝 Homebrew先執(zhí)行官方安裝腳本已經(jīng)裝過的可以跳過。/bin/bash -c $(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)接著安裝 uv并刷新 shell 路徑brew install uv uv tool update-shell執(zhí)行完uv tool update-shell后一定要重新打開終端否則mlx_lm.server可能找不到。然后安裝 MLX-LMuv tool install mlx-lm以后需要升級時用uv tool upgrade mlx-lm驗證安裝是否成功mlx_lm.server --help如果這條命令能打印出參數(shù)列表說明工具鏈就緒。如果提示command not found先執(zhí)行uv tool update-shell再重開終端或者用uv tool dir --bin查看可執(zhí)行文件目錄并手動加入 PATH。接下來是模型權(quán)重。推薦使用mlx-community/Qwen3.6-27B-4bit這是已經(jīng)為 MLX 轉(zhuǎn)換好的 4-bit 量化版本模型頁顯示文件約 16.1GB。24GB 內(nèi)存的機器跑它模型加載后還剩大約 7 到 8GB 給系統(tǒng)和 KV 緩存屬于緊但可用的狀態(tài)。下載方式有兩種。方案 A 是首次啟動服務(wù)時自動下載直接在啟動命令里寫 Hugging Face 倉庫名MLX-LM 會檢查本地緩存沒有就自動拉取。方案 B 是下載到固定目錄適合你想明確管理模型文件位置的情況mkdir -p $HOME/Models uvx --from huggingface_hub hf download \ mlx-community/Qwen3.6-27B-4bit \ --local-dir $HOME/Models/Qwen3.6-27B-4bit下載完成后檢查目錄大小du -sh $HOME/Models/Qwen3.6-27B-4bit這里有幾個坑要避開。BF16 版本遠超 24GB不要選8-bit 通常約 30GB也放不下35B-A3B 的 4-bit 版本模型本身就接近 24GB幾乎不給系統(tǒng)和緩存留空間未標(biāo)注 MLX 的 GGUF 權(quán)重是給 llama.cpp 或 Ollama 用的MLX-LM 加載不了。選模型時認準(zhǔn)mlx-community組織下帶-4bit后綴的 MLX 權(quán)重。如果你打算把本地推理端點接到 TaoToken 做對比測試可以先用 TaoToken 的模型對話頁面確認云端 Qwen 系列的表現(xiàn)再決定本地量化版本是否滿足需求。TaoToken 的 API 地址是https://taotoken.net/api模型對話入口在 deep link 里可以找到。不過本文的重點是本地 MLX-LMTaoToken 只作為可選參照。3. 可復(fù)制配置MLX-LM 服務(wù)啟動參數(shù)與 opencode 接入片段這一節(jié)是整篇的核心所有配置都可以直接復(fù)制。先啟動 MLX-LM 服務(wù)再寫 opencode 的 provider 配置。3.1 以 24GB 安全配置啟動 MLX-LM如果你用 Hugging Face 緩存中的模型啟動命令如下mlx_lm.server \ --model mlx-community/Qwen3.6-27B-4bit \ --host 127.0.0.1 \ --port 8080 \ --max-tokens 2048 \ --temp 0.6 \ --top-p 0.95 \ --top-k 20 \ --decode-concurrency 1 \ --prompt-concurrency 1 \ --prefill-step-size 512 \ --prompt-cache-size 1 \ --prompt-cache-bytes 1GB \ --chat-template-args {enable_thinking:true}如果你下載到了固定目錄把--model換成絕對路徑MODEL_DIR$HOME/Models/Qwen3.6-27B-4bit mlx_lm.server \ --model $MODEL_DIR \ --host 127.0.0.1 \ --port 8080 \ --max-tokens 2048 \ --temp 0.6 \ --top-p 0.95 \ --top-k 20 \ --decode-concurrency 1 \ --prompt-concurrency 1 \ --prefill-step-size 512 \ --prompt-cache-size 1 \ --prompt-cache-bytes 1GB \ --chat-template-args {enable_thinking:true}參數(shù)逐個解釋一下。--host 127.0.0.1只允許本機訪問不要改成0.0.0.0否則同網(wǎng)絡(luò)下其他設(shè)備可能連進來。--max-tokens 2048限制默認輸出長度避免思考過程無限增長把內(nèi)存吃滿。--temp 0.6、--top-p 0.95、--top-k 20是 Qwen 官方對精確編程任務(wù)建議的采樣參數(shù)。--decode-concurrency 1和--prompt-concurrency 1把解碼和預(yù)填充都限制為單請求減少內(nèi)存峰值。--prefill-step-size 512降低長提示預(yù)填充時的峰值內(nèi)存。--prompt-cache-size 1只保留一份會話緩存--prompt-cache-bytes 1GB限制緩存總量。enable_thinking開啟 Qwen3.6 的思考模式。首次建議不要啟用preserve_thinking。確認 opencode 能正確處理多輪思考內(nèi)容后可以改成--chat-template-args {enable_thinking:true,preserve_thinking:true}如果工具調(diào)用不穩(wěn)定可以測試非思考模式--temp 0.7 \ --top-p 0.8 \ --top-k 20 \ --chat-template-args {enable_thinking:false}3.2 opencode 穩(wěn)定版配置opencode 的全局配置放在~/.config/opencode/opencode.json項目級配置放在項目根目錄的opencode.json。建議先用項目級配置做測試確認沒問題再合并到全局。{ $schema: https://opencode.ai/config.json, model: mlx-local/default_model, provider: { mlx-local: { npm: ai-sdk/openai-compatible, name: MLX-LM Local, options: { baseURL: http://127.0.0.1:8080/v1, apiKey: local }, models: { default_model: { name: Qwen3.6 27B MLX 4-bit, limit: { context: 8192, output: 2048 } } } } } }這里用default_model作為模型鍵很關(guān)鍵。MLX-LM 服務(wù)端內(nèi)部提供了這個別名會把它映射到啟動時的--model參數(shù)。這樣無論你用 Hugging Face 倉庫名還是本地目錄啟動opencode 都不需要知道絕對路徑也避免客戶端發(fā)送另一個倉庫名導(dǎo)致服務(wù)嘗試切換或重新加載模型。limit.context是告訴 opencode 本地可用的上下文預(yù)算不會改變 Qwen 模型文件本身。24GB 機器先設(shè) 8192穩(wěn)定后再逐步增加。limit.output設(shè) 2048和啟動參數(shù)里的--max-tokens保持一致。如果你已經(jīng)有opencode.json不要整份覆蓋只合并model和provider.mlx-local部分。3.3 opencode 2.0 beta 配置只有安裝了 opencode 2.0 beta 才使用本節(jié)。2.0 beta 的字段與穩(wěn)定版不同provider改為providersnpm改為packageoptions改為settings并且可以通過modelID把友好名稱映射到 MLX-LM 的default_model。{ $schema: https://opencode.ai/config.json, model: mlx-local/qwen36-code, providers: { mlx-local: { name: MLX-LM Local, package: opencode-ai/ai/providers/openai-compatible, settings: { baseURL: http://127.0.0.1:8080/v1, apiKey: local }, models: { qwen36-code: { modelID: default_model, name: Qwen3.6 27B MLX 4-bit, capabilities: { tools: true, input: [text], output: [text] }, limit: { context: 8192, output: 2048 } } } } } }opencode 官方說明 2.0 當(dāng)前屬于 beta不要把該配置與穩(wěn)定版字段混用。如果你不確定自己裝的是哪個版本運行opencode --version確認。4. 驗證請求從健康檢查到端到端對話與顯存占用配置寫完后必須一步步驗證不要直接跳到 opencode 里跑。先確認 MLX-LM 服務(wù)本身正常再確認 opencode 能連上。4.1 健康檢查與模型列表另開一個終端執(zhí)行curl http://127.0.0.1:8080/health預(yù)期返回{status:ok}然后查看模型列表curl http://127.0.0.1:8080/v1/models你應(yīng)該能看到default_model這個別名。如果這里報錯說明服務(wù)沒起來或者端口不對先回到啟動命令檢查。4.2 測試普通對話用 curl 發(fā)一個 Chat Completions 請求curl http://127.0.0.1:8080/v1/chat/completions \ -H Content-Type: application/json \ -d { model: default_model, messages: [ { role: user, content: 請用 Python 實現(xiàn)一個帶類型標(biāo)注的 LRU 緩存并解釋復(fù)雜度。 } ], max_tokens: 1024, temperature: 0.6, top_p: 0.95, top_k: 20, stream: false }如果這個請求成功返回內(nèi)容說明 MLX-LM 服務(wù)完全正常。注意model字段填default_model不要填 Hugging Face 倉庫名。4.3 opencode 端到端驗證確保 MLX-LM 服務(wù)仍在運行然后查看 opencode 是否識別到模型opencode models mlx-local應(yīng)看到mlx-local/default_model接著用命令行模式跑一次只讀檢查opencode run \ --model mlx-local/default_model \ 檢查當(dāng)前項目的結(jié)構(gòu)只提出一個最值得優(yōu)先修復(fù)的問題不要修改文件。也可以直接啟動 opencodeopencode進入后運行/models選擇 MLX-LM Local 下的 Qwen3.6。如果 opencode 要求憑據(jù)運行/connect選擇 OtherProvider ID 填mlx-localAPI Key 填任意本地占位值例如local。MLX-LM 本地服務(wù)本身不會驗證這個占位值。4.4 顯存占用檢查運行時打開「活動監(jiān)視器 → 內(nèi)存」重點看三個指標(biāo)內(nèi)存壓力是否為綠色、交換內(nèi)存是否持續(xù)增長、opencode 每輪對話后是否越來越慢。推薦調(diào)整順序保持上下文 8192如果內(nèi)存壓力變黃把輸出從 2048 降到 1024把--prompt-cache-bytes 1GB降為 512MB關(guān)閉瀏覽器重型頁面、Docker 和虛擬機仍然交換內(nèi)存時改用更小模型。只有在內(nèi)存壓力持續(xù)為綠色時才把 opencode 配置中的上下文依次增加為 8192 → 12288 → 16384。不要直接設(shè)成 32K、128K 或 256K。opencode 的倉庫工具會把文件內(nèi)容、補丁、系統(tǒng)提示和工具定義全部計入上下文實際占用通常比普通聊天更高。4.5 工具調(diào)用測試opencode 依賴工具調(diào)用讀取和編輯項目。建議按以下順序測試只讀檢查項目讓模型讀取一個指定文件讓模型提出修改方案但不修改最后才允許小范圍編輯。測試提示列出當(dāng)前項目根目錄文件讀取 README.md然后總結(jié)項目用途。不要修改任何文件。如果模型只輸出類似工具調(diào)用的文本卻沒有真正調(diào)用工具先升級 MLX-LM確認使用模型自帶的chat_template.jinja不要設(shè)置--use-default-chat-template覆蓋模型模板先關(guān)閉preserve_thinking測試非思考模式檢查 opencode 日志及 MLX-LM 終端是否出現(xiàn) tool parser 警告。5. 本篇常見錯排查401、local proxy failed、reading choices 與 OAuth這一節(jié)對照真實報錯給出排查路徑。如果你在接入過程中遇到問題先在這里找對應(yīng)條目。5.1 401 Unauthorizedopencode 報 401通常是apiKey字段缺失或為空。MLX-LM 本地服務(wù)不驗證 key但 opencode 的 OpenAI-compatible provider 要求這個字段存在。檢查配置options: { baseURL: http://127.0.0.1:8080/v1, apiKey: local }apiKey填任意非空字符串即可比如local。不要留空也不要刪掉這個字段。5.2 local proxy failed這個報錯通常出現(xiàn)在 opencode 嘗試連接baseURL但服務(wù)沒起來或者地址寫錯。先確認 MLX-LM 服務(wù)在運行curl http://127.0.0.1:8080/health如果這條命令失敗說明服務(wù)沒啟動或端口被占用。端口被占用時改用 8081mlx_lm.server \ --model mlx-community/Qwen3.6-27B-4bit \ --host 127.0.0.1 \ --port 8081然后把 opencode 的baseURL改成http://127.0.0.1:8081/v1。5.3 reading choices 報錯這個報錯說明 opencode 收到了響應(yīng)但結(jié)構(gòu)不符合預(yù)期。常見原因是model字段填錯或者 MLX-LM 返回了非標(biāo)準(zhǔn)格式。檢查 opencode 配置中的模型鍵是否為default_model以及baseURL是否包含/v1。如果用的是 2.0 beta 配置確認modelID映射正確。5.4 OAuth 相關(guān)報錯opencode 某些 provider 會走 OAuth 流程但 MLX-LM 是本地 OpenAI-compatible 服務(wù)不需要 OAuth。如果你看到 OAuth 相關(guān)提示說明 provider 類型選錯了。確認配置里用的是ai-sdk/openai-compatible而不是某個需要 OAuth 的官方 provider。5.5 其他常見問題mlx_lm.server: command not found執(zhí)行uv tool update-shell重開終端或用uv tool dir --bin查看可執(zhí)行文件目錄。Model type ... not supported升級uv tool upgrade mlx-lm確認模型是 MLX 權(quán)重而不是 GGUF。opencode 報 404依次檢查curl http://127.0.0.1:8080/health和curl http://127.0.0.1:8080/v1/models確認配置中的地址包含/v1。opencode 嘗試加載錯誤模型確保穩(wěn)定版配置中的模型鍵是default_model并使用mlx-local/default_model。輸出只有幾百 tokens 就停止MLX-LM 默認max_tokens是 512確認啟動命令包含--max-tokens 2048同時確認 opencode 中l(wèi)imit.output為 2048。服務(wù)啟動后系統(tǒng)變得很卡模型加運行時已接近 24GB 上限關(guān)閉其他重型應(yīng)用將緩存降至 512MB輸出降至 1024仍然卡頓則換較小模型。圖像輸入限制Qwen3.6-27B 本身帶視覺能力但當(dāng)前 MLX-LM 文本服務(wù)器會把 opencode 接入場景視為文本 Chat Completions服務(wù)端對消息內(nèi)容的處理只適合文本片段。opencode 中的代碼、終端輸出和文本文件可以正常使用不要期待此配置直接處理截圖或圖片附件。需要圖片輸入時使用 mlx-vlm、支持 MLX VLM 的 LM Studio或單獨建立視覺服務(wù)。6. 長期編碼與 Agent 場景的 CTA 分流本地 MLX-LM 跑 Qwen3.6-27B 量化模型接入 opencode適合對代碼隱私敏感、想完全離線編碼的場景。但它也有明顯邊界24GB 內(nèi)存下上下文只能開到 8192 到 16384并發(fā)只有 1模型切換和長任務(wù)會受限于本地算力。如果你需要更長的上下文、更高的并發(fā)或者想讓 Agent 跑更復(fù)雜的多步任務(wù)可以考慮把部分請求分流到云端。TaoToken 提供了 OpenAI-compatible 的 API 接入方式API 地址是https://taotoken.net/api。你可以把它作為 opencode 的另一個 provider和本地 MLX-LM 并存按任務(wù)類型切換。比如日常小改動走本地長上下文重構(gòu)走云端。TaoToken 的模型對話入口可以用來快速驗證模型表現(xiàn)API Keys 管理頁面用來生成和輪換密鑰接入文檔里有完整的 Base URL、Key 和 Model ID 三件套說明。如果你主要做長期編碼和 Agent 任務(wù)可以關(guān)注 TaoToken 的 Coding Plan它針對編碼場景做了額度和模型路由的優(yōu)化。具體入口在 deep link 里可以找到模型對話、coding-plan、console、api-keys、doc 都有對應(yīng)頁面。配置云端 provider 時opencode 的寫法類似{ $schema: https://opencode.ai/config.json, provider: { taotoken: { npm: ai-sdk/openai-compatible, name: TaoToken, options: { baseURL: https://taotoken.net/api/v1, apiKey: 你的 TaoToken Key }, models: { qwen-plus: { name: Qwen Plus } } } } }注意 Base URL 要帶/v1Key 從 TaoToken 的 API Keys 頁面獲取Model ID 參考接入文檔。這樣你就有本地和云端兩條路徑按需切換。最后提醒一句MLX-LM 的 HTTP 服務(wù)只提供基礎(chǔ)安全檢查不要直接暴露到公網(wǎng)。本地開發(fā)夠用生產(chǎn)環(huán)境需要額外的反向代理和鑒權(quán)層。 Macbook 用 MLX-LM 跑 Qwen3.6-27B 量化模型并接入 opencode 的完整配置
1. 為什么要在 Macbook 上折騰本地 Qwen3.6-27B 量化模型如果你手里是一臺 Apple Silicon 的 Macbook又想讓 AI 編碼助手真正跑在本地MLX-LM 加載 Qwen3.6-27B 量化模型并接入 opencode 這套組合是目前比較省心的一條路。它解決的核心問題是你不想把項目代碼發(fā)到云端也不想每個月為編碼訂閱付費但又希望有一個能讀文件、能改代碼、能跑工具調(diào)用的本地 Agent 后端。MLX 是 Apple 官方開源的數(shù)組計算框架專門為統(tǒng)一內(nèi)存架構(gòu)設(shè)計。模型權(quán)重、計算圖和內(nèi)存之間不需要來回拷貝這讓它在 Mac 上的推理效率比通用方案更直接。MLX-LM 則是在 MLX 之上封裝的推理與微調(diào)工具它自帶一個 HTTP 服務(wù)接口形態(tài)和 OpenAI Chat Completions 基本一致默認監(jiān)聽127.0.0.1:8080。opencode 支持把任意兼容/v1/chat/completions的服務(wù)注冊成 provider所以兩者對接非常自然。這套方案適合誰適合用 Macbook Pro M 系列、內(nèi)存 24GB 起步、想本地跑編碼 Agent 的開發(fā)者。不適合誰如果你只有 16GB 內(nèi)存或者需要同時服務(wù)多個用戶那 27B 的 4-bit 權(quán)重會非常吃力建議換更小的模型。我實測下來24GB 統(tǒng)一內(nèi)存跑 4-bit 量化是能用的但必須把并發(fā)和緩存壓到最低否則系統(tǒng)會開始瘋狂交換內(nèi)存。Qwen3.6-27B 本身支持思考模式和工具調(diào)用這對編碼場景很關(guān)鍵。opencode 依賴工具調(diào)用來讀文件、寫補丁、執(zhí)行命令所以模型必須能正確返回 OpenAI 格式的tool_calls。MLX-LM 的服務(wù)端代碼已經(jīng)能接收tools字段并返回對應(yīng)結(jié)構(gòu)這也是我選擇它而不是自己寫一層適配的原因。整篇文章會按順序講清楚環(huán)境準(zhǔn)備、模型下載、服務(wù)啟動參數(shù)、opencode 配置、端到端驗證、常見報錯排查。每一步都給可復(fù)制的命令或配置片段你可以直接跟著做。2. 前置準(zhǔn)備MLX-LM 安裝與 Qwen3.6-27B 量化權(quán)重獲取在 Macbook 上用 MLX-LM 跑 Qwen3.6-27B 量化模型第一步是把工具鏈裝好。我建議用uv來管理 MLX-LM因為它能把命令行工具隔離在獨立環(huán)境里升級和卸載都干凈。如果你還沒裝 Homebrew先執(zhí)行官方安裝腳本已經(jīng)裝過的可以跳過。/bin/bash -c $(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)接著安裝 uv并刷新 shell 路徑brew install uv uv tool update-shell執(zhí)行完uv tool update-shell后一定要重新打開終端否則mlx_lm.server可能找不到。然后安裝 MLX-LMuv tool install mlx-lm以后需要升級時用uv tool upgrade mlx-lm驗證安裝是否成功mlx_lm.server --help如果這條命令能打印出參數(shù)列表說明工具鏈就緒。如果提示command not found先執(zhí)行uv tool update-shell再重開終端或者用uv tool dir --bin查看可執(zhí)行文件目錄并手動加入 PATH。接下來是模型權(quán)重。推薦使用mlx-community/Qwen3.6-27B-4bit這是已經(jīng)為 MLX 轉(zhuǎn)換好的 4-bit 量化版本模型頁顯示文件約 16.1GB。24GB 內(nèi)存的機器跑它模型加載后還剩大約 7 到 8GB 給系統(tǒng)和 KV 緩存屬于緊但可用的狀態(tài)。下載方式有兩種。方案 A 是首次啟動服務(wù)時自動下載直接在啟動命令里寫 Hugging Face 倉庫名MLX-LM 會檢查本地緩存沒有就自動拉取。方案 B 是下載到固定目錄適合你想明確管理模型文件位置的情況mkdir -p $HOME/Models uvx --from huggingface_hub hf download \ mlx-community/Qwen3.6-27B-4bit \ --local-dir $HOME/Models/Qwen3.6-27B-4bit下載完成后檢查目錄大小du -sh $HOME/Models/Qwen3.6-27B-4bit這里有幾個坑要避開。BF16 版本遠超 24GB不要選8-bit 通常約 30GB也放不下35B-A3B 的 4-bit 版本模型本身就接近 24GB幾乎不給系統(tǒng)和緩存留空間未標(biāo)注 MLX 的 GGUF 權(quán)重是給 llama.cpp 或 Ollama 用的MLX-LM 加載不了。選模型時認準(zhǔn)mlx-community組織下帶-4bit后綴的 MLX 權(quán)重。如果你打算把本地推理端點接到 TaoToken 做對比測試可以先用 TaoToken 的模型對話頁面確認云端 Qwen 系列的表現(xiàn)再決定本地量化版本是否滿足需求。TaoToken 的 API 地址是https://taotoken.net/api模型對話入口在 deep link 里可以找到。不過本文的重點是本地 MLX-LMTaoToken 只作為可選參照。3. 可復(fù)制配置MLX-LM 服務(wù)啟動參數(shù)與 opencode 接入片段這一節(jié)是整篇的核心所有配置都可以直接復(fù)制。先啟動 MLX-LM 服務(wù)再寫 opencode 的 provider 配置。3.1 以 24GB 安全配置啟動 MLX-LM如果你用 Hugging Face 緩存中的模型啟動命令如下mlx_lm.server \ --model mlx-community/Qwen3.6-27B-4bit \ --host 127.0.0.1 \ --port 8080 \ --max-tokens 2048 \ --temp 0.6 \ --top-p 0.95 \ --top-k 20 \ --decode-concurrency 1 \ --prompt-concurrency 1 \ --prefill-step-size 512 \ --prompt-cache-size 1 \ --prompt-cache-bytes 1GB \ --chat-template-args {enable_thinking:true}如果你下載到了固定目錄把--model換成絕對路徑MODEL_DIR$HOME/Models/Qwen3.6-27B-4bit mlx_lm.server \ --model $MODEL_DIR \ --host 127.0.0.1 \ --port 8080 \ --max-tokens 2048 \ --temp 0.6 \ --top-p 0.95 \ --top-k 20 \ --decode-concurrency 1 \ --prompt-concurrency 1 \ --prefill-step-size 512 \ --prompt-cache-size 1 \ --prompt-cache-bytes 1GB \ --chat-template-args {enable_thinking:true}參數(shù)逐個解釋一下。--host 127.0.0.1只允許本機訪問不要改成0.0.0.0否則同網(wǎng)絡(luò)下其他設(shè)備可能連進來。--max-tokens 2048限制默認輸出長度避免思考過程無限增長把內(nèi)存吃滿。--temp 0.6、--top-p 0.95、--top-k 20是 Qwen 官方對精確編程任務(wù)建議的采樣參數(shù)。--decode-concurrency 1和--prompt-concurrency 1把解碼和預(yù)填充都限制為單請求減少內(nèi)存峰值。--prefill-step-size 512降低長提示預(yù)填充時的峰值內(nèi)存。--prompt-cache-size 1只保留一份會話緩存--prompt-cache-bytes 1GB限制緩存總量。enable_thinking開啟 Qwen3.6 的思考模式。首次建議不要啟用preserve_thinking。確認 opencode 能正確處理多輪思考內(nèi)容后可以改成--chat-template-args {enable_thinking:true,preserve_thinking:true}如果工具調(diào)用不穩(wěn)定可以測試非思考模式--temp 0.7 \ --top-p 0.8 \ --top-k 20 \ --chat-template-args {enable_thinking:false}3.2 opencode 穩(wěn)定版配置opencode 的全局配置放在~/.config/opencode/opencode.json項目級配置放在項目根目錄的opencode.json。建議先用項目級配置做測試確認沒問題再合并到全局。{ $schema: https://opencode.ai/config.json, model: mlx-local/default_model, provider: { mlx-local: { npm: ai-sdk/openai-compatible, name: MLX-LM Local, options: { baseURL: http://127.0.0.1:8080/v1, apiKey: local }, models: { default_model: { name: Qwen3.6 27B MLX 4-bit, limit: { context: 8192, output: 2048 } } } } } }這里用default_model作為模型鍵很關(guān)鍵。MLX-LM 服務(wù)端內(nèi)部提供了這個別名會把它映射到啟動時的--model參數(shù)。這樣無論你用 Hugging Face 倉庫名還是本地目錄啟動opencode 都不需要知道絕對路徑也避免客戶端發(fā)送另一個倉庫名導(dǎo)致服務(wù)嘗試切換或重新加載模型。limit.context是告訴 opencode 本地可用的上下文預(yù)算不會改變 Qwen 模型文件本身。24GB 機器先設(shè) 8192穩(wěn)定后再逐步增加。limit.output設(shè) 2048和啟動參數(shù)里的--max-tokens保持一致。如果你已經(jīng)有opencode.json不要整份覆蓋只合并model和provider.mlx-local部分。3.3 opencode 2.0 beta 配置只有安裝了 opencode 2.0 beta 才使用本節(jié)。2.0 beta 的字段與穩(wěn)定版不同provider改為providersnpm改為packageoptions改為settings并且可以通過modelID把友好名稱映射到 MLX-LM 的default_model。{ $schema: https://opencode.ai/config.json, model: mlx-local/qwen36-code, providers: { mlx-local: { name: MLX-LM Local, package: opencode-ai/ai/providers/openai-compatible, settings: { baseURL: http://127.0.0.1:8080/v1, apiKey: local }, models: { qwen36-code: { modelID: default_model, name: Qwen3.6 27B MLX 4-bit, capabilities: { tools: true, input: [text], output: [text] }, limit: { context: 8192, output: 2048 } } } } } }opencode 官方說明 2.0 當(dāng)前屬于 beta不要把該配置與穩(wěn)定版字段混用。如果你不確定自己裝的是哪個版本運行opencode --version確認。4. 驗證請求從健康檢查到端到端對話與顯存占用配置寫完后必須一步步驗證不要直接跳到 opencode 里跑。先確認 MLX-LM 服務(wù)本身正常再確認 opencode 能連上。4.1 健康檢查與模型列表另開一個終端執(zhí)行curl http://127.0.0.1:8080/health預(yù)期返回{status:ok}然后查看模型列表curl http://127.0.0.1:8080/v1/models你應(yīng)該能看到default_model這個別名。如果這里報錯說明服務(wù)沒起來或者端口不對先回到啟動命令檢查。4.2 測試普通對話用 curl 發(fā)一個 Chat Completions 請求curl http://127.0.0.1:8080/v1/chat/completions \ -H Content-Type: application/json \ -d { model: default_model, messages: [ { role: user, content: 請用 Python 實現(xiàn)一個帶類型標(biāo)注的 LRU 緩存并解釋復(fù)雜度。 } ], max_tokens: 1024, temperature: 0.6, top_p: 0.95, top_k: 20, stream: false }如果這個請求成功返回內(nèi)容說明 MLX-LM 服務(wù)完全正常。注意model字段填default_model不要填 Hugging Face 倉庫名。4.3 opencode 端到端驗證確保 MLX-LM 服務(wù)仍在運行然后查看 opencode 是否識別到模型opencode models mlx-local應(yīng)看到mlx-local/default_model接著用命令行模式跑一次只讀檢查opencode run \ --model mlx-local/default_model \ 檢查當(dāng)前項目的結(jié)構(gòu)只提出一個最值得優(yōu)先修復(fù)的問題不要修改文件。也可以直接啟動 opencodeopencode進入后運行/models選擇 MLX-LM Local 下的 Qwen3.6。如果 opencode 要求憑據(jù)運行/connect選擇 OtherProvider ID 填mlx-localAPI Key 填任意本地占位值例如local。MLX-LM 本地服務(wù)本身不會驗證這個占位值。4.4 顯存占用檢查運行時打開「活動監(jiān)視器 → 內(nèi)存」重點看三個指標(biāo)內(nèi)存壓力是否為綠色、交換內(nèi)存是否持續(xù)增長、opencode 每輪對話后是否越來越慢。推薦調(diào)整順序保持上下文 8192如果內(nèi)存壓力變黃把輸出從 2048 降到 1024把--prompt-cache-bytes 1GB降為 512MB關(guān)閉瀏覽器重型頁面、Docker 和虛擬機仍然交換內(nèi)存時改用更小模型。只有在內(nèi)存壓力持續(xù)為綠色時才把 opencode 配置中的上下文依次增加為 8192 → 12288 → 16384。不要直接設(shè)成 32K、128K 或 256K。opencode 的倉庫工具會把文件內(nèi)容、補丁、系統(tǒng)提示和工具定義全部計入上下文實際占用通常比普通聊天更高。4.5 工具調(diào)用測試opencode 依賴工具調(diào)用讀取和編輯項目。建議按以下順序測試只讀檢查項目讓模型讀取一個指定文件讓模型提出修改方案但不修改最后才允許小范圍編輯。測試提示列出當(dāng)前項目根目錄文件讀取 README.md然后總結(jié)項目用途。不要修改任何文件。如果模型只輸出類似工具調(diào)用的文本卻沒有真正調(diào)用工具先升級 MLX-LM確認使用模型自帶的chat_template.jinja不要設(shè)置--use-default-chat-template覆蓋模型模板先關(guān)閉preserve_thinking測試非思考模式檢查 opencode 日志及 MLX-LM 終端是否出現(xiàn) tool parser 警告。5. 本篇常見錯排查401、local proxy failed、reading choices 與 OAuth這一節(jié)對照真實報錯給出排查路徑。如果你在接入過程中遇到問題先在這里找對應(yīng)條目。5.1 401 Unauthorizedopencode 報 401通常是apiKey字段缺失或為空。MLX-LM 本地服務(wù)不驗證 key但 opencode 的 OpenAI-compatible provider 要求這個字段存在。檢查配置options: { baseURL: http://127.0.0.1:8080/v1, apiKey: local }apiKey填任意非空字符串即可比如local。不要留空也不要刪掉這個字段。5.2 local proxy failed這個報錯通常出現(xiàn)在 opencode 嘗試連接baseURL但服務(wù)沒起來或者地址寫錯。先確認 MLX-LM 服務(wù)在運行curl http://127.0.0.1:8080/health如果這條命令失敗說明服務(wù)沒啟動或端口被占用。端口被占用時改用 8081mlx_lm.server \ --model mlx-community/Qwen3.6-27B-4bit \ --host 127.0.0.1 \ --port 8081然后把 opencode 的baseURL改成http://127.0.0.1:8081/v1。5.3 reading choices 報錯這個報錯說明 opencode 收到了響應(yīng)但結(jié)構(gòu)不符合預(yù)期。常見原因是model字段填錯或者 MLX-LM 返回了非標(biāo)準(zhǔn)格式。檢查 opencode 配置中的模型鍵是否為default_model以及baseURL是否包含/v1。如果用的是 2.0 beta 配置確認modelID映射正確。5.4 OAuth 相關(guān)報錯opencode 某些 provider 會走 OAuth 流程但 MLX-LM 是本地 OpenAI-compatible 服務(wù)不需要 OAuth。如果你看到 OAuth 相關(guān)提示說明 provider 類型選錯了。確認配置里用的是ai-sdk/openai-compatible而不是某個需要 OAuth 的官方 provider。5.5 其他常見問題mlx_lm.server: command not found執(zhí)行uv tool update-shell重開終端或用uv tool dir --bin查看可執(zhí)行文件目錄。Model type ... not supported升級uv tool upgrade mlx-lm確認模型是 MLX 權(quán)重而不是 GGUF。opencode 報 404依次檢查curl http://127.0.0.1:8080/health和curl http://127.0.0.1:8080/v1/models確認配置中的地址包含/v1。opencode 嘗試加載錯誤模型確保穩(wěn)定版配置中的模型鍵是default_model并使用mlx-local/default_model。輸出只有幾百 tokens 就停止MLX-LM 默認max_tokens是 512確認啟動命令包含--max-tokens 2048同時確認 opencode 中l(wèi)imit.output為 2048。服務(wù)啟動后系統(tǒng)變得很卡模型加運行時已接近 24GB 上限關(guān)閉其他重型應(yīng)用將緩存降至 512MB輸出降至 1024仍然卡頓則換較小模型。圖像輸入限制Qwen3.6-27B 本身帶視覺能力但當(dāng)前 MLX-LM 文本服務(wù)器會把 opencode 接入場景視為文本 Chat Completions服務(wù)端對消息內(nèi)容的處理只適合文本片段。opencode 中的代碼、終端輸出和文本文件可以正常使用不要期待此配置直接處理截圖或圖片附件。需要圖片輸入時使用 mlx-vlm、支持 MLX VLM 的 LM Studio或單獨建立視覺服務(wù)。6. 長期編碼與 Agent 場景的 CTA 分流本地 MLX-LM 跑 Qwen3.6-27B 量化模型接入 opencode適合對代碼隱私敏感、想完全離線編碼的場景。但它也有明顯邊界24GB 內(nèi)存下上下文只能開到 8192 到 16384并發(fā)只有 1模型切換和長任務(wù)會受限于本地算力。如果你需要更長的上下文、更高的并發(fā)或者想讓 Agent 跑更復(fù)雜的多步任務(wù)可以考慮把部分請求分流到云端。TaoToken 提供了 OpenAI-compatible 的 API 接入方式API 地址是https://taotoken.net/api。你可以把它作為 opencode 的另一個 provider和本地 MLX-LM 并存按任務(wù)類型切換。比如日常小改動走本地長上下文重構(gòu)走云端。TaoToken 的模型對話入口可以用來快速驗證模型表現(xiàn)API Keys 管理頁面用來生成和輪換密鑰接入文檔里有完整的 Base URL、Key 和 Model ID 三件套說明。如果你主要做長期編碼和 Agent 任務(wù)可以關(guān)注 TaoToken 的 Coding Plan它針對編碼場景做了額度和模型路由的優(yōu)化。具體入口在 deep link 里可以找到模型對話、coding-plan、console、api-keys、doc 都有對應(yīng)頁面。配置云端 provider 時opencode 的寫法類似{ $schema: https://opencode.ai/config.json, provider: { taotoken: { npm: ai-sdk/openai-compatible, name: TaoToken, options: { baseURL: https://taotoken.net/api/v1, apiKey: 你的 TaoToken Key }, models: { qwen-plus: { name: Qwen Plus } } } } }注意 Base URL 要帶/v1Key 從 TaoToken 的 API Keys 頁面獲取Model ID 參考接入文檔。這樣你就有本地和云端兩條路徑按需切換。最后提醒一句MLX-LM 的 HTTP 服務(wù)只提供基礎(chǔ)安全檢查不要直接暴露到公網(wǎng)。本地開發(fā)夠用生產(chǎn)環(huán)境需要額外的反向代理和鑒權(quán)層。