這兩年只要一聊到本地大模型Ollama 基本是繞不開的關(guān)鍵詞。我一開始也不太理解明明寫 Python 也能加載模型為什么還要多套一層工具真正上手后才發(fā)現(xiàn)Ollama 干的不是“又多一個(gè)框架”這種事而是把模型下載、管理、推理、服務(wù)化打包成了一套很順手的命令行體驗(yàn)。這篇筆記記錄了我從安裝到接入業(yè)務(wù)腳本的完整過程包含環(huán)境變量、參數(shù)調(diào)優(yōu)和若干次翻車實(shí)錄。如果你手頭有一臺(tái)普通電腦哪怕是顯存不大甚至只有純 CPU 的機(jī)器也想把開源模型真正跑起來那這份安裝配置教程可以直接照著抄。1. 快速認(rèn)識(shí) Ollama它到底解決了什么實(shí)際問題1.1 為什么選擇本地部署而不是直接調(diào) API本地部署最大的理由其實(shí)就三個(gè)隱私、成本、可控性。把數(shù)據(jù)發(fā)給云端接口雖然在大多數(shù)場(chǎng)景下沒啥問題但你自己項(xiàng)目的內(nèi)部文檔、客戶數(shù)據(jù)、甚至早期探索性的 Prompt 內(nèi)容一旦出了機(jī)器就很難追溯。而 Ollama 啟動(dòng)的模型完全跑在本地沒有上傳過程適合離線網(wǎng)絡(luò)環(huán)境也適合對(duì)數(shù)據(jù)敏感的開發(fā)場(chǎng)景。成本上也可以算一筆賬。高頻調(diào)用云端接口每個(gè)月賬單會(huì)穩(wěn)定增長(zhǎng)而本地模型是一次性硬件投入只要機(jī)器不換跑多少次都是同樣的電費(fèi)。網(wǎng)絡(luò)波動(dòng)、接口限流、版本更新導(dǎo)致的返回格式變化這些外部依賴在本地部署里都不存在。我用一個(gè)家常類比來理解調(diào)云端 API 像每次用水都從自來水公司買水本地跑模型就像自己院子里打了一口井前期挖井費(fèi)工夫但之后用水不花錢、不限量、不受停水影響。1.2 Ollama 的核心機(jī)制一個(gè)工具集合體Ollama 最吸引人的地方是它把四件事打包在了一起模型下載與管理ollama pull能直接從模型倉庫拉取不需要自己找權(quán)重文件解壓推理運(yùn)行時(shí)內(nèi)置了推理引擎不用手動(dòng)裝 PyTorch、CUDA 環(huán)境開箱即跑命令行交互ollama run直接進(jìn)聊天界面HTTP 服務(wù)默認(rèn)在 11434 端口起一個(gè)接口支持/api/chat、/api/generate等路徑也兼容許多常見接口格式。模型文件的底層格式是 GGUF 量化文件。不需要深入理解它只需要記住一個(gè)結(jié)論同樣是 7B 參數(shù)的模型發(fā)布方原始權(quán)重可能是 16GB量化成 Q4_K_M 之后通常只有 4GB 到 5GB。量化本質(zhì)上就是把浮點(diǎn)數(shù)參數(shù)的精度降低來換取體積和顯存占用代價(jià)是推理質(zhì)量有微小損失但對(duì)日常問答、摘要、代碼生成來說基本感覺不到。所以 Ollama 模型名字里的7b和實(shí)際占用硬盤大小千萬別直接畫等號(hào)得看具體標(biāo)簽。2. 安裝部署從零把服務(wù)跑起來2.1 Windows 和 macOS圖形化安裝后驗(yàn)證Windows 和 macOS 的安裝方式最省事到 Ollama 官網(wǎng)下載對(duì)應(yīng)安裝包雙擊安裝。macOS 是標(biāo)準(zhǔn)的 .dmg 拖拽安裝Windows 是 .exe 安裝向?qū)б宦废乱徊骄托?。裝完以后最重要的一步是驗(yàn)證環(huán)境變量是否生效建議重新開一個(gè)終端窗口再執(zhí)行ollama -v看到版本號(hào)就說明安裝成功。如果提示“不是內(nèi)部或外部命令”先檢查系統(tǒng)環(huán)境變量里有沒有把安裝目錄加進(jìn) PATH沒加上就手動(dòng)加一下或者干脆重新登錄系統(tǒng)再試。驗(yàn)證完版本直接跑第一個(gè)模型ollama run qwen2.5:7bOllama 會(huì)自動(dòng)拉取模型拉取完成進(jìn)入會(huì)話后輸入“你好”之類的內(nèi)容測(cè)試。這一步能通過說明安裝和基礎(chǔ)推理鏈路都沒問題。Windows 上安裝完以后 Ollama 服務(wù)默認(rèn)是后臺(tái)運(yùn)行的托盤區(qū)會(huì)出現(xiàn)一個(gè)小圖標(biāo)不需要每次手動(dòng)啟動(dòng)。2.2 Linux 服務(wù)器命令行安裝與服務(wù)管理Linux 上用腳本安裝最方便curl -fsSL https://ollama.com/install.sh | sh腳本會(huì)自動(dòng)下載二進(jìn)制、創(chuàng)建ollama用戶、配置 systemd 服務(wù)。裝完以后systemctl status ollama看到active (running)就說明服務(wù)起來了。如果沒自動(dòng)啟動(dòng)手動(dòng)執(zhí)行sudo systemctl start ollama開機(jī)自啟用sudo systemctl enable ollama。這一步很多教程不提但服務(wù)器重啟后發(fā)現(xiàn) Ollama 連不上多半就是 enable 這步漏了。Linux 安裝前還有一件小事值得做檢查顯卡驅(qū)動(dòng)。用nvidia-smi看一眼能顯示出顯卡信息說明驅(qū)動(dòng)正常。Ollama 只認(rèn)驅(qū)動(dòng)層不認(rèn)你之前裝沒裝過深度學(xué)習(xí)框架所以驅(qū)動(dòng)是硬門檻。如果驅(qū)動(dòng)沒裝好后文會(huì)提到一切運(yùn)行都會(huì)變成 CPU 龜速模式。某些精簡(jiǎn)系統(tǒng)或 ARM 設(shè)備上腳本安裝可能會(huì)失敗。這時(shí)候可以下載官方編譯好的二進(jìn)制手動(dòng)部署解壓到/usr/local/bin之類目錄再用 systemd 管理。手動(dòng)部署的目錄權(quán)限要注意別讓服務(wù)以 root 身份運(yùn)行。2.3 Docker 部署適合隔離環(huán)境如果不想在宿主機(jī)上裝一堆東西Docker 是另一個(gè)干凈方案docker run -d --name ollama \ -v /opt/ollama:/root/.ollama \ -p 11434:11434 \ ollama/ollama-v把模型目錄映射到宿主機(jī)的/opt/ollama這樣容器重建后模型還在不用二次下載。映射端口是關(guān)鍵只映射不指定 host 端口也行但建議顯式寫出來。想用 GPU 時(shí)加一行--gpus all然后給容器安裝對(duì)應(yīng)顯卡運(yùn)行時(shí)組件。這套組合在隔離網(wǎng)絡(luò)、需要隨時(shí)重置環(huán)境的場(chǎng)景下特別好用。原生安裝和 Docker 部署怎么選我給個(gè)判斷邏輯個(gè)人開發(fā)機(jī)、長(zhǎng)期使用、想圖形化管理用原生安裝臨時(shí)體驗(yàn)、多環(huán)境切換、害怕依賴污染系統(tǒng)用 Docker。我自己的主力機(jī)器用 Docker 跑服務(wù)端但 CLI 工具還是用原生的兩者互不沖突。2.4 安裝后的環(huán)境檢查清單跑模型之前先花兩分鐘做環(huán)境自檢省得后面排查半天。我會(huì)依次確認(rèn)這四件事磁盤空間是不是夠一個(gè) 7B 模型普遍要 4GB 以上32B 模型可能要 20GB 以上顯存有沒有被其他程序占了瀏覽器開了幾十個(gè)標(biāo)簽頁、后臺(tái)跑著訓(xùn)練任務(wù)顯存就沒剩多少了Ollama 服務(wù)是否在監(jiān)聽瀏覽器打開http://localhost:11434能看到 “Ollama is running” 類似的提示終端里執(zhí)行ollama ps能否正常顯示為空列表。前三項(xiàng)都過了基本不會(huì)遇到安裝層面的幺蛾子。3. 模型選擇與模型管理別只會(huì)跑一個(gè)默認(rèn)模型3.1 主流模型怎么選尺寸怎么定Ollama 雖然是“一條命令拉模型”但模型倉庫里各種名字很多隨手亂拉既占硬盤又占顯存。我平時(shí)主要看幾類qwen2.5 系列中英文混合表現(xiàn)穩(wěn)定7B 和 14B 都適合入門llama3.1 系列英文生態(tài)、推理、代碼能力均衡8B 是經(jīng)典入門選擇gemma2 系列輕量風(fēng)格9B 在消費(fèi)級(jí)顯卡上比較友好mistral 系列響應(yīng)速度快適合搭對(duì)話機(jī)器人phi3 系列小參數(shù)純 CPU 機(jī)器也能扛一下。選擇時(shí)不要只盯著參數(shù)看量化版本更重要。拿 7B 模型舉例完整精度可能占十幾個(gè) GBQ4 量化后只要 4GB 到 5GB 顯存。顯存 8GB 的機(jī)器跑 7B 量化版比較舒服顯存 16GB 可以嘗試 14B 甚至 32B但如果還要同時(shí)處理長(zhǎng)文本容量會(huì)變得緊張。我用一句經(jīng)驗(yàn)總結(jié)顯存里能放得下模型才有流暢體驗(yàn)放不下就會(huì)有一部分層跑在 CPU 和內(nèi)存上生成速度會(huì)明顯掉一截。所以入門階段別貪大Q4 量化模型的體驗(yàn)足夠日常使用。3.2 拉取、運(yùn)行、查看、刪除模型這四個(gè)命令是天天都在用的# 拉取模型等同于 run 時(shí)自動(dòng)下載 ollama pull qwen2.5:7b # 進(jìn)入交互對(duì)話 ollama run qwen2.5:7b # 查看本地已有模型 ollama list # 查看當(dāng)前加載在內(nèi)存/顯存里的模型 ollama ps # 刪除不需要的模型 ollama rm qwen2.5:7bollama ps很容易被忽略但它對(duì)排查性能問題特別有用。它顯示每個(gè)模型占用的 processor 類型是 GPU 還是 CPU以及保持加載的時(shí)間。我發(fā)現(xiàn)模型響應(yīng)變慢時(shí)第一件事就是執(zhí)行ollama ps看模型是不是已經(jīng)被換出到 CPU。交互模式下輸入/bye退出不會(huì)結(jié)束服務(wù)。如果想一次性傳問題用ollama run qwen2.5:7b 請(qǐng)寫一段排序代碼這種非交互方式也是可以的。對(duì)于腳本直接調(diào) API 更合理后面專門講。3.3 模型存儲(chǔ)路徑與自定義 ModelfileOllama 默認(rèn)把模型存放在用戶主目錄下的.ollama/models。Linux 就是~/.ollama/modelsWindows 是%USERPROFILE%\.ollama\models。如果系統(tǒng)盤不夠大這個(gè)目錄一定要挪走挪法很簡(jiǎn)單設(shè)置環(huán)境變量OLLAMA_MODELS指向新路徑然后重啟 Ollama 服務(wù)。提醒一下已經(jīng)下載好的模型不會(huì)自動(dòng)搬家要手動(dòng)移動(dòng)舊目錄內(nèi)容或者干脆重新拉一遍。Ollama 允許用 Modelfile 定制模型行為。Modelfile 類似 Dockerfile是一個(gè)純文本配置。我給了個(gè)簡(jiǎn)單示例FROM qwen2.5:7b PARAMETER temperature 0.7 PARAMETER num_ctx 4096 SYSTEM 你是一個(gè)嚴(yán)謹(jǐn)?shù)闹形募夹g(shù)助手回答要簡(jiǎn)潔、有條理。保存為Modelfile后執(zhí)行ollama create my-assistant -f Modelfile就能生成一個(gè)新模型。這一步最大的價(jià)值是團(tuán)隊(duì)可以共用同一個(gè)系統(tǒng)提示詞和參數(shù)集合不用每次對(duì)話都在 API 請(qǐng)求里重復(fù)傳。4. 性能與配置優(yōu)化把硬件潛力盡量挖出來4.1 環(huán)境變量是調(diào)優(yōu)的主入口Ollama 的默認(rèn)參數(shù)對(duì)很多機(jī)器是偏保守的不一定吃滿硬件。想調(diào)優(yōu)先認(rèn)識(shí)幾個(gè)核心環(huán)境變量環(huán)境變量作用我的常用值OLLAMA_HOST監(jiān)聽地址和端口0.0.0.0:11434允許局域網(wǎng)訪問OLLAMA_MODELS模型存放路徑指向大容量磁盤OLLAMA_NUM_PARALLEL并行處理請(qǐng)求的數(shù)量小顯存 1大顯存 2 或 4OLLAMA_MAX_LOADED_MODELS同時(shí)保持加載的模型數(shù)量?jī)?nèi)存緊張時(shí)設(shè) 1OLLAMA_KEEP_ALIVE模型保持加載的時(shí)間5m 或 -1OLLAMA_CONTEXT_LENGTH默認(rèn)上下文長(zhǎng)度默認(rèn) 2048按需調(diào)大Windows 配置環(huán)境變量的標(biāo)準(zhǔn)路徑是右鍵“此電腦”→“屬性”→“高級(jí)系統(tǒng)設(shè)置”→“環(huán)境變量”新建一個(gè)系統(tǒng)變量。Linux 原生安裝時(shí)如果用了 systemd推薦通過 override 文件配置sudo mkdir -p /etc/systemd/system/ollama.service.d sudo tee /etc/systemd/system/ollama.service.d/override.conf EOF [Service] EnvironmentOLLAMA_HOST0.0.0.0:11434 EnvironmentOLLAMA_MAX_LOADED_MODELS1 EnvironmentOLLAMA_KEEP_ALIVE-1 EOF sudo systemctl daemon-reload sudo systemctl restart ollama改完配置文件必須重啟服務(wù)才生效這是一個(gè)非常容易踩的坑。用docker run時(shí)則通過-e參數(shù)傳進(jìn)來比如-e OLLAMA_KEEP_ALIVE-1。4.2 顯存、內(nèi)存與上下文長(zhǎng)度怎么換算上下文長(zhǎng)度是很多人忽視的顯存大戶。模型文件本身占一塊顯存推理時(shí)的 KV Cache可以理解為模型在回答過程中臨時(shí)保存的“工作筆記”也會(huì)隨上下文長(zhǎng)度增長(zhǎng)。上下文越長(zhǎng)這個(gè)“工作筆記”越大。一個(gè)粗略的估算7B 量化的模型文件約 4GB 到 5GB上下文 2048 時(shí) KV Cache 額外占用大約 1GB 左右上下文拉到 8192KV Cache 可能到 2GB 以上。所以 8GB 顯存的機(jī)器跑 7B 模型時(shí)把上下文從默認(rèn)的 2048 拉到 4096 還可以接受再往上就容易出現(xiàn)顯存不足Ollama 會(huì)把部分層切到 CPU生成速度瞬間變慢。還有個(gè)容易翻車的點(diǎn)是多個(gè)模型同時(shí)加載。默認(rèn)情況下 Ollama 允許同時(shí)保持加載多個(gè)模型這會(huì)導(dǎo)致顯存和內(nèi)存迅速吃緊。我自己吃過這個(gè)虧先后跑了 7B 和 14B 兩個(gè)模型機(jī)器開始瘋狂換頁UI 都卡成了幻燈片。后來把OLLAMA_MAX_LOADED_MODELS設(shè)為 1一個(gè)模型用完自動(dòng)卸載世界清凈多了。4.3 四套可直接抄的配置模板不同硬件環(huán)境我推薦下面四種配置模版。不需要照抄全部按需挑選即可。先看 8GB 顯存日常使用版OLLAMA_NUM_PARALLEL1 OLLAMA_MAX_LOADED_MODELS1 OLLAMA_KEEP_ALIVE5m OLLAMA_CONTEXT_LENGTH4096模型選 qwen2.5 或 llama3.1 的 7B/8B 量化版。并行度拉滿沒有意義一次干好一件事更重要。16GB 顯存進(jìn)階版OLLAMA_NUM_PARALLEL2 OLLAMA_MAX_LOADED_MODELS2 OLLAMA_KEEP_ALIVE10m OLLAMA_CONTEXT_LENGTH8192可以嘗試 14B 模型。并行 2 適合同時(shí)處理多個(gè)請(qǐng)求但注意單線程的生成速度不會(huì)因?yàn)椴⑿卸兛熘皇峭掏铝刻嵘?。?CPU 小內(nèi)存版OLLAMA_NUM_PARALLEL1 OLLAMA_MAX_LOADED_MODELS1 OLLAMA_CONTEXT_LENGTH2048模型選 3B 到 4B 的小尺寸量化版。純 CPU 推理速度慢是客觀事實(shí)小模型是保證體驗(yàn)的唯一出路。內(nèi)網(wǎng)服務(wù)版OLLAMA_HOST0.0.0.0:11434 OLLAMA_KEEP_ALIVE-1局域網(wǎng)內(nèi)多臺(tái)設(shè)備訪問一臺(tái)機(jī)器時(shí)KEEP_ALIVE-1能讓模型常駐避免每次請(qǐng)求都經(jīng)歷重新加載的等待。內(nèi)網(wǎng)部署時(shí)建議加一層防火墻或接口鑒權(quán)畢竟模型服務(wù)沒有自帶的用戶體系。5. 把模型接到業(yè)務(wù)腳本與網(wǎng)頁上5.1 用 Python 請(qǐng)求快速調(diào)通接口Ollama 默認(rèn)的/api/chat接口很適合快速集成。我會(huì)先用requests做一個(gè)最小驗(yàn)證import requests url http://localhost:11434/api/chat payload { model: qwen2.5:7b, messages: [ {role: user, content: 用一句話解釋什么是本地大模型} ], stream: False } resp requests.post(url, jsonpayload) data resp.json() print(data[message][content])這個(gè)請(qǐng)求不會(huì)阻塞太久因?yàn)槟Ｐ鸵呀?jīng)加載過了。如果需要流式輸出把stream: False改成True然后一行行讀取返回內(nèi)容。流式響應(yīng)在我的經(jīng)驗(yàn)里對(duì) Web 應(yīng)用的體驗(yàn)提升巨大用戶不用干等全部生成完。需要注意接口返回結(jié)構(gòu)里正文內(nèi)容是message.content不是包在最外層的response字段。我用/api/generate時(shí)偶爾會(huì)混兩個(gè)接口的返回結(jié)構(gòu)不一樣。5.2 兼容接口和 Web 界面Ollama 還提供了/v1/chat/completions這類常見兼容路徑很多現(xiàn)成的客戶端庫可以直接指向它。對(duì)大多數(shù)開源生態(tài)來說這意味著不用寫太多膠水代碼把 base_url 改成http://localhost:11434/v1就能用上。想要圖形界面我試過幾個(gè)方案最順手的是 Open WebUI。Docker 部署命令大概是docker run -d --name open-webui \ -p 3000:8080 \ -v /opt/open-webui:/app/backend/data \ --add-hosthost.docker.internal:host-gateway \ ghcr.io/open-webui/open-webui:main啟動(dòng)后瀏覽器訪問http://localhost:3000在設(shè)置里把 Ollama 服務(wù)地址填成http://host.docker.internal:11434就能在頁面上選擇模型對(duì)話。注冊(cè)賬號(hào)之后注意默認(rèn)不需要給每個(gè)用戶授權(quán)如果團(tuán)隊(duì)使用建議在設(shè)置里打開用戶審核避免所有人都能在模型上下載和刪除東西。5.3 接進(jìn)常見編排框架如果項(xiàng)目本身依賴 Agent 編排框架Ollama 也有現(xiàn)成集成。拿 Python 生態(tài)舉例用官方 SDK 是最省心的import ollama response ollama.chat( modelqwen2.5:7b, messages[{role: user, content: 總結(jié)這段日志里的異常}] ) print(response[message][content])SDK 會(huì)把 HTTP 細(xì)節(jié)封裝掉。用其他框架時(shí)一般只要關(guān)心兩件事設(shè)置正確的 base_url以及確認(rèn)模型名稱已經(jīng) pull 到本地。我經(jīng)常踩的坑是框架配置寫成了云端模型名本地根本沒有對(duì)應(yīng)模型然后會(huì)收到 model not found這個(gè)問題下一節(jié)專門說。6. 高頻問題排查實(shí)錄我踩過的坑都在這里6.1 模型下載慢、中斷、校驗(yàn)失敗怎么辦現(xiàn)象大多是ollama pull長(zhǎng)時(shí)間卡在下載百分比不動(dòng)或者跑到一半進(jìn)度跳紅。最直接的原因是網(wǎng)絡(luò)波動(dòng)模型文件動(dòng)輒幾個(gè) GB連接稍微不穩(wěn)就會(huì)中斷。我的處理建議是這樣的先確認(rèn)磁盤空間充足針對(duì)大模型尤其重要中斷后重新執(zhí)行ollama pull通?？梢曰谝延胁糠掷^續(xù)盡量不要手動(dòng)刪除下載目錄否則就是徹底從頭開始換一個(gè)網(wǎng)絡(luò)環(huán)境再試或者避開聯(lián)網(wǎng)高峰如果下載到一半失敗可以看看模型下載目錄有沒有臨時(shí)文件殘留有的話先確認(rèn)不是完整權(quán)重再清理。另外我把OLLAMA_MODELS指到了機(jī)械硬盤上結(jié)果模型加載速度也變慢了。后來才發(fā)現(xiàn)閃存文件和權(quán)重都在同一個(gè)盤讀寫瓶頸會(huì)影響冷啟動(dòng)。建議把 Ollama 放固態(tài)盤上尤其是要跑 14B 以上的模型的時(shí)候。6.2 GPU 不識(shí)別、顯存不夠、被迫 CPU 跑明明有顯卡跑起來卻慢得離譜這是最常見的困惑。打開任務(wù)管理器發(fā)現(xiàn) GPU 使用率只有個(gè)位數(shù)而 CPU 飆滿基本可以判斷模型沒跑在 GPU 上。排查順序比較固定顯卡驅(qū)動(dòng)是否正常執(zhí)行nvidia-smi能顯示驅(qū)動(dòng)和顯存信息才行Ollama 服務(wù)是否是在驅(qū)動(dòng)安裝后重啟的先改驅(qū)動(dòng)后起服務(wù)這種順序經(jīng)常踩坑Docker 環(huán)境是否真的啟用了 GPU runtime容器里執(zhí)行nvidia-smi驗(yàn)證模型是否太大無法完全放入顯存Ollama 會(huì)自動(dòng)把放不下的層切到 CPU日志里會(huì)提示部分層使用 CPU。如果模型勉強(qiáng)超出顯存容量復(fù)現(xiàn)時(shí)頻繁出現(xiàn)“Error: model requires more memory”提示我的優(yōu)化順序是換更小的模型→換 Q4 量化版→調(diào)低上下文長(zhǎng)度→關(guān)掉其他占顯存軟件。如果還不行就接受 CPU 推理反正本地模型勝在離線可用速度慢一點(diǎn)也能忍。6.3 API 報(bào)錯(cuò)、端口占用、服務(wù)崩了怎么辦API 調(diào)用報(bào)錯(cuò)原因很集中我整理過一份速查表報(bào)錯(cuò)現(xiàn)象可能原因處理辦法404 Not FoundAPI 路徑寫錯(cuò)了確認(rèn)是/api/chat還是/v1/chat/completionsmodel xxx not found本地沒有該模型先ollama pull xxx或ollama run xxxConnection refusedOllama 服務(wù)沒啟動(dòng)啟動(dòng)服務(wù)執(zhí)行ollama serve或 systemctl 啟動(dòng)Port already in use11434 被其他進(jìn)程占用換端口OLLAMA_HOST0.0.0.0:11435重啟服務(wù)響應(yīng)空白或卡住模型正在加載冷啟動(dòng)查看ollama ps看是否已經(jīng)有模型在加載端口占用時(shí)我一般用lsof -i :11434看誰占了端口確認(rèn)后換到 11435。還有個(gè)比較隱蔽的問題改了OLLAMA_HOST后忘記重啟服務(wù)表面上配置變了實(shí)際上監(jiān)聽地址沒變所有局域網(wǎng)請(qǐng)求全打不進(jìn)來。配置環(huán)境變量之后無一例外重啟一次。服務(wù)崩潰時(shí)用日志定位最省時(shí)間。原生部署直接看journalctl -u ollama -f --no-pager容器環(huán)境用docker logs ollama。日志里如果出現(xiàn)顯存分配失敗的記錄十有八九是模型太大或上下文太長(zhǎng)。寫在最后的幾點(diǎn)實(shí)戰(zhàn)體會(huì)真正常踩完這些坑之后我最大的感受是本地大模型的價(jià)值不在于跑出一個(gè)漂亮的參數(shù)而在于能穩(wěn)穩(wěn)地把模型接入自己的工具鏈。顯存緊張的時(shí)候我寧可選擇更小量化的模型也不要硬上一個(gè)把內(nèi)存打滿的大家伙因?yàn)橥评硭俣鹊粝聛碇篌w驗(yàn)是災(zāi)難級(jí)的。先把環(huán)境變量一次配到位再把 Web 界面或者腳本調(diào)通最后根據(jù)實(shí)際使用再?zèng)Q定升不升級(jí)更大的模型。這個(gè)路徑對(duì)大多數(shù)需求都成立。如果你后續(xù)想擴(kuò)展還可以考慮多模型分工、按場(chǎng)景切換、引入 RAG 給模型外掛知識(shí)庫但這都是跑通基礎(chǔ)之后的事了。Ollama 真正的門檻不在安裝那一瞬間而在每天使用它時(shí)你是否清楚自己的硬件邊界在哪里。