本地離線(xiàn)知識(shí)庫(kù)的妥協(xié)與收益 老電腦跑察元AI的可行邊界辦公場(chǎng)景里有大量的電腦配置不高i5 二代 三代加 8G 內(nèi)存的家伙不少見(jiàn)。裝個(gè) ChatGPT 桌面沒(méi)事但要在它上面跑本地離線(xiàn)知識(shí)庫(kù) 加 本地大模型配置確實(shí)勉強(qiáng)。這一篇專(zhuān)門(mén)講老電腦上跑察元AI 桌面單機(jī)版的現(xiàn)實(shí)選擇給那些不想換電腦又想用 AI 的同事一份地圖。先把硬件分級(jí)講清楚。我把辦公電腦大致分三檔。第一檔i7 加 16G 加 SSD能跑 7B 模型能做 RAG。第二檔i5 加 8G 加機(jī)械硬盤(pán)純 CPU 跑 3B 量化模型有點(diǎn)吃力RAG 入庫(kù)慢。第三檔更老的機(jī)器跑 LLM 已經(jīng)不現(xiàn)實(shí)但仍能用云端模型加本地索引。老電腦的最大瓶頸在兩件事上內(nèi)存和磁盤(pán) IO。chayuan-desktop 后端 sidecar 占用大約 400-600MB前端 webview 大約 200MB本地推理模型如果 7B 量化要再吃 5-6G。8G 機(jī)器跑本地推理本來(lái)就緊張。RAG 入庫(kù)時(shí)嵌入計(jì)算 CPU 負(fù)載沖到接近滿(mǎn)SSD 還能扛住機(jī)械盤(pán)上 chunk 寫(xiě)入和向量索引重建會(huì)慢得肉眼可見(jiàn)。妥協(xié)的做法。第一條模型走云不走本地。配一個(gè)國(guó)內(nèi)的廠(chǎng)商 API比如 DeepSeek、智譜、文心一言按 token 計(jì)費(fèi)單次對(duì)話(huà)成本幾分錢(qián)到幾毛錢(qián)。本地只跑察元智庫(kù) 的 RAG 索引和檢索模型推理外包出去。這種模式下老電腦能正常用 chayuan-desktop。第二條索引走 sqlite-vec 不走外部 Milvus。sqlite-vec 是嵌入式向量庫(kù)整個(gè) KB 數(shù)據(jù)就一個(gè)文件吃磁盤(pán)極少幾萬(wàn)到幾十萬(wàn)的 chunk 完全夠用。Milvus、Chroma 這種外部向量庫(kù)需要單獨(dú)跑服務(wù)老電腦上同時(shí)跑外部庫(kù)和 chayuan-desktop 容易讓內(nèi)存爆掉。本地離線(xiàn)知識(shí)庫(kù) 在老電腦上的最佳搭配就是 sqlite-vec。第三條嵌入用 CPU 不用 GPU。bge-m3-onnx 是 ONNX 格式的嵌入模型跑在 CPU 上PyInstaller 打包時(shí)已經(jīng)帶了 ONNX Runtime。老電腦上 CPU 嵌入速度大概每秒幾十到幾百 chunk慢但能用。重排默認(rèn)開(kāi)啟的輕量模型可以視情況關(guān)掉換速度。第四條文檔分批入庫(kù)。一次給察元AI 丟二十份 PDF老電腦容易喘。建議每次拖 3-5 份跑完再拖下一批減小峰值壓力。CHAYUAN_ROOT 選 SSD 分區(qū)機(jī)械盤(pán)上索引寫(xiě)入慢得讓人想砸鍵盤(pán)。第五條OCR 按需開(kāi)啟。RapidOCR 是 chayuan-desktop 內(nèi)嵌的 OCR純 CPU 也能跑但掃描件 PDF 入庫(kù)會(huì)讓 CPU 滿(mǎn)載好幾分鐘。如果你的文檔主要是文本層 PDF把 OCR 兜底關(guān)掉省下大量算力。第六條模型對(duì)抗 arena 這種功能在老電腦上慎用。多泳道并行調(diào)用云端模型當(dāng)然沒(méi)問(wèn)題但同時(shí)跑本地推理就別多開(kāi)了。老電腦的收益在哪里。第一私有文檔不出域這是最核心的。第二模型鑰匙集中管理避免在五六個(gè)客戶(hù)端里都填一遍。第三引用氣泡的回鏈體驗(yàn)給老電腦用戶(hù)也是新東西。第四跟 chayuan-wps WPS AI 插件 共用同一份 KB在 WPS 文字里寫(xiě)報(bào)告時(shí)可以直接引用本機(jī)已索引的資料。我自己拿一臺(tái) i5-7400 加 8G 加 SATA SSD 的舊機(jī)做過(guò)測(cè)試。chayuan-desktop 啟動(dòng) 18 秒sidecar 起來(lái)后內(nèi)存占用約 750MB拖一份 80 頁(yè)的 PDF 入庫(kù)用了 2 分 30 秒第一次 RAG 問(wèn)答出答案約 4 秒后續(xù)對(duì)話(huà)穩(wěn)定在 1-2 秒。模型用了 DeepSeek 云端 API。這個(gè)體驗(yàn)在老電腦上算合格。免費(fèi)開(kāi)源的AI軟件 給老設(shè)備最大的價(jià)值是把使用門(mén)檻拉得很低不需要硬件升級(jí)也能用上正規(guī)的 AI 工作流。妥協(xié)是有的關(guān)鍵是知道哪些功能對(duì)應(yīng)哪些代價(jià)。