text-generation-webui教程本地大模型對(duì)話應(yīng)用從安裝到第一次對(duì)話【免費(fèi)下載鏈接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/te/textgentext-generation-webui是做什么的text-generation-webui是一個(gè)開源的本地大模型對(duì)話應(yīng)用你把自己的模型下載放到機(jī)器上就能在瀏覽器界面里和它聊天同時(shí)它還對(duì)外提供一個(gè)兼容OpenAI的API。說白了它面向兩類人——想在自己電腦上跑AI助手的人以及想把本地模型接進(jìn)已有程序里做二次開發(fā)的人。所有對(duì)話數(shù)據(jù)都留在本機(jī)沒有遙測。 從安裝到第一次運(yùn)行第一步獲取代碼git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui第二步進(jìn)入項(xiàng)目目錄運(yùn)行啟動(dòng)腳本./start_linux.sh # Windows用start_windows.batmacOS用start_macos.sh第一次運(yùn)行會(huì)提示選擇GPU廠商N(yùn)VIDIA、AMD或CPU等腳本會(huì)自己用Miniforge把整套依賴裝進(jìn)installer_files/目錄全程不需要你手動(dòng)敲pip。之后每次啟動(dòng)直接再跑一遍同樣的腳本就行。第三步打開界面終端提示服務(wù)就緒后在瀏覽器打開http://127.0.0.1:7860會(huì)看到Chat、Default、Parameters、Model、Training等一排頁簽這就是第一個(gè)可用的界面。另外兩種安裝方式一句話帶過手動(dòng)建conda環(huán)境再pip install -r requirements/full/requirements.txt可以解鎖Transformers、ExLlamaV3等更多后端以及LoRA訓(xùn)練但要下載約10GB依賴還有docker/目錄下按硬件分好的Docker文件。只是想聊天跑通的話腳本這條路最短。? 第一次對(duì)話加載模型、發(fā)消息、換角色加載第一個(gè)模型最省心的模型格式是GGUF。用內(nèi)置的下載工具拉一個(gè)python download-model.py organization/model-name文件會(huì)直接放進(jìn)user_data/models/界面自動(dòng)識(shí)別你也可以從Hugging Face網(wǎng)站手動(dòng)下載GGUF文件后丟進(jìn)這個(gè)目錄。然后在Model頁簽的下拉框里選中模型點(diǎn)Load加載器會(huì)自動(dòng)選llama.cpp不需要手動(dòng)指定。發(fā)出第一條消息切到Chat頁簽先選對(duì)話模式instruct適合Qwen、Llama這類指令模型chat和chat-instruct是給角色扮演的。模型加載完輸入用兩句話介紹一下你自己發(fā)送回復(fù)會(huì)逐字流式出現(xiàn)。聊到一半想改前面某句話直接點(diǎn)擊那條消息編輯再重新生成就行對(duì)話可以在這條消息處分叉不用整段刪掉重來。換一個(gè)角色角色配置就是user_data/characters/目錄下的YAML文件。項(xiàng)目自帶兩個(gè)默認(rèn)角色其中Example是一個(gè)戴眼鏡的動(dòng)漫工程師人設(shè)想自己造一個(gè)復(fù)制一份YAML改三個(gè)字段就行name是角色名greeting是開場白context寫性格設(shè)定比如你是一個(gè)耐心講技術(shù)細(xì)節(jié)的工程師。在Chat頁簽的角色下拉框里選中它對(duì)話就會(huì)從你寫的greeting開始。讓它更順手3條按硬件來的建議如果你的顯卡顯存在8GB及以下挑4bit量化的GGUF文件并在Model頁簽把ctx_size調(diào)成2048或4096。上下文長度會(huì)預(yù)先分配KV緩存顯存不夠時(shí)它通常是第一個(gè)該降的參數(shù)。如果你是純CPU運(yùn)行啟動(dòng)腳本里選CPU選項(xiàng)llama.cpp后端比Transformers在CPU上快得多參數(shù)方面建議把temperature稍微調(diào)低一點(diǎn)或者直接用Parameters頁簽的預(yù)設(shè)菜單加載一個(gè)社區(qū)投票過的預(yù)設(shè)比手調(diào)十幾個(gè)參數(shù)穩(wěn)。如果想讓回復(fù)更長或更短不要去碰一大堆采樣參數(shù)把Generation區(qū)域的max_new_tokens調(diào)大并勾上auto_max_new_tokens模型會(huì)一直生成到上下文上限省得反復(fù)點(diǎn)Continue。?? 容易卡住的地方模型不在下拉列表里現(xiàn)象文件放進(jìn)去了Model頁簽下拉框里還是空的。原因是路徑不對(duì)或文件放進(jìn)了錯(cuò)誤的目錄。解法確認(rèn)文件確實(shí)在user_data/models/里然后點(diǎn)一下下拉框旁的刷新按鈕再試。加載失敗報(bào)顯存不足現(xiàn)象點(diǎn)Load后進(jìn)程卡住或報(bào)out of memory。原因是模型量化位寬偏高或ctx_size設(shè)得太大。解法換更低量化的文件Q4_K_M一般比較均衡或把ctx_size和gpu_layers往下調(diào)。第一次啟動(dòng)腳本報(bào)依賴錯(cuò)誤現(xiàn)象剛clone完就跑start_linux.sh終端報(bào)缺包或命令找不到。原因是首次運(yùn)行要等腳本把環(huán)境裝完這個(gè)過程會(huì)花幾分鐘到十幾分鐘。解法讓第一次安裝完整跑完中途斷了就重跑同一個(gè)腳本它會(huì)接著裝。這個(gè)本地大模型工具適合誰適合想在自己電腦上跑對(duì)話、看圖片、接工具調(diào)用并且在意數(shù)據(jù)不出本地的人哪怕只有CPU跑通了也能動(dòng)用只是響應(yīng)慢一些。如果你只是想用一個(gè)即開即用的在線聊天產(chǎn)品這個(gè)項(xiàng)目不太合適因?yàn)橄螺d模型、挑參數(shù)這些步驟省不掉?？陀^說一句界面不算特別精致但功能覆蓋得比較全從聊天到API到訓(xùn)練都留了入口?！久赓M(fèi)下載鏈接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/te/textgen創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考