《我把LangChain接進(jìn)項(xiàng)目后先推翻了幾個(gè)想當(dāng)然》看起來(lái)是個(gè)大話(huà)題但真落到項(xiàng)目里常常就是幾個(gè)具體選擇。下面我盡量按實(shí)際開(kāi)發(fā)時(shí)會(huì)遇到的問(wèn)題來(lái)講。摘要之前我?guī)F(tuán)隊(duì)做了一個(gè)內(nèi)部知識(shí)庫(kù)助手用 LangChain 搭起來(lái)本地跑一切正常。結(jié)果上線(xiàn)后權(quán)限問(wèn)題、日志缺失、工具調(diào)用失敗一個(gè)接一個(gè)。最后回滾了三輪才發(fā)現(xiàn)我們當(dāng)時(shí)寫(xiě)的代碼根本撐不起團(tuán)隊(duì)協(xié)作的場(chǎng)景。這件事讓我意識(shí)到LangChain 從 Demo 到生產(chǎn)中間差的不是調(diào) API 的能力而是工程化的細(xì)節(jié)。今天就把這個(gè)復(fù)盤(pán)過(guò)程寫(xiě)出來(lái)希望能幫你少走點(diǎn)彎路。---目錄LangChain 能解決什么問(wèn)題核心組件Prompt 與 Chain工具調(diào)用項(xiàng)目實(shí)戰(zhàn)總結(jié)LangChain 能解決什么問(wèn)題很多人第一反應(yīng)是LangChain 就是個(gè)調(diào)模型的框架嘛直接調(diào) API 不就行了確實(shí)如果你只是想發(fā)一條消息拿到回復(fù)OpenAI 的 SDK 夠用了。但真正做應(yīng)用的時(shí)候你會(huì)發(fā)現(xiàn)需求開(kāi)始變復(fù)雜需要把用戶(hù)的提問(wèn)拆成多個(gè)步驟需要調(diào)用外部工具比如查數(shù)據(jù)庫(kù)、搜索文檔需要管理對(duì)話(huà)上下文讓模型記住之前的內(nèi)容需要處理工具調(diào)用的錯(cuò)誤和重試這些場(chǎng)景LangChain 提供了一套標(biāo)準(zhǔn)化的抽象。它不是必須用的但用了之后代碼結(jié)構(gòu)會(huì)更清晰后續(xù)維護(hù)成本會(huì)低很多。我們團(tuán)隊(duì)一開(kāi)始也是自己寫(xiě)代碼后來(lái)發(fā)現(xiàn)代碼越來(lái)越亂才決定用 LangChain 重構(gòu)。重構(gòu)后工具調(diào)用的邏輯和模型調(diào)用的邏輯分開(kāi)了加新工具也變得簡(jiǎn)單。---核心組件LangChain 的核心組件不多但理解它們的關(guān)系很重要。Language Model封裝了各種模型的調(diào)用接口包括 OpenAI、Anthropic、國(guó)產(chǎn)模型等。統(tǒng)一接口的好處是切換模型時(shí)不用改太多代碼。Prompt管理提示詞模板。用ChatPromptTemplate可以把多個(gè)消息模板組合在一起支持動(dòng)態(tài)填充變量。Chain把多個(gè)組件串聯(lián)起來(lái)形成一個(gè)完整的流程。比如接收用戶(hù)輸入 → 查詢(xún)知識(shí)庫(kù) → 調(diào)用模型 → 返回結(jié)果。Memory管理對(duì)話(huà)歷史。LangChain 提供了多種內(nèi)存實(shí)現(xiàn)比如ConversationBufferMemory、VectorStoreRetrieverMemory。Tools讓模型能夠調(diào)用外部工具。定義一個(gè)工具模型就能在需要時(shí)主動(dòng)調(diào)用它。這幾個(gè)組件之間的關(guān)系可以用一張圖來(lái)理解用戶(hù)輸入經(jīng)過(guò) Prompt 處理后交給模型模型可能調(diào)用工具結(jié)果經(jīng)過(guò) Chain 組裝后返回給用戶(hù)Memory 負(fù)責(zé)保存對(duì)話(huà)歷史。---Prompt 與 ChainPrompt 是 AI 應(yīng)用的靈魂好的 Prompt 能讓模型表現(xiàn)更好。LangChain 的ChatPromptTemplate支持多消息模板的組合。比如一個(gè)客服場(chǎng)景可以這樣寫(xiě)from langchain.prompts import ChatPromptTemplate, MessagesPlaceholder prompt ChatPromptTemplate.from_messages([ (system, 你是一個(gè)專(zhuān)業(yè)的客服助手請(qǐng)用簡(jiǎn)潔的語(yǔ)言回答問(wèn)題。), MessagesPlaceholder(chat_history), (human, {question}), ])這里MessagesPlaceholder用來(lái)插入歷史對(duì)話(huà){question}是動(dòng)態(tài)變量。Chain 則是把多個(gè)步驟串起來(lái)。LangChain 提供了LCELLangChain Expression Language可以用管道符號(hào)|把組件連接起來(lái)from langchain.chat_models import ChatOpenAI from langchain.prompts import ChatPromptTemplate from langchain.chains import LLMChain llm ChatOpenAI(modelgpt-3.5-turbo) chain prompt | llm這種鏈?zhǔn)綄?xiě)法很直觀也容易調(diào)試。每一步的輸出都能看到方便定位問(wèn)題。---工具調(diào)用工具調(diào)用是 LangChain 里最實(shí)用的功能之一。模型可以根據(jù)用戶(hù)的問(wèn)題自動(dòng)選擇調(diào)用哪個(gè)工具。定義工具的方式很簡(jiǎn)單from langchain.tools import tool tool def get_weather(city: str) - str: 查詢(xún)指定城市的天氣 # 這里調(diào)用天氣 API return f{city}今天晴氣溫25度然后把這個(gè)工具傳給模型from langchain.agents import create_openai_functions_agent, AgentExecutor from langchain import OpenAI agent create_openai_functions_agent(llm, [get_weather], prompt) executor AgentExecutor(agentagent, tools[get_weather]) result executor.invoke({input: 北京今天天氣怎么樣}) print(result[output])模型會(huì)自動(dòng)識(shí)別天氣這個(gè)意圖調(diào)用get_weather工具把結(jié)果返回給用戶(hù)。踩坑點(diǎn)工具返回的格式要規(guī)范否則模型可能解析失敗。另外工具調(diào)用的錯(cuò)誤處理也很重要比如 API 超時(shí)、權(quán)限不足等情況需要捕獲并給出友好的提示。---項(xiàng)目實(shí)戰(zhàn)我之前做的知識(shí)庫(kù)助手基本結(jié)構(gòu)是這樣的1. 用戶(hù)提問(wèn)2. 用向量檢索查詢(xún)相關(guān)文檔3. 把檢索結(jié)果和問(wèn)題一起傳給模型4. 模型生成回答代碼大致如下from langchain.vectorstores import Chroma from langchain.embeddings import OpenAIEmbeddings from langchain.chat_models import ChatOpenAI from langchain.prompts import ChatPromptTemplate from langchain.chains import RetrievalQA embeddings OpenAIEmbeddings() vectorstore Chroma(persist_directory./db, embedding_functionembeddings) prompt_template 基于以下已知信息簡(jiǎn)潔準(zhǔn)確地回答用戶(hù)問(wèn)題。 如果無(wú)法從已知信息中找到答案請(qǐng)說(shuō)抱歉我不知道。 已知信息 {context} 用戶(hù)問(wèn)題{question} prompt ChatPromptTemplate.from_messages([ (system, prompt_template), (human, {question}), ]) llm ChatOpenAI(modelgpt-3.5-turbo, temperature0) qa_chain RetrievalQA.from_chain_type( llmllm, retrievervectorstore.as_retriever(), chain_typestuff, chain_type_kwargs{prompt: prompt} ) result qa_chain.invoke({query: 公司請(qǐng)假流程是什么}) print(result[result])這個(gè) Demo 在本地跑得很順。但上線(xiàn)后問(wèn)題就來(lái)了權(quán)限問(wèn)題不同部門(mén)的員工能看到的內(nèi)容不同但我們沒(méi)有做權(quán)限控制日志缺失不知道誰(shuí)在什么時(shí)候問(wèn)了什么問(wèn)題出了問(wèn)題沒(méi)法排查超時(shí)處理向量檢索有時(shí)候很慢但沒(méi)有超時(shí)機(jī)制請(qǐng)求一直掛著這些問(wèn)題解決起來(lái)比調(diào) API 麻煩多了。后來(lái)我們加了權(quán)限過(guò)濾、日志記錄、超時(shí)設(shè)置才真正能用。簡(jiǎn)歷建議如果你要在簡(jiǎn)歷上寫(xiě) LangChain 項(xiàng)目不要只寫(xiě)用了 LangChain 做了個(gè)知識(shí)庫(kù)。要寫(xiě)清楚做了什么、用了哪些組件、解決了什么問(wèn)題、有什么指標(biāo)。比如 基于 LangChain Chroma 搭建內(nèi)部知識(shí)庫(kù)助手支持多部門(mén)權(quán)限隔離日均查詢(xún) 500 次平均響應(yīng)時(shí)間 2s。這樣的表達(dá)更有說(shuō)服力。---總結(jié)LangChain 確實(shí)能幫我們快速搭起 AI 應(yīng)用的原型但從 Demo 到生產(chǎn)中間還有很多工程化的細(xì)節(jié)要處理權(quán)限控制不同用戶(hù)看到的內(nèi)容要隔離日志記錄每一次調(diào)用都要有跡可循錯(cuò)誤處理工具調(diào)用、模型調(diào)用都要有兜底性能優(yōu)化檢索、生成都要控制時(shí)間我們團(tuán)隊(duì)踩了三輪坑才把這些補(bǔ)齊。希望我的經(jīng)驗(yàn)?zāi)軒湍闵僮唿c(diǎn)彎路。如果你在寫(xiě) LangChain 項(xiàng)目時(shí)遇到問(wèn)題歡迎評(píng)論區(qū)交流。資料展示下面是我整理的AI大模型學(xué)習(xí)資料和工具包預(yù)覽適合收藏后按主題逐步學(xué)習(xí)。如果你想看完整資料目錄可以在評(píng)論區(qū)留言「資料」也歡迎告訴我你更關(guān)注AI大模型里的哪類(lèi)內(nèi)容。