大預(yù)言模型的思考先把詞語向量化把詞語變成一個有一個的詞向量也叫token然后就可以進(jìn)行計算了大模型原理-詞向量與大語言模型的預(yù)測在進(jìn)行計算之后會取計算結(jié)果附近的一些向量作為樣本在里面找到可能性最大的進(jìn)行輸出這個時候就用到的sofmax 找出最有可能得哪一個但是這樣就有一個缺點如果只找到可能性最大的那一個模型的返回值就是千篇一律沒有多樣性所以引入一個參數(shù)然模型有概率去獲取到其他可能輸出這個參數(shù)就是Temprature 這個參數(shù)越大概率的分布就越均勻模型結(jié)果的隨機(jī)性就會越強(qiáng)反之模型就越準(zhǔn)確。大模型應(yīng)用問題大模型和大模型應(yīng)用的區(qū)別大模型就是模型是GPT大模型應(yīng)用是網(wǎng)頁是上面的對話應(yīng)用可以和他對話 chat GPT 有記憶怎么讓大模型變成大模型應(yīng)用呢首先會定義一個對話 ‘接下來緊跟著的是用戶和一個熱心的只是淵博的AI助手之間的對話’這個描述是該大模型交代一下背景告訴他接下來是在聊天然后是用戶提出問題把上線的背景和用戶的問題拼起來就這樣一直重復(fù)達(dá)到對話的效果但是大模型應(yīng)用有圖像界面有文件上傳有WEB搜索這些都是傳統(tǒng)的編程傳統(tǒng)編程和大模型的優(yōu)缺點傳統(tǒng)編程適合 確定性邏輯處理精確控制和高可靠 不適合 模糊問題復(fù)雜模式識別大模型 則恰恰預(yù)期相反適合模糊問題復(fù)雜模式識別因為大模型是在預(yù)測下一個的可能性所以不適合邏輯處理精確控制所以把兩者結(jié)合起來就是大模型應(yīng)用怎么結(jié)合大模型的結(jié)構(gòu)是什么呢目的是知道兩者的優(yōu)缺點什么東西適合大模型去做有任務(wù)怎么分大模型服務(wù)云服務(wù)阿里百煉騰訊TI平臺千帆平臺硅基流動火山方舟-火山引擎模型多可以多調(diào)用公司深度求索月之暗面智普本地部署http://olama.com 這個各平臺可以通過這個平臺暴露出本地的接口olama是一個幫我們管理模型的工具我們要利用這個工具去下載管理模型公共大模型olama本地模型安裝指定目錄在安裝的位置打開cmd然后輸出 前面是exe的文件后面是空格/ DIR你要安裝的路徑模型下載大模型API接口規(guī)范其中message中role可以進(jìn)行身份設(shè)定是對系統(tǒng)的身份設(shè)定用戶的輸入就是提問的問題。會話記憶問題大模型是沒有記憶的大模型不是一個對話機(jī)器人產(chǎn)品大模型的服務(wù)是無狀態(tài)的每一輪請求是一次會話不同會話之間相互獨立并不具備會話記憶功能解決方案用戶每次請求時需要將之前的所有對話歷史拼接好傳遞給對話API多輪對話的核心是維護(hù)一個message數(shù)組要做會話記憶需要把每次對話都保存在一個地方要向模型發(fā)起請求的時候都需要吧歷史的對話信息帶入進(jìn)去然后再次拼接用戶的提問環(huán)境準(zhǔn)備使用UV做項目管理依賴管理可以在pycharm中去使用UV進(jìn)行項目管理編程調(diào)用大模型左邊是HTTP請求右邊是python代碼請求有一個地方比較特殊就是URL,URL不用填寫完整的URL只填寫最前面的部分根據(jù)下面調(diào)用的模型會動態(tài)就會自動補(bǔ)全后面的參數(shù)。1.安裝依賴 import openai 初始化客戶端2.訪問模型建議通過環(huán)境變量加載APIkey3.獲取模型響應(yīng)結(jié)果