打造能語(yǔ)音對(duì)話、可控制硬件的 MCP 聊天機(jī)器人)
xiaozhi-esp32 使用指南免費(fèi)打造能語(yǔ)音對(duì)話、可控制硬件的 MCP 聊天機(jī)器人【免費(fèi)下載鏈接】xiaozhi-esp32An MCP-based chatbot | 一個(gè)基于MCP的聊天機(jī)器人項(xiàng)目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32xiaozhi-esp32 是一個(gè)基于 MCP 協(xié)議的 ESP32 語(yǔ)音聊天機(jī)器人固件項(xiàng)目把 Qwen、DeepSeek 等大模型裝進(jìn)幾塊錢芯片的設(shè)備里讓它聽你說(shuō)話、回你話還能動(dòng)手控制燈光、電機(jī)。項(xiàng)目免費(fèi)開源MIT 協(xié)議支持 171 個(gè)固件變體和 138 個(gè)開發(fā)板目錄適合想動(dòng)手做 AI 硬件的新手也適合想給現(xiàn)有設(shè)備加語(yǔ)音能力的開發(fā)者。它解決什么問(wèn)題不用自己搭服務(wù)器也能用上大模型固件默認(rèn)對(duì)接官方服務(wù)器注冊(cè)賬號(hào)即可免費(fèi)體驗(yàn)省去了部署、調(diào)參的成本。語(yǔ)音交互是被動(dòng)等待式的設(shè)備離線喚醒基于 ESP-SR平時(shí)幾乎不占網(wǎng)絡(luò)喊一聲才干活。大模型能直接動(dòng)手通過(guò) MCP 協(xié)議調(diào)用設(shè)備端注冊(cè)的工具AI 說(shuō)把燈調(diào)成紅色就真的會(huì)執(zhí)行而不是只回一段文字。硬件選擇多到不用湊合ESP32、C3、C5、C6、S3、P4 六大芯片平臺(tái)都支持Wi-Fi、以太網(wǎng)、4G 組網(wǎng)方式都有對(duì)應(yīng)方案。硬件怎么準(zhǔn)備開發(fā)板怎么選才不踩坑選型核心看三件事帶不帶屏幕、有沒有 AEC回聲消除決定能不能邊說(shuō)邊聽不打架、預(yù)算。項(xiàng)目?jī)?nèi)置了 138 個(gè)板卡目錄以下是幾個(gè)典型檔位推薦型號(hào)適合人群推薦理由立創(chuàng)·實(shí)戰(zhàn)派 ESP32-S3 / 蝦哥 Mini C3預(yù)算有限的入門者板卡便宜、資料多S3 版體驗(yàn)完整M5Stack CoreS3 / AtomS3R Echo Base不想接線的用戶模塊即插即用生態(tài)成熟樂鑫 ESP32-S3-BOX-3想要開箱即用的成品感屏幕、麥克風(fēng)、喇叭一體化SenseCAP Watcher想玩視覺輸入的玩家內(nèi)置攝像頭支持視覺對(duì)話面包板 DIYESP32-S3 ES8311 等想徹底理解接線邏輯的人成本最低教程配套完整下面是官方教程里的面包板接線效果動(dòng)手派可以直接對(duì)照搭15分鐘完成部署從下載到能對(duì)話步驟 1拿到固件操作 → 預(yù)期結(jié)果首次使用建議不搭開發(fā)環(huán)境直接下載對(duì)應(yīng)開發(fā)板的預(yù)編譯固件如果你堅(jiān)持自己編譯用 VSCode 或 Cursor 裝 ESP-IDF 插件首選穩(wěn)定版 v6.0.2。預(yù)期結(jié)果你手里有一份.bin固件或本地能跑通編譯。步驟 2燒錄固件源碼編譯走下面兩條命令預(yù)編譯固件則用燒錄工具寫入.bin即可idf.py set-target esp32s3 idf.py build flash monitor預(yù)期結(jié)果串口監(jiān)視器里看到開機(jī)日志和配網(wǎng)提示說(shuō)明固件已跑起來(lái)。步驟 3聯(lián)網(wǎng)配網(wǎng)固件支持熱點(diǎn)和 BluFi藍(lán)牙配網(wǎng)兩種方式用手機(jī)連上設(shè)備熱點(diǎn)或在藍(lán)牙列表里給它輸入 Wi-Fi 密碼。預(yù)期結(jié)果設(shè)備提示聯(lián)網(wǎng)成功喊一聲喚醒詞能聽到它開口回應(yīng)。核心功能圖譜先看一張圖理解整體鏈路設(shè)備跑在 ESP32 上大模型跑在云端MCP 是兩者之間喊話派活的中間層。離線語(yǔ)音喚醒。意味著什么設(shè)備大部分時(shí)間只是安安靜靜待著只有聽到喚醒詞才把音頻送上云端響應(yīng)快、流量省。真實(shí)例子你對(duì)著桌上的設(shè)備喊你好小智它亮燈提示并開始聆聽你的問(wèn)題。MCP 工具調(diào)用。意味著什么板卡開發(fā)者把硬件能力注冊(cè)成一個(gè)個(gè)工具音量、燈光、舵機(jī)、GPIO 都算大模型在對(duì)話中會(huì)自己決定調(diào)哪個(gè)工具、傳什么參數(shù)。真實(shí)例子ESP-HI 機(jī)器狗注冊(cè)了self.dog.forward這個(gè)工具你說(shuō)往前走走云端下發(fā)調(diào)用請(qǐng)求狗真的邁步了。協(xié)議細(xì)節(jié)見 MCP 用法文檔。雙音頻管線與全雙工。意味著什么既支持傳統(tǒng)識(shí)別 → 大模型 → 語(yǔ)音合成三段式也支持 Realtime 端到端語(yǔ)音模型硬件帶 AEC 時(shí)你說(shuō)到一半它也能邊聽邊接話不用等它說(shuō)完。真實(shí)例子追問(wèn)然后呢時(shí)不用像對(duì)講機(jī)那樣按鍵。表情屏幕與聲紋識(shí)別。帶屏設(shè)備會(huì)實(shí)時(shí)顯示表情和情緒狀態(tài)聲紋識(shí)別基于 3D Speaker能區(qū)分現(xiàn)在說(shuō)話的是誰(shuí)多人的房子里誰(shuí)喊它就知道在回應(yīng)誰(shuí)。3 個(gè)可直接照做的實(shí)戰(zhàn)案例案例 1桌面陪伴機(jī)器人場(chǎng)景給家人放一個(gè)能聊天、有表情的小擺件。 實(shí)現(xiàn)要點(diǎn)選 CoreS3 或 BOX-3 這類帶屏設(shè)備燒錄固件后聯(lián)網(wǎng)后臺(tái)切換你喜歡的音色和對(duì)話風(fēng)格。 最終效果喊喚醒詞即可閑聊屏幕上同步顯示表情和對(duì)話字幕。案例 2語(yǔ)音控?zé)粜≈袠袌?chǎng)景在設(shè)備旁接一個(gè) WS2812 燈帶用語(yǔ)音調(diào)色。 實(shí)現(xiàn)要點(diǎn)參考 ESP-HI 的工具注冊(cè)示例仿照self.light.set_rgb注冊(cè)一個(gè)帶 r/g/b 參數(shù)的工具大模型理解把氛圍調(diào)成藍(lán)色后會(huì)自動(dòng)填參數(shù)調(diào)用它。 最終效果說(shuō)一句調(diào)成暖一點(diǎn)的色溫?zé)魩щS之變化無(wú)需任何 App 操作。案例 3低成本機(jī)器狗場(chǎng)景用 ESP-HI 這類超低成本機(jī)器狗硬件做移動(dòng)對(duì)話機(jī)器人。 實(shí)現(xiàn)要點(diǎn)底盤運(yùn)動(dòng)、燈光、攝像頭翻轉(zhuǎn)都已注冊(cè)為 MCP 工具你只管在對(duì)話里下指令。 最終效果轉(zhuǎn)個(gè)圈看看沙發(fā)底下這類指令可以由模型自己拆解成一次或多次工具調(diào)用來(lái)執(zhí)行。進(jìn)階改造方向怎么改成自己的版本換喚醒詞和外觀。項(xiàng)目支持自定義喚醒詞、字體、表情與聊天背景且可以網(wǎng)頁(yè)端在線修改改完重新打包資源即可不用碰 C 代碼。給大模型加新工具。在板卡代碼里通過(guò)McpServer::AddTool注冊(cè)一個(gè)工具給個(gè)唯一名字建議模塊.功能命名、一句自然語(yǔ)言描述、若干參數(shù)再寫執(zhí)行回調(diào)。命名和參數(shù)寫得好模型才看得懂、敢調(diào)用寫法可對(duì)照 MCP 協(xié)議交互流程。做自己的開發(fā)板。在main/boards/下新建目錄寫config.h引腳映射、config.json構(gòu)建標(biāo)識(shí)和板級(jí)初始化文件參考 自定義開發(fā)板指南。注意務(wù)必使用唯一的板卡標(biāo)識(shí)否則 OTA 升級(jí)時(shí)可能被標(biāo)準(zhǔn)固件覆蓋掉你的定制。常見問(wèn)題Q1第一次燒錄要不要先裝 ESP-IDF不用直接下載預(yù)編譯固件燒錄即可需要改代碼時(shí)才裝開發(fā)環(huán)境首選 ESP-IDF v6.0.2Linux 編譯比 Windows 快且少驅(qū)動(dòng)問(wèn)題Q2喚醒后沒反應(yīng)或識(shí)別不準(zhǔn)先查什么確認(rèn)已聯(lián)網(wǎng)且服務(wù)器賬號(hào)配置正確調(diào)整麥克風(fēng)位置離聲源近一些嘈雜環(huán)境優(yōu)先選帶 AEC 的硬件Q3編譯報(bào)錯(cuò)了怎么辦對(duì)照 ESP-IDF 6.0 遷移文檔 確認(rèn) SDK 版本清理構(gòu)建緩存后重試核對(duì)所選板卡的 sdkconfig 變體與芯片是否匹配下一步行動(dòng)選一塊清單里的開發(fā)板按第三節(jié)的三步流程把預(yù)編譯固件跑通。打開后臺(tái)控制臺(tái)把音色、對(duì)話風(fēng)格調(diào)成你習(xí)慣的試一輪喚醒對(duì)話。想動(dòng)手改造時(shí)從換一個(gè)自定義喚醒詞入手再照著 MCP 文檔給設(shè)備注冊(cè)你的第一個(gè)工具。【免費(fèi)下載鏈接】xiaozhi-esp32An MCP-based chatbot | 一個(gè)基于MCP的聊天機(jī)器人項(xiàng)目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 xiaozhi-esp32 使用指南：免費(fèi)打造能語(yǔ)音對(duì)話、可控制硬件的 MCP 聊天機(jī)器人
xiaozhi-esp32 使用指南免費(fèi)打造能語(yǔ)音對(duì)話、可控制硬件的 MCP 聊天機(jī)器人【免費(fèi)下載鏈接】xiaozhi-esp32An MCP-based chatbot | 一個(gè)基于MCP的聊天機(jī)器人項(xiàng)目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32xiaozhi-esp32 是一個(gè)基于 MCP 協(xié)議的 ESP32 語(yǔ)音聊天機(jī)器人固件項(xiàng)目把 Qwen、DeepSeek 等大模型裝進(jìn)幾塊錢芯片的設(shè)備里讓它聽你說(shuō)話、回你話還能動(dòng)手控制燈光、電機(jī)。項(xiàng)目免費(fèi)開源MIT 協(xié)議支持 171 個(gè)固件變體和 138 個(gè)開發(fā)板目錄適合想動(dòng)手做 AI 硬件的新手也適合想給現(xiàn)有設(shè)備加語(yǔ)音能力的開發(fā)者。它解決什么問(wèn)題不用自己搭服務(wù)器也能用上大模型固件默認(rèn)對(duì)接官方服務(wù)器注冊(cè)賬號(hào)即可免費(fèi)體驗(yàn)省去了部署、調(diào)參的成本。語(yǔ)音交互是被動(dòng)等待式的設(shè)備離線喚醒基于 ESP-SR平時(shí)幾乎不占網(wǎng)絡(luò)喊一聲才干活。大模型能直接動(dòng)手通過(guò) MCP 協(xié)議調(diào)用設(shè)備端注冊(cè)的工具AI 說(shuō)把燈調(diào)成紅色就真的會(huì)執(zhí)行而不是只回一段文字。硬件選擇多到不用湊合ESP32、C3、C5、C6、S3、P4 六大芯片平臺(tái)都支持Wi-Fi、以太網(wǎng)、4G 組網(wǎng)方式都有對(duì)應(yīng)方案。硬件怎么準(zhǔn)備開發(fā)板怎么選才不踩坑選型核心看三件事帶不帶屏幕、有沒有 AEC回聲消除決定能不能邊說(shuō)邊聽不打架、預(yù)算。項(xiàng)目?jī)?nèi)置了 138 個(gè)板卡目錄以下是幾個(gè)典型檔位推薦型號(hào)適合人群推薦理由立創(chuàng)·實(shí)戰(zhàn)派 ESP32-S3 / 蝦哥 Mini C3預(yù)算有限的入門者板卡便宜、資料多S3 版體驗(yàn)完整M5Stack CoreS3 / AtomS3R Echo Base不想接線的用戶模塊即插即用生態(tài)成熟樂鑫 ESP32-S3-BOX-3想要開箱即用的成品感屏幕、麥克風(fēng)、喇叭一體化SenseCAP Watcher想玩視覺輸入的玩家內(nèi)置攝像頭支持視覺對(duì)話面包板 DIYESP32-S3 ES8311 等想徹底理解接線邏輯的人成本最低教程配套完整下面是官方教程里的面包板接線效果動(dòng)手派可以直接對(duì)照搭15分鐘完成部署從下載到能對(duì)話步驟 1拿到固件操作 → 預(yù)期結(jié)果首次使用建議不搭開發(fā)環(huán)境直接下載對(duì)應(yīng)開發(fā)板的預(yù)編譯固件如果你堅(jiān)持自己編譯用 VSCode 或 Cursor 裝 ESP-IDF 插件首選穩(wěn)定版 v6.0.2。預(yù)期結(jié)果你手里有一份.bin固件或本地能跑通編譯。步驟 2燒錄固件源碼編譯走下面兩條命令預(yù)編譯固件則用燒錄工具寫入.bin即可idf.py set-target esp32s3 idf.py build flash monitor預(yù)期結(jié)果串口監(jiān)視器里看到開機(jī)日志和配網(wǎng)提示說(shuō)明固件已跑起來(lái)。步驟 3聯(lián)網(wǎng)配網(wǎng)固件支持熱點(diǎn)和 BluFi藍(lán)牙配網(wǎng)兩種方式用手機(jī)連上設(shè)備熱點(diǎn)或在藍(lán)牙列表里給它輸入 Wi-Fi 密碼。預(yù)期結(jié)果設(shè)備提示聯(lián)網(wǎng)成功喊一聲喚醒詞能聽到它開口回應(yīng)。核心功能圖譜先看一張圖理解整體鏈路設(shè)備跑在 ESP32 上大模型跑在云端MCP 是兩者之間喊話派活的中間層。離線語(yǔ)音喚醒。意味著什么設(shè)備大部分時(shí)間只是安安靜靜待著只有聽到喚醒詞才把音頻送上云端響應(yīng)快、流量省。真實(shí)例子你對(duì)著桌上的設(shè)備喊你好小智它亮燈提示并開始聆聽你的問(wèn)題。MCP 工具調(diào)用。意味著什么板卡開發(fā)者把硬件能力注冊(cè)成一個(gè)個(gè)工具音量、燈光、舵機(jī)、GPIO 都算大模型在對(duì)話中會(huì)自己決定調(diào)哪個(gè)工具、傳什么參數(shù)。真實(shí)例子ESP-HI 機(jī)器狗注冊(cè)了self.dog.forward這個(gè)工具你說(shuō)往前走走云端下發(fā)調(diào)用請(qǐng)求狗真的邁步了。協(xié)議細(xì)節(jié)見 MCP 用法文檔。雙音頻管線與全雙工。意味著什么既支持傳統(tǒng)識(shí)別 → 大模型 → 語(yǔ)音合成三段式也支持 Realtime 端到端語(yǔ)音模型硬件帶 AEC 時(shí)你說(shuō)到一半它也能邊聽邊接話不用等它說(shuō)完。真實(shí)例子追問(wèn)然后呢時(shí)不用像對(duì)講機(jī)那樣按鍵。表情屏幕與聲紋識(shí)別。帶屏設(shè)備會(huì)實(shí)時(shí)顯示表情和情緒狀態(tài)聲紋識(shí)別基于 3D Speaker能區(qū)分現(xiàn)在說(shuō)話的是誰(shuí)多人的房子里誰(shuí)喊它就知道在回應(yīng)誰(shuí)。3 個(gè)可直接照做的實(shí)戰(zhàn)案例案例 1桌面陪伴機(jī)器人場(chǎng)景給家人放一個(gè)能聊天、有表情的小擺件。 實(shí)現(xiàn)要點(diǎn)選 CoreS3 或 BOX-3 這類帶屏設(shè)備燒錄固件后聯(lián)網(wǎng)后臺(tái)切換你喜歡的音色和對(duì)話風(fēng)格。 最終效果喊喚醒詞即可閑聊屏幕上同步顯示表情和對(duì)話字幕。案例 2語(yǔ)音控?zé)粜≈袠袌?chǎng)景在設(shè)備旁接一個(gè) WS2812 燈帶用語(yǔ)音調(diào)色。 實(shí)現(xiàn)要點(diǎn)參考 ESP-HI 的工具注冊(cè)示例仿照self.light.set_rgb注冊(cè)一個(gè)帶 r/g/b 參數(shù)的工具大模型理解把氛圍調(diào)成藍(lán)色后會(huì)自動(dòng)填參數(shù)調(diào)用它。 最終效果說(shuō)一句調(diào)成暖一點(diǎn)的色溫?zé)魩щS之變化無(wú)需任何 App 操作。案例 3低成本機(jī)器狗場(chǎng)景用 ESP-HI 這類超低成本機(jī)器狗硬件做移動(dòng)對(duì)話機(jī)器人。 實(shí)現(xiàn)要點(diǎn)底盤運(yùn)動(dòng)、燈光、攝像頭翻轉(zhuǎn)都已注冊(cè)為 MCP 工具你只管在對(duì)話里下指令。 最終效果轉(zhuǎn)個(gè)圈看看沙發(fā)底下這類指令可以由模型自己拆解成一次或多次工具調(diào)用來(lái)執(zhí)行。進(jìn)階改造方向怎么改成自己的版本換喚醒詞和外觀。項(xiàng)目支持自定義喚醒詞、字體、表情與聊天背景且可以網(wǎng)頁(yè)端在線修改改完重新打包資源即可不用碰 C 代碼。給大模型加新工具。在板卡代碼里通過(guò)McpServer::AddTool注冊(cè)一個(gè)工具給個(gè)唯一名字建議模塊.功能命名、一句自然語(yǔ)言描述、若干參數(shù)再寫執(zhí)行回調(diào)。命名和參數(shù)寫得好模型才看得懂、敢調(diào)用寫法可對(duì)照 MCP 協(xié)議交互流程。做自己的開發(fā)板。在main/boards/下新建目錄寫config.h引腳映射、config.json構(gòu)建標(biāo)識(shí)和板級(jí)初始化文件參考 自定義開發(fā)板指南。注意務(wù)必使用唯一的板卡標(biāo)識(shí)否則 OTA 升級(jí)時(shí)可能被標(biāo)準(zhǔn)固件覆蓋掉你的定制。常見問(wèn)題Q1第一次燒錄要不要先裝 ESP-IDF不用直接下載預(yù)編譯固件燒錄即可需要改代碼時(shí)才裝開發(fā)環(huán)境首選 ESP-IDF v6.0.2Linux 編譯比 Windows 快且少驅(qū)動(dòng)問(wèn)題Q2喚醒后沒反應(yīng)或識(shí)別不準(zhǔn)先查什么確認(rèn)已聯(lián)網(wǎng)且服務(wù)器賬號(hào)配置正確調(diào)整麥克風(fēng)位置離聲源近一些嘈雜環(huán)境優(yōu)先選帶 AEC 的硬件Q3編譯報(bào)錯(cuò)了怎么辦對(duì)照 ESP-IDF 6.0 遷移文檔 確認(rèn) SDK 版本清理構(gòu)建緩存后重試核對(duì)所選板卡的 sdkconfig 變體與芯片是否匹配下一步行動(dòng)選一塊清單里的開發(fā)板按第三節(jié)的三步流程把預(yù)編譯固件跑通。打開后臺(tái)控制臺(tái)把音色、對(duì)話風(fēng)格調(diào)成你習(xí)慣的試一輪喚醒對(duì)話。想動(dòng)手改造時(shí)從換一個(gè)自定義喚醒詞入手再照著 MCP 文檔給設(shè)備注冊(cè)你的第一個(gè)工具。【免費(fèi)下載鏈接】xiaozhi-esp32An MCP-based chatbot | 一個(gè)基于MCP的聊天機(jī)器人項(xiàng)目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考