關(guān)實(shí)戰(zhàn)教程：一行 Docker 命令搭好你的 AI Native API 網(wǎng)關(guān))
Higress AI 網(wǎng)關(guān)實(shí)戰(zhàn)教程一行 Docker 命令搭好你的 AI Native API 網(wǎng)關(guān)【免費(fèi)下載鏈接】higress AI Gateway | AI Native API Gateway項(xiàng)目地址: https://gitcode.com/GitHub_Trending/hi/higressHigress 是一款云原生 API 網(wǎng)關(guān)內(nèi)核基于 Istio 和 Envoy主打 AI 網(wǎng)關(guān)能力統(tǒng)一接入各家大模型、托管 MCP Server、給 API 加限流鑒權(quán)。它解決的是模型供應(yīng)商協(xié)議不統(tǒng)一、API 缺少流量與安全管控這兩個(gè)問(wèn)題。項(xiàng)目是 CNCF 沙箱項(xiàng)目當(dāng)前版本 v2.2.4見(jiàn) VERSION支持每秒數(shù)十萬(wàn)請(qǐng)求級(jí)別的生產(chǎn)場(chǎng)景。5 分鐘上手三種安裝方式與第一次驗(yàn)證安裝有三條路先看你屬于哪種人方式命令/步驟適合誰(shuí)Docker最省事一條docker run起 all-in-one 鏡像本地學(xué)習(xí)、演示、小型站點(diǎn)Helm 部署 K8shelm install加--set global.hub鏡像源已有集群、要上生產(chǎn)源碼構(gòu)建克隆倉(cāng)庫(kù)https://gitcode.com/GitHub_Trending/hi/higress參考 Makefile.core.mk改內(nèi)核、發(fā)鏡像Docker 方式只需 4 步全程約 3~5 分鐘主要花在拉鏡像上建一個(gè)工作目錄mkdir higress cd higress容器配置會(huì)寫(xiě)到這個(gè)目錄執(zhí)行啟動(dòng)命令docker run -d --rm --name higress-ai -v ${PWD}:/data \ -p 8001:8001 -p 8080:8080 -p 8443:8443 \ higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest瀏覽器打開(kāi)http://localhost:8001進(jìn)入 UI 控制臺(tái)驗(yàn)證成功在控制臺(tái)服務(wù)來(lái)源里能看到默認(rèn)入口再向 8080 端口發(fā)一個(gè) HTTP 請(qǐng)求返回 200 或路由提示信息說(shuō)明網(wǎng)關(guān)在轉(zhuǎn)發(fā)三個(gè)端口記清楚后面調(diào)試全靠它8001UI 控制臺(tái)入口8080網(wǎng)關(guān) HTTP 入口8443網(wǎng)關(guān) HTTPS 入口拉鏡像超時(shí)的話(huà)把鏡像源換成北美higress-registry.us-west-1.cr.aliyuncs.com或東南亞higress-registry.ap-southeast-7.cr.aliyuncs.comHelm 部署則通過(guò)global.hub參數(shù)配置。核心能力拆解四個(gè)模塊逐項(xiàng)看AI 網(wǎng)關(guān)一份 OpenAI 協(xié)議打通所有模型適用場(chǎng)景你同時(shí)用 OpenAI、Claude、通義千問(wèn)、Moonshot 等好幾家模型不想為每家寫(xiě)一套對(duì)接代碼。具體操作部署 AI Proxy 插件源碼在 plugins/wasm-go/extensions/ai-proxy/在控制臺(tái)把目標(biāo)供應(yīng)商和 API Key 配上客戶(hù)端照 OpenAI 格式調(diào)/v1/chat/completions即可。得到結(jié)果插件自動(dòng)檢測(cè)請(qǐng)求協(xié)議OpenAI 或 Claude 格式并轉(zhuǎn)成目標(biāo)供應(yīng)商協(xié)議模型名可通過(guò)modelMapping映射多個(gè) Key 隨機(jī)負(fù)載、失效自動(dòng)切換倉(cāng)庫(kù) provider 目錄里能數(shù)出 50 來(lái)個(gè)已適配供應(yīng)商還支持 vllm/ollama 這類(lèi)自建模型。MCP Server 托管讓 AI Agent 統(tǒng)一調(diào)用工具適用場(chǎng)景你要把一批工具 API 暴露給 AI AgentMCP 協(xié)議還要管住誰(shuí)能調(diào)、能調(diào)多快。具體操作通過(guò)插件機(jī)制在 Higress 上托管 MCP Server示例配置參考 samples/mcp/。得到結(jié)果工具調(diào)用走網(wǎng)關(guān)后統(tǒng)一獲得認(rèn)證鑒權(quán)、細(xì)粒度限流、完整審計(jì)日志和可觀測(cè)指標(biāo)更新 MCP 邏輯時(shí)流量無(wú)損長(zhǎng)連接不斷?？刂婆_(tái)與服務(wù)發(fā)現(xiàn)路由、域名、插件一個(gè)界面管完適用場(chǎng)景需要可視化管路由后端服務(wù)散落在不同注冊(cè)中心。具體操作先在服務(wù)來(lái)源里對(duì)接 K8s Service、Nacos、ZooKeeper、Consul、Eureka或直接用靜態(tài) IP/DNS再到路由頁(yè)選域名、定義匹配規(guī)則、綁定目標(biāo)服務(wù)域名頁(yè)可管 TLS 證書(shū)支持對(duì)接 Lets Encrypt 自動(dòng)續(xù)簽插件頁(yè)可給指定域名或指定路由單獨(dú)掛插件。得到結(jié)果路由變更毫秒級(jí)生效不用重啟網(wǎng)關(guān)監(jiān)控頁(yè)內(nèi)置 Prometheus 和 Grafana開(kāi)箱即可看指標(biāo)。安全與流量治理限流、認(rèn)證、WAF 開(kāi)箱即用適用場(chǎng)景對(duì)外 API 要做認(rèn)證和防刷。具體操作在插件市場(chǎng)選對(duì)應(yīng)插件掛到域名或路由上認(rèn)證類(lèi)支持 key-auth、hmac-auth、jwt-auth、basic-auth、oidc防護(hù)類(lèi)有 WAF 和 IP/Cookie 限流plugins/wasm-go/extensions/ 下 50 余個(gè)官方插件。得到結(jié)果不寫(xiě)業(yè)務(wù)代碼就完成鑒權(quán)與限流插件以 Wasm 沙箱運(yùn)行獨(dú)立升級(jí)、熱更新不中斷流量。常見(jiàn)誤區(qū)糾正先對(duì)照這 5 條錯(cuò)誤做法正確做法拉鏡像一直超時(shí)就干等換區(qū)域鏡像源北美/東南亞K8s 用global.hub指定瀏覽器開(kāi) 8080 等控制臺(tái)控制臺(tái)在 80018080/8443 是給業(yè)務(wù)流量走的配了 AI 插件就直接請(qǐng)求上游模型地址先建路由讓請(qǐng)求進(jìn)入網(wǎng)關(guān)由插件轉(zhuǎn)發(fā)到供應(yīng)商覺(jué)得改了插件不生效重啟容器先檢查插件是否綁定到了對(duì)應(yīng)的域名/路由變更本身秒級(jí)熱更新拿 all-in-one Docker 鏡像直接上生產(chǎn)Docker 版適合學(xué)習(xí)與小型站點(diǎn)生產(chǎn)用 Helm 部署 K8s邊界與注意事項(xiàng)這些事它做不了或需要條件Docker 版不是生產(chǎn)形態(tài)all-in-one 鏡像面向個(gè)人開(kāi)發(fā)正式環(huán)境走 Helm K8s鏡像源、組件版本都通過(guò) values 管理AI 能力依賴(lài)上游 Key插件只做協(xié)議轉(zhuǎn)換和治理模型本身要你自己有賬號(hào)和額度網(wǎng)關(guān)不替你部署后端服務(wù)要先存在于 K8s、Nacos 等它支持的服務(wù)來(lái)源里它負(fù)責(zé)發(fā)現(xiàn)和路由插件沙箱有語(yǔ)言邊界官方插件生態(tài)以 Go/Wasm 為主plugins/wasm-go/、plugins/wasm-rust/、plugins/wasm-cpp/C 等語(yǔ)言走獨(dú)立編譯鏈路合規(guī)提醒網(wǎng)關(guān)上的審計(jì)日志、認(rèn)證配置涉及業(yè)務(wù)數(shù)據(jù)生產(chǎn)部署前按 SECURITY.md 流程管理漏洞與憑據(jù)使用各家模型需遵守相應(yīng)服務(wù)商的條款寫(xiě)在最后Higress 的價(jià)值一句話(huà)一條 Docker 命令把模型接入、工具托管、流量與安全治理收進(jìn)一個(gè)網(wǎng)關(guān)?，F(xiàn)在就可以按第一節(jié)的 4 步把 all-in-one 跑起來(lái)打開(kāi)http://localhost:8001完成你的第一次路由配置想深入看原理直接讀 docs/architecture.md 和 CONTRIBUTING_CN.md 參與貢獻(xiàn)。【免費(fèi)下載鏈接】higress AI Gateway | AI Native API Gateway項(xiàng)目地址: https://gitcode.com/GitHub_Trending/hi/higress創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Higress AI 網(wǎng)關(guān)實(shí)戰(zhàn)教程：一行 Docker 命令搭好你的 AI Native API 網(wǎng)關(guān)
Higress AI 網(wǎng)關(guān)實(shí)戰(zhàn)教程一行 Docker 命令搭好你的 AI Native API 網(wǎng)關(guān)【免費(fèi)下載鏈接】higress AI Gateway | AI Native API Gateway項(xiàng)目地址: https://gitcode.com/GitHub_Trending/hi/higressHigress 是一款云原生 API 網(wǎng)關(guān)內(nèi)核基于 Istio 和 Envoy主打 AI 網(wǎng)關(guān)能力統(tǒng)一接入各家大模型、托管 MCP Server、給 API 加限流鑒權(quán)。它解決的是模型供應(yīng)商協(xié)議不統(tǒng)一、API 缺少流量與安全管控這兩個(gè)問(wèn)題。項(xiàng)目是 CNCF 沙箱項(xiàng)目當(dāng)前版本 v2.2.4見(jiàn) VERSION支持每秒數(shù)十萬(wàn)請(qǐng)求級(jí)別的生產(chǎn)場(chǎng)景。5 分鐘上手三種安裝方式與第一次驗(yàn)證安裝有三條路先看你屬于哪種人方式命令/步驟適合誰(shuí)Docker最省事一條docker run起 all-in-one 鏡像本地學(xué)習(xí)、演示、小型站點(diǎn)Helm 部署 K8shelm install加--set global.hub鏡像源已有集群、要上生產(chǎn)源碼構(gòu)建克隆倉(cāng)庫(kù)https://gitcode.com/GitHub_Trending/hi/higress參考 Makefile.core.mk改內(nèi)核、發(fā)鏡像Docker 方式只需 4 步全程約 3~5 分鐘主要花在拉鏡像上建一個(gè)工作目錄mkdir higress cd higress容器配置會(huì)寫(xiě)到這個(gè)目錄執(zhí)行啟動(dòng)命令docker run -d --rm --name higress-ai -v ${PWD}:/data \ -p 8001:8001 -p 8080:8080 -p 8443:8443 \ higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest瀏覽器打開(kāi)http://localhost:8001進(jìn)入 UI 控制臺(tái)驗(yàn)證成功在控制臺(tái)服務(wù)來(lái)源里能看到默認(rèn)入口再向 8080 端口發(fā)一個(gè) HTTP 請(qǐng)求返回 200 或路由提示信息說(shuō)明網(wǎng)關(guān)在轉(zhuǎn)發(fā)三個(gè)端口記清楚后面調(diào)試全靠它8001UI 控制臺(tái)入口8080網(wǎng)關(guān) HTTP 入口8443網(wǎng)關(guān) HTTPS 入口拉鏡像超時(shí)的話(huà)把鏡像源換成北美higress-registry.us-west-1.cr.aliyuncs.com或東南亞higress-registry.ap-southeast-7.cr.aliyuncs.comHelm 部署則通過(guò)global.hub參數(shù)配置。核心能力拆解四個(gè)模塊逐項(xiàng)看AI 網(wǎng)關(guān)一份 OpenAI 協(xié)議打通所有模型適用場(chǎng)景你同時(shí)用 OpenAI、Claude、通義千問(wèn)、Moonshot 等好幾家模型不想為每家寫(xiě)一套對(duì)接代碼。具體操作部署 AI Proxy 插件源碼在 plugins/wasm-go/extensions/ai-proxy/在控制臺(tái)把目標(biāo)供應(yīng)商和 API Key 配上客戶(hù)端照 OpenAI 格式調(diào)/v1/chat/completions即可。得到結(jié)果插件自動(dòng)檢測(cè)請(qǐng)求協(xié)議OpenAI 或 Claude 格式并轉(zhuǎn)成目標(biāo)供應(yīng)商協(xié)議模型名可通過(guò)modelMapping映射多個(gè) Key 隨機(jī)負(fù)載、失效自動(dòng)切換倉(cāng)庫(kù) provider 目錄里能數(shù)出 50 來(lái)個(gè)已適配供應(yīng)商還支持 vllm/ollama 這類(lèi)自建模型。MCP Server 托管讓 AI Agent 統(tǒng)一調(diào)用工具適用場(chǎng)景你要把一批工具 API 暴露給 AI AgentMCP 協(xié)議還要管住誰(shuí)能調(diào)、能調(diào)多快。具體操作通過(guò)插件機(jī)制在 Higress 上托管 MCP Server示例配置參考 samples/mcp/。得到結(jié)果工具調(diào)用走網(wǎng)關(guān)后統(tǒng)一獲得認(rèn)證鑒權(quán)、細(xì)粒度限流、完整審計(jì)日志和可觀測(cè)指標(biāo)更新 MCP 邏輯時(shí)流量無(wú)損長(zhǎng)連接不斷?？刂婆_(tái)與服務(wù)發(fā)現(xiàn)路由、域名、插件一個(gè)界面管完適用場(chǎng)景需要可視化管路由后端服務(wù)散落在不同注冊(cè)中心。具體操作先在服務(wù)來(lái)源里對(duì)接 K8s Service、Nacos、ZooKeeper、Consul、Eureka或直接用靜態(tài) IP/DNS再到路由頁(yè)選域名、定義匹配規(guī)則、綁定目標(biāo)服務(wù)域名頁(yè)可管 TLS 證書(shū)支持對(duì)接 Lets Encrypt 自動(dòng)續(xù)簽插件頁(yè)可給指定域名或指定路由單獨(dú)掛插件。得到結(jié)果路由變更毫秒級(jí)生效不用重啟網(wǎng)關(guān)監(jiān)控頁(yè)內(nèi)置 Prometheus 和 Grafana開(kāi)箱即可看指標(biāo)。安全與流量治理限流、認(rèn)證、WAF 開(kāi)箱即用適用場(chǎng)景對(duì)外 API 要做認(rèn)證和防刷。具體操作在插件市場(chǎng)選對(duì)應(yīng)插件掛到域名或路由上認(rèn)證類(lèi)支持 key-auth、hmac-auth、jwt-auth、basic-auth、oidc防護(hù)類(lèi)有 WAF 和 IP/Cookie 限流plugins/wasm-go/extensions/ 下 50 余個(gè)官方插件。得到結(jié)果不寫(xiě)業(yè)務(wù)代碼就完成鑒權(quán)與限流插件以 Wasm 沙箱運(yùn)行獨(dú)立升級(jí)、熱更新不中斷流量。常見(jiàn)誤區(qū)糾正先對(duì)照這 5 條錯(cuò)誤做法正確做法拉鏡像一直超時(shí)就干等換區(qū)域鏡像源北美/東南亞K8s 用global.hub指定瀏覽器開(kāi) 8080 等控制臺(tái)控制臺(tái)在 80018080/8443 是給業(yè)務(wù)流量走的配了 AI 插件就直接請(qǐng)求上游模型地址先建路由讓請(qǐng)求進(jìn)入網(wǎng)關(guān)由插件轉(zhuǎn)發(fā)到供應(yīng)商覺(jué)得改了插件不生效重啟容器先檢查插件是否綁定到了對(duì)應(yīng)的域名/路由變更本身秒級(jí)熱更新拿 all-in-one Docker 鏡像直接上生產(chǎn)Docker 版適合學(xué)習(xí)與小型站點(diǎn)生產(chǎn)用 Helm 部署 K8s邊界與注意事項(xiàng)這些事它做不了或需要條件Docker 版不是生產(chǎn)形態(tài)all-in-one 鏡像面向個(gè)人開(kāi)發(fā)正式環(huán)境走 Helm K8s鏡像源、組件版本都通過(guò) values 管理AI 能力依賴(lài)上游 Key插件只做協(xié)議轉(zhuǎn)換和治理模型本身要你自己有賬號(hào)和額度網(wǎng)關(guān)不替你部署后端服務(wù)要先存在于 K8s、Nacos 等它支持的服務(wù)來(lái)源里它負(fù)責(zé)發(fā)現(xiàn)和路由插件沙箱有語(yǔ)言邊界官方插件生態(tài)以 Go/Wasm 為主plugins/wasm-go/、plugins/wasm-rust/、plugins/wasm-cpp/C 等語(yǔ)言走獨(dú)立編譯鏈路合規(guī)提醒網(wǎng)關(guān)上的審計(jì)日志、認(rèn)證配置涉及業(yè)務(wù)數(shù)據(jù)生產(chǎn)部署前按 SECURITY.md 流程管理漏洞與憑據(jù)使用各家模型需遵守相應(yīng)服務(wù)商的條款寫(xiě)在最后Higress 的價(jià)值一句話(huà)一條 Docker 命令把模型接入、工具托管、流量與安全治理收進(jìn)一個(gè)網(wǎng)關(guān)?，F(xiàn)在就可以按第一節(jié)的 4 步把 all-in-one 跑起來(lái)打開(kāi)http://localhost:8001完成你的第一次路由配置想深入看原理直接讀 docs/architecture.md 和 CONTRIBUTING_CN.md 參與貢獻(xiàn)。【免費(fèi)下載鏈接】higress AI Gateway | AI Native API Gateway項(xiàng)目地址: https://gitcode.com/GitHub_Trending/hi/higress創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考