人工智能AI 技能計(jì)算機(jī)視覺OCRGUI 自動(dòng)化大模型DeepSeek【免費(fèi)下載鏈接】agent-vision-toolkit為純文本模型看圖“設(shè)計(jì)更好的視覺工具箱和技能支持多圖理解圖片問答前端UI還原、GUI 自動(dòng)化等并可選無縫接入多個(gè)主流agent直接識(shí)別粘貼圖片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode項(xiàng)目地址https://gitcode.com/Anionex/agent-vision-toolkit點(diǎn)擊查看免費(fèi)下載agent-vision-toolkit 是一款為純文本大模型設(shè)計(jì)的 Agent 視覺工具箱支持多圖理解、圖片問答、長(zhǎng)截圖 OCR、前端 UI 還原和 GUI 自動(dòng)化。它最大的亮點(diǎn)是一句話安裝把一段提示詞發(fā)給你的 Agent它就會(huì)自動(dòng)完成視覺工具箱、skill 和可選無縫接入層的安裝與配置全程無需手動(dòng)改環(huán)境。這篇教程帶你 3 分鐘走通完整流程。先搞清楚它能解決什么問題如果你在用 DeepSeek 這類純文本模型驅(qū)動(dòng) coding Agent大概率遇到過這種場(chǎng)景粘貼一張截圖給 Agent被告知模型不支持圖片輸入直接報(bào)錯(cuò)想讓 Agent 照著設(shè)計(jì)稿還原 UI、讀長(zhǎng)截圖、看界面排 bug統(tǒng)統(tǒng)做不了。agent-vision-toolkit 的思路是視覺能力不一定長(zhǎng)在模型里也可以長(zhǎng)在工具鏈里。它提供兩部分內(nèi)容視覺工具 CLIs skillglance看圖問答/OCR、ground目標(biāo)定位、detect元素盤點(diǎn)、trace矢量描摹、crop區(qū)域裁圖外加一個(gè)教 Agent 什么時(shí)候用哪個(gè)工具 的 vision-skills 技能。任何能調(diào)用 shell 的 Agent 都能用無縫接入層可選升級(jí)透明本地代理 單文件原生插件讓直接粘貼圖片和Agent 內(nèi)置看圖工具都能正常工作詳見 AGENT_INSTALL.md。一句話安裝把這段提示詞發(fā)給你的 Agent這是最簡(jiǎn)單的方式官方稱之為 one-sentence install。直接對(duì)你的 Agent 說根據(jù) https://gitcode.com/Anionex/agent-vision-toolkit 的倉(cāng)庫(kù)指引在本地安裝視覺工具箱和 skill。如果視覺 API 尚未配置請(qǐng)按當(dāng)前系統(tǒng)找到配置文件并引導(dǎo)我填寫VISION_API_KEY、VISION_BASE_URL和VISION_MODEL。如果你還想要無縫接入層粘貼圖片直接可用改為發(fā)送完整閱讀 agent-vision-toolkit 倉(cāng)庫(kù)的 AGENT_INSTALL.md根據(jù)我們當(dāng)前使用的 agent 應(yīng)用安裝適用的視覺代理或原生 extension/plugin。如果視覺 API 尚未配置請(qǐng)按當(dāng)前系統(tǒng)找到配置文件并引導(dǎo)我填寫VISION_API_KEY、VISION_BASE_URL和VISION_MODEL。你只需要準(zhǔn)備一樣?xùn)|西一個(gè)支持 OpenAI Chat Completions、OpenAI Responses 或 Anthropic Messages 協(xié)議的多模態(tài) API以及它的 base URL、API key 和模型名。剩下的Agent 會(huì)引導(dǎo)你一步步完成。安裝過程在做什么3 步手動(dòng)流程詳解想搞懂 Agent 替你干了什么整個(gè)安裝就 3 步步驟做什么說明1?? 指向視覺 API在~/.config/agent-vision-toolkit/env寫入 3 個(gè)環(huán)境變量這是唯一的必填項(xiàng)2?? CLI 放進(jìn) PATHclone 倉(cāng)庫(kù)把bin/目錄加入 shell 的 PATH之后glance等命令全局可用3?? 安裝 skill把 skills/vision-skills/ 復(fù)制進(jìn) Agent 的 skills 目錄如~/.codex/skills/并重啟Agent 從此知道工具的存在和用法如果偏好手動(dòng)操作第 2 步的命令就是git clone https://gitcode.com/Anionex/agent-vision-toolkit.git export PATH$PWD/agent-vision-toolkit/bin:$PATH # 寫入 shell 配置以持久生效第 1 步的配置格式只需 3 行VISION_API_KEYsk-... VISION_BASE_URLhttps://your-vision-endpoint/v1 VISION_MODELyour-vision-model?? 環(huán)境要求也很低glance只需 Python 3.11ground/detect/crop和長(zhǎng)截圖 OCR 另需pillow。按需安裝即可無需為用不到的工具裝依賴。進(jìn)階無縫接入層讓粘貼圖片直接可用基礎(chǔ)安裝后Agent 通過glance等命令看圖。而無縫接入層更進(jìn)一步——圖片直接粘貼進(jìn)對(duì)話、或 Agent 調(diào)用內(nèi)置看圖工具如 Codex 的view_image都不再報(bào)錯(cuò)Agent接入方式狀態(tài)Codex透明本地代理vision_proxy.py監(jiān)聽127.0.0.1:19100? 已驗(yàn)證Claude Code同一個(gè)代理把ANTHROPIC_BASE_URL指向它即可? 已驗(yàn)證Pi / Oh My Pi單文件原生 extension見 extensions/pi/? 已驗(yàn)證OpenCode單文件原生 plugin見 extensions/opencode/? 已驗(yàn)證所有入口共享同一份VISION_*配置一次配置、處處可用。接入層的完整部署細(xì)節(jié)備份配置、后臺(tái)常駐、驗(yàn)證流程都寫在 AGENT_INSTALL.md 里直接讓 Agent 照做即可。核心原理focus hint讓看圖有的放矢很多圖片轉(zhuǎn)文字方案只是讓多模態(tài)模型寫一段通用描述再交給純文本模型自己拼湊中間必然丟信息。agent-vision-toolkit 的做法是先提取Agent 為什么想看這張圖你的原始請(qǐng)求或模型調(diào)用看圖工具時(shí)自述的理由把它作為focus hint一并交給視覺模型。拿回來的就不再是一個(gè)帶側(cè)邊欄的界面這種空話而是布局、組件、間距、顏色等當(dāng)前這一步真正要緊的細(xì)節(jié)——成本更低、準(zhǔn)確率更高、響應(yīng)更快。裝完就能用4 個(gè)立竿見影的場(chǎng)景?圖片問答貼一張?jiān)O(shè)計(jì)圖問這種背景風(fēng)格叫什么Agent 會(huì)給出彌散漸變、Mesh Gradient 等風(fēng)格辨析甚至附上 CSS 實(shí)現(xiàn)?看圖排 bug貼一張界面截圖問為什么字段名稱不符合預(yù)期Agent 直接對(duì)照代碼定位問題并給出修復(fù)方案?UI 還原從手繪稿或網(wǎng)頁截圖還原出可編輯的 HTML 界面流程見 restore-ui 技能指南?長(zhǎng)截圖 OCR聊天記錄、滾動(dòng)長(zhǎng)頁逐塊識(shí)別并按序合并完整示例見 examples/long-screenshot-ocr/。常見問題會(huì)大幅增加費(fèi)用嗎不會(huì)。每次看圖只把必要的意圖和圖片送入多模態(tài)模型上下文且有截?cái)鄼C(jī)制不存在上下文膨脹。想進(jìn)一步壓成本還可以用本地部署的視覺小模型如 Qwen-VL 系列充當(dāng)視覺端。代理需要再配一份上游 API key 嗎不需要。你的文本模型鑒權(quán)頭由 Agent 原樣攜帶代理只透?jìng)鱡nv里只寫視覺 API 的三個(gè)變量。有使用限制嗎它是圖片轉(zhuǎn)文字層不會(huì)把視覺 token 直接交給文本模型整體效果由主模型 視覺模型共同決定代理緩存重啟即清空。寫在最后3 分鐘流程回顧發(fā)一句安裝提示詞 → 填 3 個(gè)VISION_*配置 → 重啟 Agent。之后無論是圖片問答、長(zhǎng)圖 OCR 還是 UI 還原你的純文本 Agent 都能像多模態(tài)模型一樣看世界。這就是 agent-vision-toolkit 想給你的東西——給 Agent 裝上眼睛而且一句話就裝好。贊分享人工智能AI 技能計(jì)算機(jī)視覺OCRGUI 自動(dòng)化大模型DeepSeek【免費(fèi)下載鏈接】agent-vision-toolkit為純文本模型看圖“設(shè)計(jì)更好的視覺工具箱和技能支持多圖理解圖片問答前端UI還原、GUI 自動(dòng)化等并可選無縫接入多個(gè)主流agent直接識(shí)別粘貼圖片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode項(xiàng)目地址https://gitcode.com/Anionex/agent-vision-toolkit點(diǎn)擊查看免費(fèi)下載相關(guān)推薦給純文本模型裝上眼睛agent-vision-toolkit 如何讓 DeepSeek 也能看懂圖片給純文本模型裝上眼睛agent vision toolkit 如何讓 DeepSeek 也能看懂圖片 agent vision toolkit 是一套面向純文3分鐘給Claude Code裝上眼睛World2Agent傳感器安裝實(shí)戰(zhàn)指南3分鐘給Claude Code裝上眼睛World2Agent傳感器安裝實(shí)戰(zhàn)指南 World2AgentW2A是一個(gè)開放協(xié)議專門解決AI Agent 如給Claude Code裝上眼睛PixelRAG pixelbrowse插件安裝與實(shí)戰(zhàn)教程給Claude Code裝上眼睛PixelRAG pixelbrowse插件安裝與實(shí)戰(zhàn)教程 ! PixelRAG 視覺檢索增強(qiáng)生成項(xiàng)目標(biāo)志 https://rRAG人工智能大模型計(jì)算機(jī)視覺創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考