指南：三步跑通第一個會操作屏幕的 AI 代理)
Cua 計算機使用代理實戰(zhàn)指南三步跑通第一個會操作屏幕的 AI 代理【免費下載鏈接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.項目地址: https://gitcode.com/GitHub_Trending/cua/cuaCua 是一個開源的 Computer-Use AgentCUA框架通俗說就是給 AI 發(fā)一臺看得見的電腦——它能看到屏幕、移動鼠標(biāo)、敲鍵盤替你操作桌面應(yīng)用。適合想給 AI 配上動手能力的開發(fā)者。和只調(diào) API 的方案不同Cua 自帶跨操作系統(tǒng)的沙盒、macOS 虛擬化和一套評測基準(zhǔn)開箱即是一整條鏈路。它替你解決什么想象兩個場景一是你寫了一個 AI 代理它很會推理但讓它幫我打開瀏覽器查個東西就卡住了——它沒有眼睛也碰不到鼠標(biāo)。二是你確實有屏幕和鼠標(biāo)了但代理一執(zhí)行就動你自己的電腦點錯一個地方可能把正在寫的內(nèi)容全丟了你敢嗎Cua 就是為這兩個問題準(zhǔn)備的它把屏幕 輸入設(shè)備 執(zhí)行環(huán)境打包成一個隔離沙盒sandbox即一次性、用完即毀的隔離環(huán)境代理在沙盒里隨便折騰搞砸了也不影響你的主機。同一套 Python API底下可以是 Linux 容器、Linux/macOS/Windows/Android 虛擬機本地跑或云端跑都行。最短路徑跑起來環(huán)境要求一句話Python 3.12 或 3.13本地模式還需要 QEMULinux 容器/VM 走的就是它。第一步安裝統(tǒng)一 SDK一個包里聚合了沙盒、代理和 CLIpip install cua裝完你手里就有了三樣?xùn)|西Sandbox管沙盒、ComputerAgent驅(qū)動代理的 LLM 循環(huán)、cua命令行管沙盒和鏡像。如果你要的是在 Apple 芯片 Mac 上開一臺 macOS 虛擬機這條線另裝 Lume把倉庫克隆下來后運行倉庫里的安裝腳本即可腳本拒絕 sudo默認(rèn)裝到~/.local/bingit clone https://gitcode.com/GitHub_Trending/cua/cua /bin/bash cua/libs/lume/scripts/install.sh # 安裝 Lume 到用戶目錄無需 root lume --version # 驗證裝上了哪個版本第一個完整場景讓代理自己上網(wǎng)下面這段代碼是最小但完整的端到端演示開一個一次性 Linux 沙盒把代理塞進去丟一句話任務(wù)看它自己完成。import asyncio from cua import Sandbox, Image, ComputerAgent async def main(): # localTrue用本地 QEMU 跑不依賴云端 async with Sandbox.ephemeral(Image.linux(), localTrue) as sb: agent ComputerAgent(modelanthropic/claude-sonnet-4-5, tools[sb]) async for response in agent.run(Open the browser and go to example.com): print(response) # 逐步打印代理的每一步動作和結(jié)果 asyncio.run(main())輸入就是那一句自然語言任務(wù)預(yù)期輸出是代理一連串動作截屏 → 決定點哪 → 點擊瀏覽器圖標(biāo) → 等待加載 → 輸入地址 → 驗證頁面。背后發(fā)生的事很簡單每一輪代理都會拿沙盒的截屏當(dāng)視覺輸入模型輸出下一步鼠標(biāo)/鍵盤動作沙盒執(zhí)行后再截屏循環(huán)直到任務(wù)完成。你不需要自己寫任何坐標(biāo)計算。邊界與玩法跑通第一個場景后這套東西的玩法遠(yuǎn)不止在容器里點點點在真機上后臺操作——如果你想讓代理操作你自己 Mac 或 Windows 上的原生應(yīng)用又不想它搶走你的鼠標(biāo)焦點搭配 cua-driver。它在后臺驅(qū)動桌面應(yīng)用同一套 CLI 和 MCP 服務(wù)器覆蓋 macOS、Windows、Linux可以接進 Claude Code、Cursor 這類編碼代理。本地開 macOS 虛擬機——云端跑 macOS 嫌貴或者不放心時搭配 Lume 在 Apple Silicon 上用系統(tǒng)自帶虛擬化框架開 macOS/Linux VM接近原生性能lume create macos-tahoe \ --ipsw ~/Downloads/macos-tahoe.ipsw \ --unattended tahoe # 無人值守模式自動建用戶、開 SSH、禁鎖屏 lume run macos-tahoe # 啟動虛擬機SSH 賬號默認(rèn) lume/lume給模型打分和造數(shù)據(jù)——你在訓(xùn)練或評測計算機使用模型時搭配 Cua-Benchlibs/cua-bench/它內(nèi)置 OSWorld、ScreenSpot 等基準(zhǔn)任務(wù)跑完還能導(dǎo)出軌跡trajectory即截屏動作序列直接喂給訓(xùn)練管線。需要規(guī)模化時沙盒可以按池子pool管理倉庫里有現(xiàn)成的 Terraform 配方docs/content/docs/how-to-guides/sandbox/configure-pool-with-terraform.mdx。新手常踩的坑坑一pip install cua裝不上報Could not find a version that satisfies the requirement。十有八九是 Python 版本太舊。cua主包要求 Python 3.12 或 3.13如果你只能用 3.11單獨裝cua-sandbox可以先跑沙盒部分代理包暫時裝不了?？佣﨤ume 安裝腳本直接退出提示Do not run this script with sudo or as root。這是腳本故意拒絕 root——它默認(rèn)裝到用戶目錄~/.local/bin不需要也不應(yīng)該用 sudo。去掉 sudo 重新執(zhí)行即可?？尤a跑起來了但代理第一步就拋模型相關(guān)的連接錯誤。ComputerAgent只是殼真正干活的是你指定的 LLM 后端OpenAI/Anthropic/Gemini 等API key 沒配或網(wǎng)絡(luò)不通都會在這一步爆出來。先確認(rèn)環(huán)境變量里的 key 有效再回來懷疑沙盒能省一半排查時間。下一步建議先花十分鐘把第一個完整場景那段代碼跑完一遍——看到代理自己點完瀏覽器的那一刻你才算真正摸到 Computer-Use 的門道。然后按自己的方向選一條支線深入真機操作看 cua-driver 文檔macOS 虛擬機看 Lume 使用教程。【免費下載鏈接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.項目地址: https://gitcode.com/GitHub_Trending/cua/cua創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Cua 計算機使用代理實戰(zhàn)指南：三步跑通第一個會操作屏幕的 AI 代理
Cua 計算機使用代理實戰(zhàn)指南三步跑通第一個會操作屏幕的 AI 代理【免費下載鏈接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.項目地址: https://gitcode.com/GitHub_Trending/cua/cuaCua 是一個開源的 Computer-Use AgentCUA框架通俗說就是給 AI 發(fā)一臺看得見的電腦——它能看到屏幕、移動鼠標(biāo)、敲鍵盤替你操作桌面應(yīng)用。適合想給 AI 配上動手能力的開發(fā)者。和只調(diào) API 的方案不同Cua 自帶跨操作系統(tǒng)的沙盒、macOS 虛擬化和一套評測基準(zhǔn)開箱即是一整條鏈路。它替你解決什么想象兩個場景一是你寫了一個 AI 代理它很會推理但讓它幫我打開瀏覽器查個東西就卡住了——它沒有眼睛也碰不到鼠標(biāo)。二是你確實有屏幕和鼠標(biāo)了但代理一執(zhí)行就動你自己的電腦點錯一個地方可能把正在寫的內(nèi)容全丟了你敢嗎Cua 就是為這兩個問題準(zhǔn)備的它把屏幕 輸入設(shè)備 執(zhí)行環(huán)境打包成一個隔離沙盒sandbox即一次性、用完即毀的隔離環(huán)境代理在沙盒里隨便折騰搞砸了也不影響你的主機。同一套 Python API底下可以是 Linux 容器、Linux/macOS/Windows/Android 虛擬機本地跑或云端跑都行。最短路徑跑起來環(huán)境要求一句話Python 3.12 或 3.13本地模式還需要 QEMULinux 容器/VM 走的就是它。第一步安裝統(tǒng)一 SDK一個包里聚合了沙盒、代理和 CLIpip install cua裝完你手里就有了三樣?xùn)|西Sandbox管沙盒、ComputerAgent驅(qū)動代理的 LLM 循環(huán)、cua命令行管沙盒和鏡像。如果你要的是在 Apple 芯片 Mac 上開一臺 macOS 虛擬機這條線另裝 Lume把倉庫克隆下來后運行倉庫里的安裝腳本即可腳本拒絕 sudo默認(rèn)裝到~/.local/bingit clone https://gitcode.com/GitHub_Trending/cua/cua /bin/bash cua/libs/lume/scripts/install.sh # 安裝 Lume 到用戶目錄無需 root lume --version # 驗證裝上了哪個版本第一個完整場景讓代理自己上網(wǎng)下面這段代碼是最小但完整的端到端演示開一個一次性 Linux 沙盒把代理塞進去丟一句話任務(wù)看它自己完成。import asyncio from cua import Sandbox, Image, ComputerAgent async def main(): # localTrue用本地 QEMU 跑不依賴云端 async with Sandbox.ephemeral(Image.linux(), localTrue) as sb: agent ComputerAgent(modelanthropic/claude-sonnet-4-5, tools[sb]) async for response in agent.run(Open the browser and go to example.com): print(response) # 逐步打印代理的每一步動作和結(jié)果 asyncio.run(main())輸入就是那一句自然語言任務(wù)預(yù)期輸出是代理一連串動作截屏 → 決定點哪 → 點擊瀏覽器圖標(biāo) → 等待加載 → 輸入地址 → 驗證頁面。背后發(fā)生的事很簡單每一輪代理都會拿沙盒的截屏當(dāng)視覺輸入模型輸出下一步鼠標(biāo)/鍵盤動作沙盒執(zhí)行后再截屏循環(huán)直到任務(wù)完成。你不需要自己寫任何坐標(biāo)計算。邊界與玩法跑通第一個場景后這套東西的玩法遠(yuǎn)不止在容器里點點點在真機上后臺操作——如果你想讓代理操作你自己 Mac 或 Windows 上的原生應(yīng)用又不想它搶走你的鼠標(biāo)焦點搭配 cua-driver。它在后臺驅(qū)動桌面應(yīng)用同一套 CLI 和 MCP 服務(wù)器覆蓋 macOS、Windows、Linux可以接進 Claude Code、Cursor 這類編碼代理。本地開 macOS 虛擬機——云端跑 macOS 嫌貴或者不放心時搭配 Lume 在 Apple Silicon 上用系統(tǒng)自帶虛擬化框架開 macOS/Linux VM接近原生性能lume create macos-tahoe \ --ipsw ~/Downloads/macos-tahoe.ipsw \ --unattended tahoe # 無人值守模式自動建用戶、開 SSH、禁鎖屏 lume run macos-tahoe # 啟動虛擬機SSH 賬號默認(rèn) lume/lume給模型打分和造數(shù)據(jù)——你在訓(xùn)練或評測計算機使用模型時搭配 Cua-Benchlibs/cua-bench/它內(nèi)置 OSWorld、ScreenSpot 等基準(zhǔn)任務(wù)跑完還能導(dǎo)出軌跡trajectory即截屏動作序列直接喂給訓(xùn)練管線。需要規(guī)模化時沙盒可以按池子pool管理倉庫里有現(xiàn)成的 Terraform 配方docs/content/docs/how-to-guides/sandbox/configure-pool-with-terraform.mdx。新手常踩的坑坑一pip install cua裝不上報Could not find a version that satisfies the requirement。十有八九是 Python 版本太舊。cua主包要求 Python 3.12 或 3.13如果你只能用 3.11單獨裝cua-sandbox可以先跑沙盒部分代理包暫時裝不了?？佣﨤ume 安裝腳本直接退出提示Do not run this script with sudo or as root。這是腳本故意拒絕 root——它默認(rèn)裝到用戶目錄~/.local/bin不需要也不應(yīng)該用 sudo。去掉 sudo 重新執(zhí)行即可?？尤a跑起來了但代理第一步就拋模型相關(guān)的連接錯誤。ComputerAgent只是殼真正干活的是你指定的 LLM 后端OpenAI/Anthropic/Gemini 等API key 沒配或網(wǎng)絡(luò)不通都會在這一步爆出來。先確認(rèn)環(huán)境變量里的 key 有效再回來懷疑沙盒能省一半排查時間。下一步建議先花十分鐘把第一個完整場景那段代碼跑完一遍——看到代理自己點完瀏覽器的那一刻你才算真正摸到 Computer-Use 的門道。然后按自己的方向選一條支線深入真機操作看 cua-driver 文檔macOS 虛擬機看 Lume 使用教程。【免費下載鏈接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.項目地址: https://gitcode.com/GitHub_Trending/cua/cua創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考