非占用式光標控制)
人工智能AI 應用AI Agent代碼智能體桌面應用開發(fā)工具GUI 自動化【免費下載鏈接】cc-hahaLocal-first cross-platform desktop workspace for Claude Code / agents: multi-agent, Git worktrees, code diffs, skill marketplace, multi-model, Computer Use, task-aware desktop pets, with WeChat, Feishu, DingTalk, Telegram, WhatsApp and H5 access.項目地址https://gitcode.com/NanmiCoder/cc-haha點擊查看免費下載cc-haha 是一款本地優(yōu)先的跨平臺 AI 編程桌面工作臺它的 Computer Use電腦操控功能讓 Claude 能截圖、點擊、輸入替你操作那些沒有 API 的桌面應用。在 macOS 上cc-haha 用一個原生 Swift 運行時cu-helper實現(xiàn)了非占用式光標控制Agent 干活時你的真實鼠標紋絲不動屏幕上滑動的只是一枚虛擬光標——你可以一邊讓 AI 操作備忘錄一邊用自己的鼠標繼續(xù)寫代碼。這篇文章拆解它背后的架構與關鍵實現(xiàn)。為什么傳統(tǒng)方案會搶走你的鼠標早期的 AI 電腦操控包括 cc-haha 最初的兼容執(zhí)行器大多基于 Python 的 pyautogui。它在 macOS 底層把鼠標/鍵盤事件注入到HID 硬件事件層CGEventPost(kCGHIDEventTap)后果是系統(tǒng)只有一個物理光標注入等于把真光標拖走用戶無法同時操作事件只能落在當前前臺窗口目標應用必須亮在最前全局生效無法定向投遞到某個后臺 App。這正是用戶核心訴求的反面我想一邊自己工作一邊讓 Agent 在另一個應用上跑自動化。cc-haha 為此把最底層的 Python helper 換成了原生 Swift 二進制 cu-helper上層安全體系與工具協(xié)議完全不動。整體架構只換最底一層Computer Use 是一條 6 層鏈路MCP 工具定義 → 九層安全關卡 → 會話綁定 → 宿主集成 → 進程調(diào)用邊界Bridge→ 平臺執(zhí)行運行時。Swift 化的精妙之處在于只替換了最底層的執(zhí)行運行時舊的 mac_helper.py 與新的 cu-helper 遵守完全相同的 JSON 命令行協(xié)議command --payload jsonstdout 返回{ok, result}上層的 Python Bridge 調(diào)用邊界 幾乎零改動即可在 Python 與 Swift 之間熱切換。非占用式控制的三件套1. 按 PID 定向注入事件不經(jīng)過系統(tǒng)光標新執(zhí)行器有一條絕對規(guī)則所有鼠標/鍵盤事件一律用CGEvent.postToPid(targetPid)即CGEventPostToPid投遞給目標應用進程永遠不調(diào)用 HID 層注入也永遠不調(diào)用CGWarpMouseCursorPosition之類的位移 API。事件上雖然還帶有坐標但那只是讓目標應用做命中測試點中正確的按鈕投遞帶坐標的事件并不會移動硬件光標。這條規(guī)則寫在 Injection.swift 的文件頭注釋里是整個注入引擎的憲法。2. 虛擬光標你自己畫一個假光標給用戶看真光標不動了用戶就看不到 AI 在點哪里。cu-helper 的答案是自繪覆蓋層每塊屏幕上一個無邊框、透明、點擊穿透的浮層窗口光標是一枚隨邏輯坐標平滑滑動ease-out 緩動的動畫元素點擊時播放漣漪動效被操控的窗口還會有一圈柔和光暈跟隨。關鍵實現(xiàn)約束覆蓋層不搶焦點、不出現(xiàn)在 Dock、不吃鼠標事件也不會出現(xiàn)在截圖里否則模型會看到自己的光標形成反饋回路。邏輯位置就是唯一的光標狀態(tài)源見 VirtualCursor.swift。3. AccessibilityAX兜底點按鈕不必真的點postToPid對部分應用不夠可靠所以 cu-helper 對按鈕、菜單、文本框提供 AX 控件級路徑通過坐標找到命中控件直接執(zhí)行按下動作或給文本框賦值。策略與業(yè)界一致CGEvent 優(yōu)先更像真實交互AX 兜底。后臺窗口截圖目標應用不必在最前配合不搶光標截圖也換了引擎Capture.swift 基于 macOS 14 的 ScreenCaptureKit直接抓取指定顯示器或窗口的圖層內(nèi)容。窗口被遮擋、不在最前、甚至在另一塊屏幕上都能抓到——這就是你在 App B 工作Agent 卻在驅動 App A的底氣。人機共存如何確認沒有人和 Agent 搶輸入一個容易被忽略的安全問題Agent 操作到一半真人碰了鼠標怎么辦早期實現(xiàn)用只讀事件監(jiān)聽listen-only event tap結果踩了個大坑監(jiān)聽鍵盤事件需要第三個系統(tǒng)權限輸入監(jiān)控而授權卡片從未請求過它——新裝機上所有操作直接失敗。現(xiàn)在的方案優(yōu)雅得多改讀HID 系統(tǒng)事件計數(shù)器CGEventSource.counterForEventType(.hidSystemState)零權限、不可失效且實測postToPid注入的合成為事件不會污染計數(shù)器。每次動作前后比對計數(shù)器紀元一旦真人動過輸入立即讓位中止。實現(xiàn)見 PhysicalInputEpochMonitor.swift 與 ForegroundLease.swift。九道安全關卡每一次動作都要過檢非占用不等于無邊界。每次動作執(zhí)行前都要串過 9 層檢查全局開關 → TCC 系統(tǒng)權限輔助功能 屏幕錄制→ 會話互斥鎖 → 應用隱藏 → 前臺應用白名單 → 三級權限徽章read / click / full→ 受保護剪貼板 → 像素新鮮度校驗 → 才輪到執(zhí)行。任何一環(huán)失敗動作被拒。cc-haha 自己、終端和瀏覽器也在默認拒絕名單內(nèi)防止 Agent 反向操控宿主。如何開啟與使用對普通用戶你只需要知道兩件事只需兩項系統(tǒng)權限「輔助功能」發(fā)點擊和輸入「屏幕錄制」截屏。輸入監(jiān)控永遠不該出現(xiàn)在任何提示里。授權后需完全退出并重新打開應用入口打開「設置 → Computer Use」開啟然后給任務寫清邊界只在備忘錄里操作比籠統(tǒng)目標靠譜得多。日常用法、已知邊界與排查方法見功能指南 docs/desktop/computer-use.md。關鍵文件路徑速查模塊說明docs/internals/computer-use.mdComputer Use 完整架構文檔分層、授權、Teach 工作流docs/internals/computer-use-native-swift-design.md原生化 Swift 設計方案與逆向證據(jù)docs/internals/computer-use-native-manual-qa.md真機驗證清單虛擬光標、注入契約、安全邊界Injection.swift按 PID 事件注入引擎絕對規(guī)則見文件頭VirtualCursor.swift虛擬光標覆蓋層與動畫Capture.swiftScreenCaptureKit 后臺窗口截圖PhysicalInputEpochMonitor.swift零權限真人輸入檢測src/utils/computerUse/pythonBridge.ts進程調(diào)用邊界Python / Swift 雙執(zhí)行器切換點小結cc-haha 的 Computer Use 用三個替換解決了一個大問題事件按 PID 定向投遞不動真光標、自繪虛擬光標讓用戶看得見 AI 在干嘛、AX 控件兜底后臺應用也能操作再配上 ScreenCaptureKit 后臺截圖和 HID 計數(shù)器人機共存檢測——整套原生 Swift 運行時的協(xié)議邊界與舊 Python helper 完全一致上層安全體系一行未改。這也是只換最底一層架構的勝利能力升級了復雜度卻沒有擴散。贊分享人工智能AI 應用AI Agent代碼智能體桌面應用開發(fā)工具GUI 自動化【免費下載鏈接】cc-hahaLocal-first cross-platform desktop workspace for Claude Code / agents: multi-agent, Git worktrees, code diffs, skill marketplace, multi-model, Computer Use, task-aware desktop pets, with WeChat, Feishu, DingTalk, Telegram, WhatsApp and H5 access.項目地址https://gitcode.com/NanmiCoder/cc-haha點擊查看免費下載相關推薦從 pyautogui 到 Swift cu-helperclaude-code-haha Computer Use 的 macOS 原生化「不搶鼠標」架構從 pyautogui 到 Swift cu helperclaude code haha Computer Use 的 macOS 原生化「不搶鼠標」架構人工智能AI 應用桌面應用代碼智能體MCP Clients深度解析 cc-haha 原生 macOS Computer Use 助手 cu-helper虛擬光標架構、NDJSON 守護進程協(xié)議與 TCC 穩(wěn)定簽名實踐深度解析 cc haha 原生 macOS Computer Use 助手 cu helper虛擬光標架構、NDJSON 守護進程協(xié)議與 TCC 穩(wěn)定簽名實踐人工智能AI 應用桌面應用代碼智能體MCP Clientscc-haha 桌面端 Codex 原生 Computer Use 兼容契約深度解析cc haha 桌面端 Codex 原生 Computer Use 兼容契約深度解析 導讀 本文以 docs/en/internals/computer use人工智能AI 應用桌面應用代碼智能體MCP Clients創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 cc-haha Computer Use 架構解析：macOS 原生 Swift 運行時如何實現(xiàn)非占用式光標控制
人工智能AI 應用AI Agent代碼智能體桌面應用開發(fā)工具GUI 自動化【免費下載鏈接】cc-hahaLocal-first cross-platform desktop workspace for Claude Code / agents: multi-agent, Git worktrees, code diffs, skill marketplace, multi-model, Computer Use, task-aware desktop pets, with WeChat, Feishu, DingTalk, Telegram, WhatsApp and H5 access.項目地址https://gitcode.com/NanmiCoder/cc-haha點擊查看免費下載cc-haha 是一款本地優(yōu)先的跨平臺 AI 編程桌面工作臺它的 Computer Use電腦操控功能讓 Claude 能截圖、點擊、輸入替你操作那些沒有 API 的桌面應用。在 macOS 上cc-haha 用一個原生 Swift 運行時cu-helper實現(xiàn)了非占用式光標控制Agent 干活時你的真實鼠標紋絲不動屏幕上滑動的只是一枚虛擬光標——你可以一邊讓 AI 操作備忘錄一邊用自己的鼠標繼續(xù)寫代碼。這篇文章拆解它背后的架構與關鍵實現(xiàn)。為什么傳統(tǒng)方案會搶走你的鼠標早期的 AI 電腦操控包括 cc-haha 最初的兼容執(zhí)行器大多基于 Python 的 pyautogui。它在 macOS 底層把鼠標/鍵盤事件注入到HID 硬件事件層CGEventPost(kCGHIDEventTap)后果是系統(tǒng)只有一個物理光標注入等于把真光標拖走用戶無法同時操作事件只能落在當前前臺窗口目標應用必須亮在最前全局生效無法定向投遞到某個后臺 App。這正是用戶核心訴求的反面我想一邊自己工作一邊讓 Agent 在另一個應用上跑自動化。cc-haha 為此把最底層的 Python helper 換成了原生 Swift 二進制 cu-helper上層安全體系與工具協(xié)議完全不動。整體架構只換最底一層Computer Use 是一條 6 層鏈路MCP 工具定義 → 九層安全關卡 → 會話綁定 → 宿主集成 → 進程調(diào)用邊界Bridge→ 平臺執(zhí)行運行時。Swift 化的精妙之處在于只替換了最底層的執(zhí)行運行時舊的 mac_helper.py 與新的 cu-helper 遵守完全相同的 JSON 命令行協(xié)議command --payload jsonstdout 返回{ok, result}上層的 Python Bridge 調(diào)用邊界 幾乎零改動即可在 Python 與 Swift 之間熱切換。非占用式控制的三件套1. 按 PID 定向注入事件不經(jīng)過系統(tǒng)光標新執(zhí)行器有一條絕對規(guī)則所有鼠標/鍵盤事件一律用CGEvent.postToPid(targetPid)即CGEventPostToPid投遞給目標應用進程永遠不調(diào)用 HID 層注入也永遠不調(diào)用CGWarpMouseCursorPosition之類的位移 API。事件上雖然還帶有坐標但那只是讓目標應用做命中測試點中正確的按鈕投遞帶坐標的事件并不會移動硬件光標。這條規(guī)則寫在 Injection.swift 的文件頭注釋里是整個注入引擎的憲法。2. 虛擬光標你自己畫一個假光標給用戶看真光標不動了用戶就看不到 AI 在點哪里。cu-helper 的答案是自繪覆蓋層每塊屏幕上一個無邊框、透明、點擊穿透的浮層窗口光標是一枚隨邏輯坐標平滑滑動ease-out 緩動的動畫元素點擊時播放漣漪動效被操控的窗口還會有一圈柔和光暈跟隨。關鍵實現(xiàn)約束覆蓋層不搶焦點、不出現(xiàn)在 Dock、不吃鼠標事件也不會出現(xiàn)在截圖里否則模型會看到自己的光標形成反饋回路。邏輯位置就是唯一的光標狀態(tài)源見 VirtualCursor.swift。3. AccessibilityAX兜底點按鈕不必真的點postToPid對部分應用不夠可靠所以 cu-helper 對按鈕、菜單、文本框提供 AX 控件級路徑通過坐標找到命中控件直接執(zhí)行按下動作或給文本框賦值。策略與業(yè)界一致CGEvent 優(yōu)先更像真實交互AX 兜底。后臺窗口截圖目標應用不必在最前配合不搶光標截圖也換了引擎Capture.swift 基于 macOS 14 的 ScreenCaptureKit直接抓取指定顯示器或窗口的圖層內(nèi)容。窗口被遮擋、不在最前、甚至在另一塊屏幕上都能抓到——這就是你在 App B 工作Agent 卻在驅動 App A的底氣。人機共存如何確認沒有人和 Agent 搶輸入一個容易被忽略的安全問題Agent 操作到一半真人碰了鼠標怎么辦早期實現(xiàn)用只讀事件監(jiān)聽listen-only event tap結果踩了個大坑監(jiān)聽鍵盤事件需要第三個系統(tǒng)權限輸入監(jiān)控而授權卡片從未請求過它——新裝機上所有操作直接失敗。現(xiàn)在的方案優(yōu)雅得多改讀HID 系統(tǒng)事件計數(shù)器CGEventSource.counterForEventType(.hidSystemState)零權限、不可失效且實測postToPid注入的合成為事件不會污染計數(shù)器。每次動作前后比對計數(shù)器紀元一旦真人動過輸入立即讓位中止。實現(xiàn)見 PhysicalInputEpochMonitor.swift 與 ForegroundLease.swift。九道安全關卡每一次動作都要過檢非占用不等于無邊界。每次動作執(zhí)行前都要串過 9 層檢查全局開關 → TCC 系統(tǒng)權限輔助功能 屏幕錄制→ 會話互斥鎖 → 應用隱藏 → 前臺應用白名單 → 三級權限徽章read / click / full→ 受保護剪貼板 → 像素新鮮度校驗 → 才輪到執(zhí)行。任何一環(huán)失敗動作被拒。cc-haha 自己、終端和瀏覽器也在默認拒絕名單內(nèi)防止 Agent 反向操控宿主。如何開啟與使用對普通用戶你只需要知道兩件事只需兩項系統(tǒng)權限「輔助功能」發(fā)點擊和輸入「屏幕錄制」截屏。輸入監(jiān)控永遠不該出現(xiàn)在任何提示里。授權后需完全退出并重新打開應用入口打開「設置 → Computer Use」開啟然后給任務寫清邊界只在備忘錄里操作比籠統(tǒng)目標靠譜得多。日常用法、已知邊界與排查方法見功能指南 docs/desktop/computer-use.md。關鍵文件路徑速查模塊說明docs/internals/computer-use.mdComputer Use 完整架構文檔分層、授權、Teach 工作流docs/internals/computer-use-native-swift-design.md原生化 Swift 設計方案與逆向證據(jù)docs/internals/computer-use-native-manual-qa.md真機驗證清單虛擬光標、注入契約、安全邊界Injection.swift按 PID 事件注入引擎絕對規(guī)則見文件頭VirtualCursor.swift虛擬光標覆蓋層與動畫Capture.swiftScreenCaptureKit 后臺窗口截圖PhysicalInputEpochMonitor.swift零權限真人輸入檢測src/utils/computerUse/pythonBridge.ts進程調(diào)用邊界Python / Swift 雙執(zhí)行器切換點小結cc-haha 的 Computer Use 用三個替換解決了一個大問題事件按 PID 定向投遞不動真光標、自繪虛擬光標讓用戶看得見 AI 在干嘛、AX 控件兜底后臺應用也能操作再配上 ScreenCaptureKit 后臺截圖和 HID 計數(shù)器人機共存檢測——整套原生 Swift 運行時的協(xié)議邊界與舊 Python helper 完全一致上層安全體系一行未改。這也是只換最底一層架構的勝利能力升級了復雜度卻沒有擴散。贊分享人工智能AI 應用AI Agent代碼智能體桌面應用開發(fā)工具GUI 自動化【免費下載鏈接】cc-hahaLocal-first cross-platform desktop workspace for Claude Code / agents: multi-agent, Git worktrees, code diffs, skill marketplace, multi-model, Computer Use, task-aware desktop pets, with WeChat, Feishu, DingTalk, Telegram, WhatsApp and H5 access.項目地址https://gitcode.com/NanmiCoder/cc-haha點擊查看免費下載相關推薦從 pyautogui 到 Swift cu-helperclaude-code-haha Computer Use 的 macOS 原生化「不搶鼠標」架構從 pyautogui 到 Swift cu helperclaude code haha Computer Use 的 macOS 原生化「不搶鼠標」架構人工智能AI 應用桌面應用代碼智能體MCP Clients深度解析 cc-haha 原生 macOS Computer Use 助手 cu-helper虛擬光標架構、NDJSON 守護進程協(xié)議與 TCC 穩(wěn)定簽名實踐深度解析 cc haha 原生 macOS Computer Use 助手 cu helper虛擬光標架構、NDJSON 守護進程協(xié)議與 TCC 穩(wěn)定簽名實踐人工智能AI 應用桌面應用代碼智能體MCP Clientscc-haha 桌面端 Codex 原生 Computer Use 兼容契約深度解析cc haha 桌面端 Codex 原生 Computer Use 兼容契約深度解析 導讀 本文以 docs/en/internals/computer use人工智能AI 應用桌面應用代碼智能體MCP Clients創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考