AI Agent平臺(tái)：讓AI從“動(dòng)口”到“動(dòng)手”

ChatGPT 和 Claude 擅長(zhǎng)寫文案、解題、編邏輯——但它們不會(huì)點(diǎn)鼠標(biāo)、不會(huì)切窗口、不會(huì)打開 Excel 并標(biāo)紅某幾行。AI Agent平臺(tái) 會(huì)。

它不生成建議，它直接執(zhí)行。你讓它“把銷售表里 Q3 超過 80 萬(wàn)的客戶名加粗并導(dǎo)出 PDF”，它就真去干：?jiǎn)?dòng) Excel、定位 Sheet、篩選數(shù)據(jù)、加粗、導(dǎo)出、發(fā)郵件給你。

AI Agent平臺(tái) 是什么

AI Agent平臺(tái) 是一個(gè)運(yùn)行在本地的操作代理（operation agent）。它不是聊天界面背后的黑盒，而是一個(gè)能感知屏幕、操控輸入、調(diào)用 API、讀寫文件的終端進(jìn)程。核心不是“更聰明的語(yǔ)言模型”，而是把語(yǔ)言理解、動(dòng)作規(guī)劃、系統(tǒng)控制三者焊死在一起。

它怎么干活

AI Agent平臺(tái) 的操作引擎不依賴預(yù)設(shè)腳本或錄制回放。它靠?jī)杉侣涞兀?/p>

• 視覺+語(yǔ)義對(duì)齊：用輕量 CV 模型實(shí)時(shí)解析屏幕內(nèi)容（比如識(shí)別 Excel 窗口標(biāo)題欄、按鈕位置、表格邊界），再和 NLU 解析出的指令意圖對(duì)齊；
• 原子動(dòng)作庫(kù)：封裝了 click_at(x,y), type_text("xxx"), read_cell("B5"), call_api("weather", {"city": "shanghai"}) 這類確定性動(dòng)作，所有復(fù)雜任務(wù)都拆成這些原子操作串。

舉幾個(gè)真實(shí)能跑的例子：

• 截取當(dāng)前網(wǎng)頁(yè)頂部 600px 區(qū)域，保存為 /tmp/top.png
  → AI Agent平臺(tái) 識(shí)別瀏覽器窗口，計(jì)算視口坐標(biāo)，調(diào)用截圖工具，寫文件。
• 打開 ~/data/invoices.xlsx，把“狀態(tài)”列里值為“pending”的整行背景設(shè)為黃色，另存為 invoices_pending_highlighted.xlsx
  → 啟動(dòng) Excel（或用 openpyxl 后端），定位列，遍歷匹配行，設(shè)樣式，保存。
• 查 Slack 中 #finance 頻道今天提到“budget”的最新 3 條消息，提取發(fā)送人和時(shí)間，匯總成 Markdown 表格發(fā)我郵箱
  → 調(diào) Slack API 獲取消息，正則匹配，格式化，調(diào) SMTP 發(fā)送。

典型工作流

1. 日常辦公提效
   “整理上周五所有會(huì)議的 Zoom 錄像鏈接，按時(shí)間排序，生成帶標(biāo)題的 Notion 頁(yè)面”
   → AI Agent平臺(tái) 自動(dòng)翻 Outlook 日歷、查 Zoom 郵件、提取鏈接、調(diào) Notion API 創(chuàng)建頁(yè)面。
2. RPA 場(chǎng)景免編碼
   傳統(tǒng) RPA 要拖拽組件、寫 XPath、處理彈窗異常。AI Agent平臺(tái) 接收自然語(yǔ)言后，自己做元素定位、容錯(cuò)重試、狀態(tài)判斷。比如：“登錄 SAP GUI，進(jìn)事務(wù)碼 VA03，輸訂單號(hào) 123456，截圖‘抬頭’和‘行項(xiàng)目’兩個(gè)標(biāo)簽頁(yè)”。它真能完成。
3. 客服后臺(tái)輔助
   用戶在工單系統(tǒng)里寫：“客戶說收不到發(fā)票，查他郵箱是否在黑名單”。AI Agent平臺(tái) 直接連內(nèi)部郵件網(wǎng)關(guān) API 查記錄，再查 CRM 里的客戶郵箱字段，比對(duì)后返回結(jié)論。
4. 數(shù)據(jù)分析閉環(huán)
   “拉出上月 AWS 賬單里 EC2 成本最高的 5 個(gè)區(qū)域，畫柱狀圖，貼進(jìn)周報(bào) PPT 第 3 頁(yè)”
   → 調(diào) AWS Cost Explorer API → pandas 處理 → matplotlib 畫圖 → python-pptx 插入幻燈片。

當(dāng)前狀態(tài)（2026）

• 平臺(tái)支持：Windows/macOS/Linux 均提供原生二進(jìn)制，無(wú)虛擬機(jī)或容器依賴；macOS 版通過 Accessibility API 控制 UI，Windows 版用 UI Automation，Linux 版基于 X11/Wayland + OCR 補(bǔ)位。
• 集成能力：內(nèi)置連接器覆蓋 Google Workspace、Microsoft Graph、Slack、Notion、Jira、Salesforce、SAP GUI、MySQL/PostgreSQL、本地文件系統(tǒng)。API 調(diào)用全部走 OAuth2 或 token 管理，憑證不硬編碼。
• 真實(shí)部署：1000+ 企業(yè)用戶，集中在金融中后臺(tái)（自動(dòng)生成監(jiān)管報(bào)表）、醫(yī)療 IT（自動(dòng)同步 HIS 系統(tǒng)數(shù)據(jù)）、制造業(yè) ERP（工單狀態(tài)批量更新）等強(qiáng)流程場(chǎng)景。
• 國(guó)產(chǎn)生態(tài)協(xié)同：AutoClaw 在家庭 IoT 層做設(shè)備聯(lián)動(dòng)（如“把客廳空調(diào)調(diào)到 26℃ 并關(guān)掉書房燈”），NanoClaw 專注 Android 自動(dòng)化（無(wú)障礙服務(wù) + ADB 指令），AI Agent平臺(tái) 提供跨平臺(tái)動(dòng)作基座。三者共享同一套動(dòng)作描述語(yǔ)言（ClawDSL），模塊可互換。

技術(shù)棧拆解

AI Agent平臺(tái) 架構(gòu)分四層，全部開源（Apache 2.0）：

1. NLU 層：微調(diào)的 TinyBERT + 指令模板匹配器，輸出結(jié)構(gòu)化動(dòng)作意圖（{action: "find_in_excel", file: "~/data.xlsx", column: "status", value: "pending", style: "highlight_yellow"}）
2. Planner 層：基于 LLM 的輕量推理器（本地運(yùn)行 Phi-3），把意圖轉(zhuǎn)為動(dòng)作序列，并插入必要檢查點(diǎn)（如“確認(rèn) Excel 已打開”、“等待單元格加載完成”）
3. Executor 層：純 Rust 編寫，調(diào)系統(tǒng) API、模擬輸入、驅(qū)動(dòng)瀏覽器（Playwright）、調(diào)用 CLI 工具。失敗時(shí)自動(dòng)降級(jí)（如 GUI 失敗則切 CLI 模式）
4. Feedback 層：操作完成后，截圖關(guān)鍵幀、記錄動(dòng)作日志、生成自然語(yǔ)言摘要（“已標(biāo)紅 12 行，保存至 /tmp/highlighted.xlsx”），支持 CLI 輸出或 Webhook 推送

它改變了什么

• 效率不是提升 20%，是消滅整類任務(wù)：財(cái)務(wù)每月初的對(duì)賬、HR 的入職材料歸檔、運(yùn)營(yíng)的日?qǐng)?bào)截圖匯總——這些不再需要人盯流程。
• 自動(dòng)化不再需要“懂技術(shù)”：業(yè)務(wù)人員直接寫中文指令，IT 不用寫腳本、不用維護(hù) XPath、不用處理 UI 更新導(dǎo)致的 selector 失效。
• 協(xié)作方式變了：團(tuán)隊(duì)共享的不是文檔，而是可復(fù)用的 .claw 動(dòng)作包（比如 onboard_new_hire.claw），雙擊就能跑完整入職流程。
• 安全模型更可控：所有動(dòng)作在本地執(zhí)行，敏感數(shù)據(jù)不出內(nèi)網(wǎng)；權(quán)限按動(dòng)作粒度控制（如“只允許讀 Excel，禁止寫”），比給 AI 一個(gè)賬號(hào)密碼更細(xì)。

現(xiàn)在就能做什么

• 下載 ai-agent.dev 的最新 release，解壓即用（macOS/Windows 有圖形配置向?qū)В?/li>
• 寫第一條指令：ai-agent run "截圖當(dāng)前桌面，保存為 ~/Desktop/screenshot.png"
• 查看內(nèi)置動(dòng)作庫(kù)：ai-agent list-actions
• 改一個(gè)現(xiàn)有動(dòng)作：ai-agent edit excel_highlight_rows（打開 YAML 配置，改字段名或閾值）
• 用 Python 擴(kuò)展：pip install ai-agent-sdk，調(diào) Agent().run("導(dǎo)出數(shù)據(jù)庫(kù)表 users")

國(guó)產(chǎn) Claws 項(xiàng)目也值得盯：AutoClaw 的 Home Assistant 插件已支持語(yǔ)音觸發(fā)設(shè)備聯(lián)動(dòng)，NanoClaw 的 Android 測(cè)試框架正在被大廠用于 UI 自動(dòng)化回歸。它們和 AI Agent平臺(tái) 共享底層動(dòng)作協(xié)議，未來一個(gè)指令能跨 PC、手機(jī)、家電執(zhí)行。