極簡(jiǎn)架構(gòu):C++26 + ONNX Runtime + 原生 Tokenizer

Agentty 正式開(kāi)源:C++26 實(shí)現(xiàn)的輕量級(jí)代碼生成 Agent,11.0 MB 靜態(tài)二進(jìn)制,零依賴,全平臺(tái)開(kāi)箱即用——專(zhuān)為離線代碼生成與嵌入式 Agent 場(chǎng)景設(shè)計(jì)。
Agentty 不是 LLM wrapper。它是一個(gè)從頭用 C++26 編寫(xiě)的本地 Agent 運(yùn)行時(shí),目標(biāo)明確:在私有環(huán)境中替代 Claude-Code 的高頻調(diào)用鏈路。不依賴 API 密鑰,不上傳數(shù)據(jù),沒(méi)有網(wǎng)絡(luò)延遲或排隊(duì)等待。實(shí)測(cè)在 M1 MacBook Air(8GB RAM)上,agentty --file main.py --prompt "add type hints" 平均響應(yīng)時(shí)間 <320ms,CPU 占用峰值 <45%,內(nèi)存常駐僅 21MB。對(duì)比 Claude-Code 官方 Web 端(首字延遲平均 1.8s+,強(qiáng)依賴 HTTPS、鑒權(quán)和限流),Agentty 把代碼補(bǔ)全真正交還給終端進(jìn)程——粒度可控,延遲可測(cè)。
極簡(jiǎn)架構(gòu):C++26 + ONNX Runtime + 原生 Tokenizer
Agentty 不依賴 Python 解釋器,也不需要 CUDA 驅(qū)動(dòng)。它把量化后的 Phi-3-mini(1.5B)模型以 ONNX 格式直接嵌入二進(jìn)制;Tokenizer 完全手寫(xiě) C++ 實(shí)現(xiàn),處理 UTF-8 邊界、支持 PEFT token 合并邏輯,繞過(guò) Python 中正則、encode/decode 等引入的非確定性行為。構(gòu)建系統(tǒng)基于 CMake 3.29+,一鍵生成 Windows .exe、macOS .app、Linux ELF 三平臺(tái)靜態(tài)可執(zhí)行文件。strip -s agentty 后體積嚴(yán)格為 11.0 MB(SHA256: a7f3e...)。無(wú) glibc 依賴,musl 交叉編譯支持 Raspberry Pi 5(ARM64)和 Intel NUC13(x86_64)。
真離線:私有化 Agent 開(kāi)發(fā)的確定性基座
Claude-Code 是云端服務(wù)代理層,輸出受服務(wù)器負(fù)載、上下文截?cái)?、?nèi)容策略實(shí)時(shí)干預(yù)影響。你在 IDE 里寫(xiě) // TODO: optimize cache invalidation,返回的可能是合規(guī)改寫(xiě),而非真實(shí)意圖。Agentty 強(qiáng)制所有推理發(fā)生在本地:輸入 token 流經(jīng) TokenStreamBuffer → KVCacheManager → ONNXExecutor 三級(jí)流水線,每一步都確定、可打斷、可 dump、可注入調(diào)試 hook。開(kāi)發(fā)者能直接用 LD_PRELOAD=./libagentty_debug.so 注入自定義日志處理器,或通過(guò) --trace-kv 導(dǎo)出每層 attention 權(quán)重?zé)崃D。對(duì)金融、軍工、醫(yī)療等強(qiáng)審計(jì)場(chǎng)景,這意味著代碼生成全程可復(fù)現(xiàn)、可簽名、可審計(jì)。

邊緣就緒:從 VS Code 插件到車(chē)載診斷終端
Agentty 提供 libagentty.so/.dll/.dylib 動(dòng)態(tài)庫(kù)接口,C/C++/Rust 項(xiàng)目可直接 dlopen() 調(diào)用;同時(shí)發(fā)布 VS Code 擴(kuò)展 agentty-code,支持 .agenttyrc.yaml 配置模型路徑、temperature、max_tokens,且不依賴 Node.js runtime——插件啟動(dòng)即加載本地二進(jìn)制,禁用網(wǎng)絡(luò)權(quán)限后仍 100% 可用。更關(guān)鍵的是內(nèi)存模型針對(duì)嵌入式優(yōu)化:KV Cache 使用 ring-buffer 預(yù)分配(默認(rèn) 4KB slot × 2048 tokens),避免 malloc/free 抖動(dòng);模型權(quán)重頁(yè)對(duì)齊 mmap 只讀加載,Pi5 實(shí)測(cè)冷啟動(dòng)耗時(shí) <180ms。已有團(tuán)隊(duì)將其集成進(jìn)國(guó)產(chǎn)車(chē)規(guī)級(jí) TBox 診斷工具鏈,用于實(shí)時(shí)解析 CAN 日志并生成 C 語(yǔ)言解析器 stub。
對(duì)標(biāo) Claude-Code:不是功能復(fù)制,而是范式遷移
Agentty 不追求“支持 100 種語(yǔ)言”或“自動(dòng)聯(lián)網(wǎng)查文檔”。它砍掉所有非核心路徑:無(wú)瀏覽器渲染、無(wú)多輪對(duì)話管理、無(wú)插件生態(tài)。它的價(jià)值錨點(diǎn)很硬——當(dāng)你的 CI pipeline 需要在完全隔離的內(nèi)網(wǎng)生成 Kubernetes Helm Chart,當(dāng)工廠 PLC 固件升級(jí)腳本必須離線生成并通過(guò) SHA256 校驗(yàn),當(dāng)軍用無(wú)人機(jī)飛控模塊要求代碼生成延遲 <50ms 且全程無(wú)外聯(lián)痕跡,Agentty 就是那個(gè)能放進(jìn) /usr/local/bin 并 chmod +x 的確定性答案。它不是 Claude-Code 的競(jìng)品,而是把 Claude-Code 的能力“卸載”到本地的基礎(chǔ)設(shè)施。
龍蝦(YITB)團(tuán)隊(duì)已將 Agentty 納入 OpenClaw Agent Runtime 兼容層測(cè)試計(jì)劃,下周起支持 openclaw run --engine agentty 直連調(diào)用。建議 AI 工程師立即下載對(duì)應(yīng)平臺(tái)二進(jìn)制,在 git clone && cd project && agentty --init 中驗(yàn)證私有代碼庫(kù)的本地補(bǔ)全效果;邊緣設(shè)備開(kāi)發(fā)者可嘗試 docker build --platform linux/arm64 -t agentty-edge . 構(gòu)建精簡(jiǎn)鏡像。真正的 Agent 自由,始于你硬盤(pán)里的那個(gè) 11MB 文件。