AVA開源語音AI代理發布：首個深度集成Asterisk/FreePBX的本地化語音Agent，STT→LLM→TTS全棧私有部署

AVA v0.3.0 正式發布。它直接嵌入 Asterisk/FreePBX 電話系統，不依賴云服務——語音識別（STT）、大模型推理（LLM）、語音合成（TTS）全部在本地完成。音頻和文本不出內網，全程走 Asterisk 原生 AudioSocket 協議，RTP 流直連。Python 引擎只需 2GB 內存就能跑通完整語音閉環。

開箱支持 OpenAI、Gemini、Grok 等 LLM API，也兼容 ElevenLabs、PlayHT 等 TTS 服務。同時開放 Pipeline 接口：Whisper.cpp、Ollama 本地模型、Piper 或 Tortoise TTS 都能自由替換。中小企業可直接用它替換舊 IVR；開發者 5 分鐘就能搭起一個數據不出機房的 AI 坐席。

AudioSocket 直連：繞過 WebRTC 和 SIP 中繼

AVA 不走 WebRTC 或 SIP 中繼的老路，而是直接用 Asterisk 18+ 的 AudioSocket 接口——這是 Asterisk 為實時雙向語音流設計的原生通道，端到端延遲 <420ms，單節點穩定支撐 32 路并發呼叫。

它跳過 SIP 信令層，直接解析和注入 RTP 包。STT 引擎（比如量化后的 Whisper.cpp）逐幀接收 PCM 流；LLM 輸出經 TTS 轉成 PCM 后，實時塞進 RTP payload 發送出去。

實測環境：Intel i5-1135G7 + 16GB RAM。單核 CPU 峰值占用低于 65%，遠低于 LangChain + Twilio 這類組合（常超 90%）。老舊服務器、Jetson Orin、RK3588 邊緣盒子都能跑。

STT → LLM → TTS 三層解耦，中間文本全程可控

AVA 把語音感知、語義理解、語音生成三件事徹底分開：

• STT 模塊默認用 Whisper.cpp（支持 tiny.en 和 turbo 量化模型），也可切到 Vosk 或 DeepSpeech
• LLM 層通過 OpenRouter 統一適配器，自動路由到 GPT-4o、Claude-3-haiku、Qwen2-7B-Instruct，甚至本地 Qwen2-VL 多模態模型
• TTS 支持 REST 調用 ElevenLabs，也支持直連 Piper（含 zh-CN、en-US 等 12 種語言聲線）

所有中間文本——ASR 結果、LLM 的 prompt 和 response、TTS 輸入——都不經過外部服務。你可以審計日志、插自定義敏感詞過濾、加企業知識庫檢索、甚至對接內部 LDAP 認證。

深圳一家跨境電商客戶已用 AVA 替掉阿里云智能外呼系統。通話錄音和對話上下文全部存在本地 NAS，合規審計從按月縮短到按小時。

Pipeline DSL：不用改代碼，YAML 就能換技術棧

安裝只要三步：

git clone https://github.com/ava-voice/ava.git

![配圖](http://www.xmhny.cn/usr/uploads/covers/cover_news_20260715_080620.jpg)

pip install -r requirements.txt
./setup-asterisk.sh

腳本自動配置 modules.conf、extensions.conf 和 rtp.conf。

真正靈活的是它的 Pipeline DSL。用 YAML 就能切換組件：

stt:
  model: "whisper.cpp"
  device: "cuda:0"
llm:
  provider: "ollama"
  model: "qwen2:7b"
  timeout: 12
tts:
  engine: "piper"
  voice: "zh_CN-huayan-medium"

項目自帶 FreePBX 插件包（.tar.gz 格式），一鍵導入后，在 GUI 里配 Dialplan 就能啟用 AI 坐席。

龍蝦生態開發者已基于 AVA 開發出 OpenClaw-Telephony 擴展模塊，把龍蝦 Agent 的多步任務調度能力直接注入電話流程。例如用戶說“我要退訂會員”，AVA 觸發 OpenClaw 執行三步操作：CRM 查證 → 匹配退款策略 → 發短信確認。全程無 API 網關跳轉。

它不是 Demo，是 Asterisk 的新 module

AVA 不是又一個語音前端 Demo。它把 AI 語音代理拉回通信基礎設施層——LLM 在 Asterisk 里跑，就像 app_dial 或 app_queue 一樣。

Twilio Autopilot 必須走它的信令網關；Azure Communication Services 綁死微軟云身份；連開源項目 Jigasi 都得靠 Jitsi Meet 中繼。而 AVA 錨定 AudioSocket，本質上是給 Asterisk 新增了一個 module。

目前已有 17 家國內呼叫中心服務商啟動集成測試，其中 3 家明確將 AVA v0.4 列入 2024 年信創替代清單。它也是少數幾個同時滿足 GDPR、等保 2.0 和金融行業數據本地化要求的語音 Agent 基座。