[真实全双工运行时]:完成run-agent-live可打断语音闭环,包含持续监听、软件回声抑制和播放取消验证
This commit is contained in:
@@ -273,7 +273,7 @@ ToolResult:
|
||||
## Migration Plan
|
||||
|
||||
1. 保留现有 turn-based `run-live` 作为稳定路径。
|
||||
2. 后续实现新增 feature flag 或新入口启用全双工 Agent。
|
||||
2. `run-agent-live` 是真实全双工 Agent 入口;`--check-config` 只做配置检查,不带该参数时必须启动运行时。
|
||||
3. 先落地 fake provider 和模拟端到端,再接真实 WebRTC APM。
|
||||
4. STT/TTS provider 先用兼容 adapter 接现有能力,再替换为 streaming provider。
|
||||
5. 长期记忆默认关闭或空库启动,完成删除/禁用/隐私文档后再默认开启。
|
||||
@@ -281,6 +281,12 @@ ToolResult:
|
||||
7. Open Interpreter 和 Playwright adapter 默认关闭,用户显式配置后才可用。
|
||||
8. GUI 电脑控制另开 OpenSpec 变更,不混入第一版全双工音频和安全工具验收。
|
||||
|
||||
## Live Runtime Revision
|
||||
|
||||
第一版真实 `run-agent-live` 采用软件 render-reference gate,不新增 WebRTC APM 重依赖。播放队列把已播放 PCM chunk 写入进程内 render reference;后台麦克风监听持续读取 capture frames,先用 VAD 判断有效人声,再与近期 render reference 做相似度/能量门控。候选音频不像助手回放且持续达到最短人声时长时,立即设置 playback stop event;STT 只用于打断后的用户文本识别,不再作为停止播放的前置条件。
|
||||
|
||||
`run-live` 保持旧 wake/turn-based 入口。`run-agent-live` 跳过唤醒词和 ACK,常驻 `listening -> thinking -> speaking -> interrupted/listening`,打断后把已确认的用户音频接到下一轮 capture,避免丢首字。长期记忆、Tool Router、Open Interpreter 仍默认关闭。
|
||||
|
||||
## Rollback Strategy
|
||||
|
||||
1. 若全双工音频不稳定,可通过配置回退 turn-based `run-live`。
|
||||
|
||||
Reference in New Issue
Block a user