Owner/openspec/changes/add-full-duplex-agent-voice-assistant/tasks.md

## 1. OpenSpec 与项目边界

- [x] 1.1 冻结 full-duplex Agent 实施入口命名；前置条件：人工确认 `run-agent-live` 或 `run-live --mode full-duplex`；优先级：P0；验收标准：README 和配置说明使用同一入口名；测试要点：CLI help 中能看到一致入口。
- [x] 1.2 增加全双工模式配置读取规划；前置条件：入口命名已确认；优先级：P0；验收标准：配置包含 `OWNER_ASSISTANT_MODE`、APM、VAD、STT、TTS、memory、tool router 开关；测试要点：无效 provider 触发配置错误。
- [x] 1.3 规划依赖分组；前置条件：provider 候选已确认；优先级：P0；验收标准：依赖按 audio、stt、tts、memory、tools 分组且默认不强制安装重依赖；测试要点：最小安装仍可跑现有 turn-based 测试。
- [x] 1.4 定义迁移兼容策略；前置条件：现有 `run-live` 行为梳理完成；优先级：P0；验收标准：turn-based 路径在全双工开发期保持可用；测试要点：旧 simulate-live 和 run-live 回归不破坏。
- [x] 1.5 建立模块提交门禁；前置条件：本变更 OpenSpec 已合并；优先级：P0；验收标准：每个主要任务组完成后验证并中文 commit；测试要点：`git status --short` 不包含未提交中间状态。

## 2. WebRTC APM 与音频环形缓冲

- [x] 2.1 设计 `AudioFrame` 数据结构；前置条件：内部采样率和帧长方案已确认；优先级：P0；验收标准：包含 samples、sample_rate、channels、timestamp、frame_id；测试要点：frame serialization fake fixture 可稳定回放。
- [x] 2.2 实现 capture ring buffer；前置条件：`AudioFrame` 已定义；优先级：P0；验收标准：固定容量、线程安全、溢出事件可观测；测试要点：超过容量时丢弃旧帧并发 `audio_buffer_overrun`。
- [x] 2.3 实现 render reference ring buffer；前置条件：playback frame 格式已定义；优先级：P0；验收标准：播放 PCM 写入 reference，保留时间戳；测试要点：可按 capture timestamp 取 reference window。
- [x] 2.4 定义 `AudioProcessingProvider` 接口；前置条件：ring buffer 已完成；优先级：P0；验收标准：支持 process_capture、process_render、reset、health_check；测试要点：fake APM 可替换真实 provider。
- [x] 2.5 实现 fake WebRTC APM provider；前置条件：接口已定义；优先级：P0；验收标准：测试中可模拟 echo suppression、format mismatch、processing failure；测试要点：纯回声不触发 VAD/STT。
- [x] 2.6 接入真实 WebRTC APM 探针；前置条件：依赖选择已人工确认；优先级：P1；验收标准：macOS 本地能初始化 AEC/NS/AGC 或返回明确不可用；测试要点：`model-check` 或 `audio-check` 报告 provider 状态。
- [x] 2.7 增加 APM fallback 策略；前置条件：fake/真实 provider 接口完成；优先级：P1；验收标准：`OWNER_AUDIO_APM_REQUIRED` 控制失败即退或带标记降级；测试要点：APM 不可用时不进入假全双工。

## 3. 全双工状态机、事件总线与取消机制

- [x] 3.1 定义 full-duplex 状态枚举；前置条件：spec 状态机确认；优先级：P0；验收标准：包含 idle、listening、thinking、speaking、interrupted、tool_running、recovering；测试要点：非法状态转移被拒绝。
- [x] 3.2 实现状态机转移表；前置条件：状态枚举完成；优先级：P0；验收标准：每个事件对应合法 next state；测试要点：覆盖正常、打断、工具、错误恢复路径。
- [x] 3.3 扩展 pipeline event bus；前置条件：现有 event bus 梳理完成；优先级：P0；验收标准：事件包含 session/turn id、stage、timestamp、sanitized payload；测试要点：终端 reporter 只消费事件。
- [x] 3.4 实现 cancellation token；前置条件：状态机完成；优先级：P0；验收标准：root token 和 child token 支持幂等 cancel；测试要点：多次 cancel 不抛异常。
- [x] 3.5 建立 cancellation graph；前置条件：LLM/TTS/playback/tool task 边界已定义；优先级：P0；验收标准：打断时同时取消 LLM、TTS、playback 和可取消工具；测试要点：取消后无后台线程泄漏。
- [x] 3.6 实现 recovery coordinator；前置条件：错误码清单已定义；优先级：P1；验收标准：可恢复错误进入 recovering 后回 listening 或 idle；测试要点：STT/TTS/LLM/tool 错误均能恢复。

## 4. VAD、Streaming STT 与低延迟打断

- [x] 4.1 定义 `VadProvider` 接口；前置条件：APM 输出 frame 格式完成；优先级：P0；验收标准：支持 speech_start、speech_end、confidence；测试要点：fake VAD 可注入人声起止。
- [x] 4.2 规划 Silero VAD adapter；前置条件：依赖策略确认；优先级：P1；验收标准：本地模型路径、采样率和阈值可配置；测试要点：模型缺失返回结构化错误。
- [x] 4.3 定义 `StreamingSttProvider` 接口；前置条件：transcript event contract 确认；优先级：P0；验收标准：支持 start_session、accept_audio、finish、cancel；测试要点：partial/stable/final 事件顺序稳定。
- [x] 4.4 实现 fake Streaming STT；前置条件：接口完成；优先级：P0；验收标准：可模拟 partial 抖动、final 空文本、provider 失败；测试要点：partial 不进入 LLM。
- [x] 4.5 规划 faster-whisper adapter；前置条件：模型和依赖策略确认；优先级：P1；验收标准：开发 provider 可配置模型、设备、语言；测试要点：fixture 音频产生 final transcript。
- [x] 4.6 规划 SenseVoice adapter；前置条件：产品候选确认；优先级：P2；验收标准：接口兼容 Streaming STT contract；测试要点：中文 fixture 输出与 faster-whisper contract 一致。
- [x] 4.7 实现 interruption detector；前置条件：APM、VAD、event bus 完成；优先级：P0；验收标准：speaking 中有效用户声触发 `interrupt_detected`；测试要点：纯助手 echo 不触发。
- [x] 4.8 增加 200 ms 打断延迟指标；前置条件：interruption detector 完成；优先级：P0；验收标准：事件记录 speech_start 到 playback_stop latency；测试要点：虚拟时钟 fixture 断言 P95 目标。

## 5. LLM 流、句子切分、Streaming TTS 与播放

- [x] 5.1 定义 LLM streaming adapter contract；前置条件：现有 LLM provider 梳理完成；优先级：P0；验收标准：支持 delta、tool_call、finish、cancel、error；测试要点：取消时连接关闭或停止消费。
- [x] 5.2 实现 sentence segmenter；前置条件：LLM delta contract 完成；优先级：P0；验收标准：中文标点、英文标点、最大等待阈值可切句；测试要点：URL、小数、代码块不误切。
- [x] 5.3 复用 TTS 文本净化；前置条件：现有 sanitizer 可调用；优先级：P0；验收标准：emoji、表情包、Markdown 图片不送 TTS；测试要点：纯表情回复不触发语音。
- [x] 5.4 定义 `StreamingTtsProvider` 接口；前置条件：播放 PCM 格式确认；优先级：P0；验收标准：支持 accept_text、flush、cancel、chunk events；测试要点：fake TTS 逐 chunk 输出。
- [x] 5.5 规划 CosyVoice adapter；前置条件：产品 TTS 方案确认；优先级：P1；验收标准：可配置 voice、sample_rate、chunk size；测试要点：provider 缺失结构化失败。
- [x] 5.6 实现可中断 playback queue；前置条件：render ring buffer 完成；优先级：P0；验收标准：chunk 播放同时写 reference，取消后清空未播 chunk；测试要点：播放停止边界小于配置 chunk。
- [x] 5.7 记录已播文本边界；前置条件：sentence/TTS/playback 完成；优先级：P0；验收标准：只提交完整播出的 assistant 文本；测试要点：中途打断未播文本不进上下文。

## 6. Conversation Manager 与长期记忆

- [x] 6.1 定义 Conversation Manager 接口；前置条件：状态机和 LLM contract 完成；优先级：P0；验收标准：协调 transcript、context、memory、LLM、tool、TTS；测试要点：正常问答流事件顺序稳定。
- [x] 6.2 保留短期会话上下文；前置条件：现有 ConversationContext 梳理完成；优先级：P0；验收标准：进程内历史继续支持截断；测试要点：新 runtime 不读取旧短期历史。
- [x] 6.3 设计 SQLite memory schema；前置条件：记忆类型确认；优先级：P0；验收标准：包含 type、text、metadata、sensitivity、source_turn_id、checksum；测试要点：迁移创建表成功。
- [x] 6.4 设计 FAISS index 管理；前置条件：embedding provider 策略确认；优先级：P1；验收标准：index 版本、embedding model 和 record id 可一致性检查；测试要点：SQLite/FAISS 不一致时报 health error。
- [x] 6.5 实现 fake MemoryManager；前置条件：接口完成；优先级：P0；验收标准：支持 search/save/delete/health_check；测试要点：关闭 memory 时不读写。
- [x] 6.6 实现记忆召回链路；前置条件：fake MemoryManager 完成；优先级：P0；验收标准：final transcript 前检索 Top-K 并注入独立 memory context；测试要点：相关偏好可召回。
- [x] 6.7 实现记忆写入安全策略；前置条件：sensitivity 分类规则确认；优先级：P0；验收标准：敏感内容默认不自动保存；测试要点：API key、支付信息、账号信息被拒绝或确认。
- [x] 6.8 增加记忆管理命令规划；前置条件：schema 和安全策略完成；优先级：P2；验收标准：列出、删除、禁用、导出策略明确；测试要点：删除后检索不到。

## 7. Tool Router 与安全工具

- [x] 7.1 定义 ToolCallRequest schema；前置条件：LLM tool call contract 完成；优先级：P0；验收标准：包含 name、arguments、timeout、turn id、intent；测试要点：未知字段拒绝。
- [x] 7.2 定义 ToolDecision 和 ToolResult；前置条件：ToolCallRequest 完成；优先级：P0；验收标准：支持 execute、reject、require_confirmation、cancelled；测试要点：结果脱敏和截断。
- [x] 7.3 实现 Tool Router fake core；前置条件：schema 完成；优先级：P0；验收标准：按工具名路由 fake adapters；测试要点：合法、非法、超时、超预算均覆盖。
- [x] 7.4 实现工具风险分类规则；前置条件：安全策略确认；优先级：P0；验收标准：低/中/高/禁止风险可解释；测试要点：删除、上传、账号、交易、安装依赖触发高风险或禁止。
- [x] 7.5 规划 `memory.search` 和 `memory.save`；前置条件：MemoryManager fake 完成；优先级：P0；验收标准：search 只读，save 走敏感策略；测试要点：敏感 save 需要确认或拒绝。
- [x] 7.6 规划 `shell.readonly` adapter；前置条件：allowlist 策略确认；优先级：P0；验收标准：只允许只读命令和受限目录；测试要点：写文件、删除、chmod、pip install 被拒绝。
- [x] 7.7 增加工具预算和防循环；前置条件：Tool Router core 完成；优先级：P0；验收标准：单轮最大调用数、总耗时、重复调用检测生效；测试要点：循环工具调用被截断。
- [x] 7.8 增加工具审计日志规划；前置条件：安全字段确认；优先级：P1；验收标准：记录工具名、风险、确认、耗时、状态、脱敏摘要；测试要点：日志不包含密钥和完整敏感输出。

## 8. Open Interpreter、Playwright 与电脑控制边界

- [x] 8.1 规划 Open Interpreter adapter 配置；前置条件：本地 CLI 路径策略确认；优先级：P1；验收标准：`OWNER_OPENINTERPRETER_ENABLED` 默认关闭，命令路径可配置；测试要点：路径缺失返回 unavailable。
- [x] 8.2 实现 Open Interpreter 受限执行设计；前置条件：Tool Router 风险策略完成；优先级：P1；验收标准：受限目录、超时、输出截断、确认策略明确；测试要点：高风险任务拒绝或确认。
- [x] 8.3 明确 `openinterpreter/` 仓库边界；前置条件：git status 检查完成；优先级：P0；验收标准：Owner 不复制、不 vendoring、不提交该目录；测试要点：提交 diff 不包含 `openinterpreter/`。
- [x] 8.4 规划 Playwright adapter；前置条件：浏览器安全策略确认；优先级：P1；验收标准：默认关闭，低风险读取可用，敏感流程确认或拒绝；测试要点：登录、支付、提交表单触发确认策略。
- [x] 8.5 规划 browser context 隔离；前置条件：用户是否允许登录态待澄清；优先级：P2；验收标准：默认独立 context，不默认复用用户 Chrome 登录态；测试要点：配置关闭时工具不可用。
- [x] 8.6 预留 ComputerControlProvider；前置条件：GUI 控制方案未进入第一版；优先级：P2；验收标准：直接 GUI 点击、键盘、屏幕控制在第一版拒绝；测试要点：相关 tool call 返回 unsupported。
- [x] 8.7 编写 Codex Computer Use 安全参考说明；前置条件：公共实现边界确认；优先级：P2；验收标准：只参考确认策略，不复制私有实现；测试要点：文档无私有 API 或实现细节。

## 9. 端到端模拟、性能与安全验证

- [x] 9.1 构建 fake full-duplex audio fixture；前置条件：AudioFrame 和 ring buffer 完成；优先级：P0；验收标准：可注入用户语音、助手回声、噪声、打断；测试要点：fixture 可重复回放。
- [x] 9.2 增加 fake APM echo 测试；前置条件：fake APM 和 fixture 完成；优先级：P0；验收标准：助手回声不触发 VAD/STT/interrupt；测试要点：无用户语音时无 transcript。
- [x] 9.3 增加 speaking interruption 测试；前置条件：状态机、playback、interruption 完成；优先级：P0；验收标准：`speaking -> interrupted -> listening`；测试要点：LLM/TTS/playback 均取消。
- [x] 9.4 增加 Streaming STT/TTS 顺序测试；前置条件：fake providers 完成；优先级：P0；验收标准：partial、final、LLM delta、sentence、TTS chunk、playback 顺序稳定；测试要点：partial 不写上下文。
- [x] 9.5 增加 memory restart 测试；前置条件：SQLite/FAISS fake 或真实实现完成；优先级：P1；验收标准：保存后新 runtime 可召回；测试要点：禁用 memory 时不读写。
- [x] 9.6 增加 Tool Router 安全测试；前置条件：Tool Router core 完成；优先级：P0；验收标准：允许、拒绝、确认、超时、截断、防循环均覆盖；测试要点：高风险操作不自动执行。
- [x] 9.7 增加性能指标采集；前置条件：event bus latency 字段完成；优先级：P1；验收标准：记录 APM frame、STT first partial、interrupt latency、TTS first chunk、tool runtime；测试要点：指标不含敏感数据。
- [x] 9.8 增加安全检查扩展；前置条件：memory/tool/audit 字段完成；优先级：P1；验收标准：检查 `.env`、key、raw audio、memory secrets、tool logs；测试要点：伪 secret 不出现在日志和事件。

## 10. 文档、验收与模块提交

- [x] 10.1 更新 README 全双工架构说明；前置条件：入口和配置确认；优先级：P1；验收标准：说明 APM、Streaming STT/TTS、记忆、工具、限制；测试要点：命令示例和默认关闭项准确。
- [x] 10.2 更新 `.env.example` 规划变量；前置条件：配置清单冻结；优先级：P1；验收标准：新增全双工、APM、memory、tool、adapter 配置；测试要点：默认值不启用高风险工具。
- [x] 10.3 编写模型和依赖准备说明；前置条件：provider 候选确认；优先级：P1；验收标准：区分开发默认和产品候选；测试要点：不承诺未验证模型已可用。
- [x] 10.4 编写安全确认策略文档；前置条件：Tool Router 风险规则完成；优先级：P0；验收标准：列明自动允许、需要确认、默认拒绝类别；测试要点：与工具测试用例一致。
- [x] 10.5 执行 Python 编译验证；前置条件：实现代码变更完成；优先级：P0；验收标准：`.venv/bin/python -m compileall src tests scripts` 通过；测试要点：无语法错误。
- [x] 10.6 执行单元测试验证；前置条件：测试实现完成；优先级：P0；验收标准：`.venv/bin/python -m unittest discover -s tests` 通过；测试要点：覆盖 full-duplex、memory、tool、security。
- [x] 10.7 执行安全和模型检查；前置条件：相关命令实现完成；优先级：P0；验收标准：security-check、model-check、device-check 按阶段通过或给出明确跳过理由；测试要点：不泄露密钥。
- [x] 10.8 执行 OpenSpec 校验；前置条件：docs 和 spec 更新完成；优先级：P0；验收标准：`openspec validate add-full-duplex-agent-voice-assistant --strict` 与 `openspec validate --all --strict` 通过；测试要点：无 spec 格式错误。
- [x] 10.9 按模块提交；前置条件：对应模块验证通过；优先级：P0；验收标准：提交信息符合 `[模块名]：完成[具体功能描述]，包含[关键变更]`；测试要点：`git status --short` 不含本模块未提交改动。

## 11. 真实 run-agent-live 全双工运行时

- [x] 11.1 更新 OpenSpec 真实运行边界；前置条件：用户确认 `run-agent-live` 为真实入口；优先级：P0；验收标准：proposal/design/spec/tasks 明确骨架不等于完成、`run-agent-live` 必须真实启动；测试要点：OpenSpec strict。
- [x] 11.2 实现 `run-agent-live` 真实运行路径；前置条件：11.1 完成；优先级：P0；验收标准：不带 `--check-config` 不再返回 `FULL_DUPLEX_RUNTIME_NOT_IMPLEMENTED`，支持 `--once` 测试退出；测试要点：CLI 单元测试。
- [x] 11.3 实现无唤醒 Agent turn；前置条件：11.2 完成；优先级：P0；验收标准：启动后直接 listening，用户说话后进入 STT/LLM/TTS，回复后回 listening；测试要点：fake audio 两轮闭环。
- [x] 11.4 重做播放打断触发；前置条件：11.3 完成；优先级：P0；验收标准：VAD + 非助手回放即可先 stop playback，不等待 realtime STT partial；测试要点：无 partial 也能打断。
- [x] 11.5 增加软件 render-reference gate；前置条件：11.4 完成；优先级：P0；验收标准：只有助手回放 reference 不触发打断，用户叠加回放可触发；测试要点：echo-only、user-over-echo。
- [x] 11.6 保留打断用户音频和上下文边界；前置条件：11.5 完成；优先级：P0；验收标准：打断帧进入下一轮 STT，未完整播报 assistant 文本不入上下文；测试要点：上下文和 transcript 断言。
- [x] 11.7 更新 README 和验收命令；前置条件：运行行为完成；优先级：P1；验收标准：README 明确 `run-agent-live` 真实入口、`run-live` 旧入口、软件回声抑制限制；测试要点：命令示例准确。
- [x] 11.8 执行最终门禁并提交；前置条件：实现和文档完成；优先级：P0；验收标准：compileall、unittest、simulate-live、real-live-check、security/model/device check、OpenSpec strict 通过并中文 commit；测试要点：`git status --short` 干净。