[文档与验收]:完成本地唤醒运行说明和自动门禁,包含README、模型验收和任务状态
This commit is contained in:
@@ -9,6 +9,7 @@
|
|||||||
- `owner_voice_pet run-live`:真实常驻语音循环。
|
- `owner_voice_pet run-live`:真实常驻语音循环。
|
||||||
- `owner_voice_pet run-live --once`:只跑一轮,便于验收。
|
- `owner_voice_pet run-live --once`:只跑一轮,便于验收。
|
||||||
- `.env` 直接读取配置,不要求导出 shell 环境变量。
|
- `.env` 直接读取配置,不要求导出 shell 环境变量。
|
||||||
|
- 唤醒词检测使用本地 `sherpa-onnx` KWS 模型,不走云端 ASR。
|
||||||
- `OWNER_SPEECH_PROVIDER=cloud|local`:选择云端语音模型或本地语音模型。
|
- `OWNER_SPEECH_PROVIDER=cloud|local`:选择云端语音模型或本地语音模型。
|
||||||
- 默认云端语音模型:`mimo-v2.5-asr`、`mimo-v2.5-tts`。
|
- 默认云端语音模型:`mimo-v2.5-asr`、`mimo-v2.5-tts`。
|
||||||
- 本地设备:`sounddevice` 读取麦克风,扬声器或 `afplay` 播放。
|
- 本地设备:`sounddevice` 读取麦克风,扬声器或 `afplay` 播放。
|
||||||
@@ -31,17 +32,21 @@ OWNER_LLM_BASE_URL=https://token-plan-cn.xiaomimimo.com/v1
|
|||||||
OWNER_LLM_API_KEY=
|
OWNER_LLM_API_KEY=
|
||||||
OWNER_LLM_MODEL=mimo-v2.5
|
OWNER_LLM_MODEL=mimo-v2.5
|
||||||
OWNER_LLM_API_STYLE=chat_completions
|
OWNER_LLM_API_STYLE=chat_completions
|
||||||
|
OWNER_WAKE_PROVIDER=local_kws
|
||||||
|
OWNER_WAKE_KEYWORDS_FILE=
|
||||||
|
OWNER_WAKE_KWS_THRESHOLD=0.25
|
||||||
|
OWNER_WAKE_KWS_SCORE=1.0
|
||||||
OWNER_SPEECH_PROVIDER=cloud
|
OWNER_SPEECH_PROVIDER=cloud
|
||||||
OWNER_ASR_MODEL=mimo-v2.5-asr
|
OWNER_ASR_MODEL=mimo-v2.5-asr
|
||||||
OWNER_TTS_MODEL=mimo-v2.5-tts
|
OWNER_TTS_MODEL=mimo-v2.5-tts
|
||||||
OWNER_TTS_VOICE=mimo_default
|
OWNER_TTS_VOICE=mimo_default
|
||||||
```
|
```
|
||||||
|
|
||||||
`OWNER_SPEECH_PROVIDER=cloud` 会把 VAD 切出来的语音片段发送到云端 ASR;不会上传连续麦克风流。改成 `local` 时使用项目 `models/` 下的本地语音模型路径。
|
`OWNER_WAKE_PROVIDER=local_kws` 表示唤醒词“小杰小杰”由本地模型检测。`OWNER_SPEECH_PROVIDER=cloud` 只影响唤醒后的正式问题 ASR/TTS:它会把 VAD 切出来的用户问题片段发送到云端 ASR,不会上传连续麦克风流,也不会用云端判断唤醒。改成 `local` 时使用项目 `models/` 下的本地语音模型路径。
|
||||||
|
|
||||||
## 本地模型
|
## 本地模型
|
||||||
|
|
||||||
即使默认走云端语音,也可以准备本地模型,便于切换到 `OWNER_SPEECH_PROVIDER=local`:
|
即使默认走云端 ASR/TTS,也必须准备本地唤醒模型;同一脚本会下载 wake、VAD、STT 模型,便于切换到 `OWNER_SPEECH_PROVIDER=local`:
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
python3.11 scripts/download_speech_models.py --dir models
|
python3.11 scripts/download_speech_models.py --dir models
|
||||||
@@ -50,6 +55,8 @@ python3.11 scripts/download_speech_models.py --dir models
|
|||||||
|
|
||||||
`models/` 已在 `.gitignore` 中,不会提交大模型文件。
|
`models/` 已在 `.gitignore` 中,不会提交大模型文件。
|
||||||
|
|
||||||
|
本地唤醒关键词文件位于 `models/wake/keywords.txt`。如果真人唤醒不灵敏,可以先把 `.env` 中 `OWNER_WAKE_KWS_THRESHOLD` 调低,例如 `0.15`,再重新运行。
|
||||||
|
|
||||||
## 设备检查
|
## 设备检查
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
@@ -72,7 +79,7 @@ python3.11 scripts/download_speech_models.py --dir models
|
|||||||
.venv/bin/python -m owner_voice_pet run-live
|
.venv/bin/python -m owner_voice_pet run-live
|
||||||
```
|
```
|
||||||
|
|
||||||
运行后终端会显示待机、唤醒命中、录音中、转写中、思考中、播放中、恢复待机等状态。说“小杰小杰”后提问;听到回复后可以再次说“小杰小杰”继续下一轮。本次进程内会携带临时历史,程序退出后不保存。
|
运行后终端会显示待机、唤醒命中、录音中、转写中、转写结果、思考中、播放中、恢复待机等状态。说“小杰小杰”等待唤醒命中后再提问;听到回复后可以再次说“小杰小杰”继续下一轮。本次进程内会携带临时历史,程序退出后不保存。
|
||||||
|
|
||||||
## 验证
|
## 验证
|
||||||
|
|
||||||
|
|||||||
@@ -26,8 +26,8 @@
|
|||||||
|
|
||||||
## 4. 文档、真实验收与归档
|
## 4. 文档、真实验收与归档
|
||||||
|
|
||||||
- [ ] 4.1 更新 README;前置条件:实现完成;验收标准:说明本地 KWS、模型下载、model-check、run-live 输出;测试要点:命令可复制;优先级:P0;预计:30 分钟。
|
- [x] 4.1 更新 README;前置条件:实现完成;验收标准:说明本地 KWS、模型下载、model-check、run-live 输出;测试要点:命令可复制;优先级:P0;预计:30 分钟。
|
||||||
- [ ] 4.2 下载并验收 KWS 模型;前置条件:下载脚本完成;验收标准:`python3.11 scripts/download_speech_models.py --dir models` 和 `model-check` 通过;测试要点:输出不泄露 key;优先级:P0;预计:60 分钟。
|
- [x] 4.2 下载并验收 KWS 模型;前置条件:下载脚本完成;验收标准:`python3.11 scripts/download_speech_models.py --dir models` 和 `model-check` 通过;测试要点:输出不泄露 key;优先级:P0;预计:60 分钟。
|
||||||
- [ ] 4.3 执行真实 run-live 验收;前置条件:模型、设备、.env 齐全;验收标准:唤醒命中使用本地模型,终端显示转写结果;测试要点:单轮或两轮状态输出;优先级:P0;预计:60 分钟。
|
- [ ] 4.3 执行真实 run-live 验收;前置条件:模型、设备、.env 齐全;验收标准:唤醒命中使用本地模型,终端显示转写结果;测试要点:单轮或两轮状态输出;优先级:P0;预计:60 分钟。
|
||||||
- [ ] 4.4 最终门禁;前置条件:全部实现完成;验收标准:compileall、unittest、security-check、model-check、device-check、OpenSpec strict 全通过;优先级:P0;预计:30 分钟。
|
- [x] 4.4 最终门禁;前置条件:全部实现完成;验收标准:compileall、unittest、security-check、model-check、device-check、OpenSpec strict 全通过;优先级:P0;预计:30 分钟。
|
||||||
- [ ] 4.5 归档变更并提交;前置条件:4.4 通过;验收标准:主 spec 更新,archive 完成,最终 commit,`git status --short` 为空;测试要点:中文提交信息;优先级:P0;预计:20 分钟。
|
- [ ] 4.5 归档变更并提交;前置条件:4.4 通过;验收标准:主 spec 更新,archive 完成,最终 commit,`git status --short` 为空;测试要点:中文提交信息;优先级:P0;预计:20 分钟。
|
||||||
|
|||||||
Reference in New Issue
Block a user