将个人听写词库收敛为高频人名与公司名

2026-10-25 01:57:25 -07:00
parent 05e0800581
commit 45293b1b53
2 changed files with 5 additions and 3 deletions
@@ -25,7 +25,7 @@
 - API Key：HK 现有 LiteLLM 主密钥，不是 tools-pve 客户端 key，也不是 ZenMux key。
 - 响应使用 `json`；不请求时间戳、说话人分离或 `verbose_json`。当前 LiteLLM 请求 `text` 时实测仍返回 JSON 包装，因此不要选 text。额外 prompt 留空；去口语化由 SMART 负责，不靠提示词。
 - 仅显式带 `personal_dictation: true` 的这条路由经 `vertex_dictation.py` 添加 `generationConfig.audioTranscriptionConfig.mode=SMART` 和 `customVocabulary`。其他转写路线、会议录音以及 tools-pve 配置不改。
- 个人词库从既有 ASR SQLite 中导出 100 个已确认 canonical 目标词；不把误识别别名或整个公共术语库发给 Google。用户已批准该个人词库用于 HK Vertex 语音输入。
+- 当前个人词库只有 10 个人名、10 个公司名，与 tools-pve 相同；从 Obsidian People/Companies 卡片取规范名，以正式工作笔记文档频次与 Hindsight 实体 mention_count 交叉筛选。产品、项目、文档标题和错误别名暂不纳入。旧 SQLite 自动抽取的 100 词快照已因过度引导被替代，SMART 保留。
 - `PERSONAL_VOCABULARY_B64` 只存 Arcane Project 环境（Base64 不是加密）；init 将其解码至现有私有凭据卷 `/credentials/personal-vocabulary.json`，umask 077，LiteLLM 只读挂载，不进入 Git。
- 更新词库时使用项目 `scripts/export-personal-asr-vocabulary.py`，替换 Arcane 中上述变量并重建 init；单改环境变量不会更新已生成文件。升级 LiteLLM 前重跑 `scripts/test-vertex-dictation-wire.py`，确认原生 SMART/热词和普通路线隔离。
+- 更新词库时使用 server-management 的 `scripts/export-entity-dictation-vocabulary.py`，先审查纯实体名称与频次，替换 Arcane 中上述变量并重建 init；单改环境变量不会更新已生成文件。保留旧私有词库以便回滚。升级 LiteLLM 前重跑 `scripts/test-vertex-dictation-wire.py`，确认原生 SMART/热词和普通路线隔离。
 - 验收：OpenAI multipart 音频端点接受一秒静音及 Google 公开 Brooklyn Bridge 语音示例，json 均返回 200，公开样本正确输出 `How old is the Brooklyn Bridge?`。测试证明接口和原生参数有效，不代表中文口语及个人名词已进行识别质量对比。
@@ -243,7 +243,9 @@ embedding 模型禁止使用自动追踪 latest 的别名，否则升级会混

 独立别名 `gemini-transcribe-personal` 使用 `gemini/gemini-3.5-transcribe`，经 Google AI Studio 凭据转发。客户端调用现有 `/v1/audio/transcriptions`，无需自行传词表。该别名附带 `personal_vocabulary: true`；启动适配器仅对明确标记的 Gemini 转写请求注入原生 `generation_config.transcription_config.custom_vocabulary` 和 `mode: smart`，普通路由不变。SMART 与 HK 保持相同的功能意图，但 AI Studio 使用小写字符串 `smart`，不是 Vertex 的大写 `SMART` 和 camelCase 字段。

-个人词表来自既有 asr-pipeline 的 SQLite alias 表，只取 confirmed=1 的正确 canonical 值，优先 learned/review，再按命中次数排序，去重后最多100词。私有文件位于 tools-pve `/opt/litellm/personal-vocabulary.json`（0600），不提交 Git。词表每次请求读取；更新数据文件无需重启，但目前没有自动同步调度。
+当前个人词表仅包含 10 个人名、10 个公司名。按用户要求，从 Obsidian People/Companies 已确认卡片取规范名，以正式工作笔记的独立文档频次和 Hindsight 实体 mention_count 交叉排序；不加入产品、项目、文档标题、职务说明或错误别名。旧的 SQLite 100 词自动抽取已被替代，因为它把文档式长名称作为热词，出现了过度引导。
+
+导出与私有频次审计使用 server-management 的 `scripts/export-entity-dictation-vocabulary.py`；具体名单与卡片证据不提交本配置仓库。私有文件仍为 tools-pve `/opt/litellm/personal-vocabulary.json`（0600）。每次请求读取文件；若通过原子替换文件更新，单文件 bind mount 需重启 LiteLLM 重新挂载。没有自动扩词任务，后续按实际误识别逐条复测。

 语音输入使用 `response_format=json`，与 HK 的 Spokenly 设置一致；当前 text 请求虽 HTTP 200 仍返回 JSON 包装，不选用。不支持词级时间戳、字幕及说话人分离。Google 目前不允许 SMART/原生热词与说话人分离或词级时间戳组合。不要把这条路由用于需要 diarization 的会议流程。