docs(litellm): record live gateway and verified prompt cache

This commit is contained in:
Codex
2026-10-08 20:41:28 -07:00
parent 8b5c1b9927
commit aaff6db668
+18 -5
View File
@@ -2,13 +2,23 @@
## 部署状态
2026-10-09:配置已准备,LiteLLM 1.104.2 镜像 OAuth 模块检查通过。
Arcane Manager 当前无法连接;尚未启动本项目,也尚未授权 OAuth。
不能将本说明中的计划地址当作已上线资产。
2026-10-09:已通过 Arcane 上线,LiteLLM 1.104.2 与 PostgreSQL 均 healthy。
UI HTTP 200;应用 virtual key 的 OpenRouter MiMo 请求返回 OK。
ZenMux Sonnet 5.5 原生 Messages 正常;重复请求证实写入与读取
21,502 prompt-cache tokens。Codex/xAI OAuth 模块检查通过,但尚未独立授权。
PAYG key 的 Claude 请求被上游拒绝;该线路未通过验收,普通客户端 key 不允许使用。
Google AI Studio key 尚未取得;latest 自动维护尚未实现。
- Environment:`ff859844-8393-4f87-8caf-054df735a65d`。
- Project:`06052b47-f640-4e23-968d-bfc25a8a6e7a`,名称 `tools-litellm`。
- Git Sync:`49148e73-65ca-43a6-a859-efc9cc750b93`;Auto Sync 关闭。
- 宿主机项目目录:`/var/lib/docker/volumes/arcane-agent_agent-data/_data/projects/litellm`。
- 管理凭据:.145 的 `/home/claw/codex-workspace/server-management/.secrets/tools-litellm.env`。
- 普通客户端配置:同目录 `tools-litellm-client.env`;两者均为 0600,不提交 Git。
## 架构与入口
计划部署在 `192.168.50.49`,LiteLLM 与独立 PostgreSQL 17。
部署在 `192.168.50.49`,LiteLLM 与独立 PostgreSQL 17。
- OpenAI 兼容客户端:`http://192.168.50.49:4000/v1`。
- Anthropic SDK:`http://192.168.50.49:4000`,请求 `/v1/messages`。
@@ -38,6 +48,9 @@ Claude 客户端优先使用原生 `/v1/messages`,保留 `cache_control`、
`cache_creation_input_tokens` 和 `cache_read_input_tokens`,不能只看 HTTP 200。
不把 LiteLLM 的响应缓存当作 Anthropic prompt cache。
实测 ZenMux Sonnet 5.5 会拒绝强制 `tool_choice.type=tool/any`,
错误由上游返回;使用支持的 `auto` 模式,不在代理中静默改写调用者的要求。
开放模型优先经 OpenRouter;首版 `models.yaml` 来自实际 provider 目录。
`latest` 目前只是手动维护的稳定别名,没有自动追踪新版本。
Google AI Studio 预留独立 key 与模型表;取得有效 key 后查询目录再添加,
@@ -86,7 +99,7 @@ xAI 路线使用 `xai/` 与 `use_xai_oauth: true`,不能设置 XAI API key 覆
## 部署及验收
正常走 Arcane Git Sync;当前 Manager 不可达,不绕过管理层静默部署。
正常走 Arcane Git Sync;Manager 已恢复,本项目已通过控制面部署。
如用户明确同意临时直接部署,将本目录放到 tools-pve,准备 `.env` 后执行:
```bash