docs(litellm): record live gateway and verified prompt cache
This commit is contained in:
@@ -2,13 +2,23 @@
|
||||
|
||||
## 部署状态
|
||||
|
||||
2026-10-09:配置已准备,LiteLLM 1.104.2 镜像 OAuth 模块检查通过。
|
||||
Arcane Manager 当前无法连接;尚未启动本项目,也尚未授权 OAuth。
|
||||
不能将本说明中的计划地址当作已上线资产。
|
||||
2026-10-09:已通过 Arcane 上线,LiteLLM 1.104.2 与 PostgreSQL 均 healthy。
|
||||
UI HTTP 200;应用 virtual key 的 OpenRouter MiMo 请求返回 OK。
|
||||
ZenMux Sonnet 5.5 原生 Messages 正常;重复请求证实写入与读取
|
||||
21,502 prompt-cache tokens。Codex/xAI OAuth 模块检查通过,但尚未独立授权。
|
||||
PAYG key 的 Claude 请求被上游拒绝;该线路未通过验收,普通客户端 key 不允许使用。
|
||||
Google AI Studio key 尚未取得;latest 自动维护尚未实现。
|
||||
|
||||
- Environment:`ff859844-8393-4f87-8caf-054df735a65d`。
|
||||
- Project:`06052b47-f640-4e23-968d-bfc25a8a6e7a`,名称 `tools-litellm`。
|
||||
- Git Sync:`49148e73-65ca-43a6-a859-efc9cc750b93`;Auto Sync 关闭。
|
||||
- 宿主机项目目录:`/var/lib/docker/volumes/arcane-agent_agent-data/_data/projects/litellm`。
|
||||
- 管理凭据:.145 的 `/home/claw/codex-workspace/server-management/.secrets/tools-litellm.env`。
|
||||
- 普通客户端配置:同目录 `tools-litellm-client.env`;两者均为 0600,不提交 Git。
|
||||
|
||||
## 架构与入口
|
||||
|
||||
计划部署在 `192.168.50.49`,LiteLLM 与独立 PostgreSQL 17。
|
||||
部署在 `192.168.50.49`,LiteLLM 与独立 PostgreSQL 17。
|
||||
|
||||
- OpenAI 兼容客户端:`http://192.168.50.49:4000/v1`。
|
||||
- Anthropic SDK:`http://192.168.50.49:4000`,请求 `/v1/messages`。
|
||||
@@ -38,6 +48,9 @@ Claude 客户端优先使用原生 `/v1/messages`,保留 `cache_control`、
|
||||
`cache_creation_input_tokens` 和 `cache_read_input_tokens`,不能只看 HTTP 200。
|
||||
不把 LiteLLM 的响应缓存当作 Anthropic prompt cache。
|
||||
|
||||
实测 ZenMux Sonnet 5.5 会拒绝强制 `tool_choice.type=tool/any`,
|
||||
错误由上游返回;使用支持的 `auto` 模式,不在代理中静默改写调用者的要求。
|
||||
|
||||
开放模型优先经 OpenRouter;首版 `models.yaml` 来自实际 provider 目录。
|
||||
`latest` 目前只是手动维护的稳定别名,没有自动追踪新版本。
|
||||
Google AI Studio 预留独立 key 与模型表;取得有效 key 后查询目录再添加,
|
||||
@@ -86,7 +99,7 @@ xAI 路线使用 `xai/` 与 `use_xai_oauth: true`,不能设置 XAI API key 覆
|
||||
|
||||
## 部署及验收
|
||||
|
||||
正常走 Arcane Git Sync;当前 Manager 不可达,不绕过管理层静默部署。
|
||||
正常走 Arcane Git Sync;Manager 已恢复,本项目已通过控制面部署。
|
||||
如用户明确同意临时直接部署,将本目录放到 tools-pve,准备 `.env` 后执行:
|
||||
|
||||
```bash
|
||||
|
||||
Reference in New Issue
Block a user