From aaff6db668559a1c04485baa6dd50b689df026c1 Mon Sep 17 00:00:00 2001 From: Codex Date: Thu, 8 Oct 2026 20:41:28 -0700 Subject: [PATCH] docs(litellm): record live gateway and verified prompt cache --- servers/tools-pve/litellm/README.md | 23 ++++++++++++++++++----- 1 file changed, 18 insertions(+), 5 deletions(-) diff --git a/servers/tools-pve/litellm/README.md b/servers/tools-pve/litellm/README.md index 8bcd5d8..230a97e 100644 --- a/servers/tools-pve/litellm/README.md +++ b/servers/tools-pve/litellm/README.md @@ -2,13 +2,23 @@ ## 部署状态 -2026-10-09：配置已准备，LiteLLM 1.104.2 镜像 OAuth 模块检查通过。 -Arcane Manager 当前无法连接；尚未启动本项目，也尚未授权 OAuth。 -不能将本说明中的计划地址当作已上线资产。 +2026-10-09：已通过 Arcane 上线，LiteLLM 1.104.2 与 PostgreSQL 均 healthy。 +UI HTTP 200；应用 virtual key 的 OpenRouter MiMo 请求返回 OK。 +ZenMux Sonnet 5.5 原生 Messages 正常；重复请求证实写入与读取 +21,502 prompt-cache tokens。Codex/xAI OAuth 模块检查通过，但尚未独立授权。 +PAYG key 的 Claude 请求被上游拒绝；该线路未通过验收，普通客户端 key 不允许使用。 +Google AI Studio key 尚未取得；latest 自动维护尚未实现。 + +- Environment：`ff859844-8393-4f87-8caf-054df735a65d`。 +- Project：`06052b47-f640-4e23-968d-bfc25a8a6e7a`，名称 `tools-litellm`。 +- Git Sync：`49148e73-65ca-43a6-a859-efc9cc750b93`；Auto Sync 关闭。 +- 宿主机项目目录：`/var/lib/docker/volumes/arcane-agent_agent-data/_data/projects/litellm`。 +- 管理凭据：.145 的 `/home/claw/codex-workspace/server-management/.secrets/tools-litellm.env`。 +- 普通客户端配置：同目录 `tools-litellm-client.env`；两者均为 0600，不提交 Git。 ## 架构与入口 -计划部署在 `192.168.50.49`，LiteLLM 与独立 PostgreSQL 17。 +部署在 `192.168.50.49`，LiteLLM 与独立 PostgreSQL 17。 - OpenAI 兼容客户端：`http://192.168.50.49:4000/v1`。 - Anthropic SDK：`http://192.168.50.49:4000`，请求 `/v1/messages`。 @@ -38,6 +48,9 @@ Claude 客户端优先使用原生 `/v1/messages`，保留 `cache_control`、 `cache_creation_input_tokens` 和 `cache_read_input_tokens`，不能只看 HTTP 200。 不把 LiteLLM 的响应缓存当作 Anthropic prompt cache。 +实测 ZenMux Sonnet 5.5 会拒绝强制 `tool_choice.type=tool/any`， +错误由上游返回；使用支持的 `auto` 模式，不在代理中静默改写调用者的要求。 + 开放模型优先经 OpenRouter；首版 `models.yaml` 来自实际 provider 目录。 `latest` 目前只是手动维护的稳定别名，没有自动追踪新版本。 Google AI Studio 预留独立 key 与模型表；取得有效 key 后查询目录再添加， @@ -86,7 +99,7 @@ xAI 路线使用 `xai/` 与 `use_xai_oauth: true`，不能设置 XAI API key 覆 ## 部署及验收 -正常走 Arcane Git Sync；当前 Manager 不可达，不绕过管理层静默部署。 +正常走 Arcane Git Sync；Manager 已恢复，本项目已通过控制面部署。 如用户明确同意临时直接部署，将本目录放到 tools-pve，准备 `.env` 后执行： ```bash