Files
infra-docker-configs/servers/bwh-hk-cmi/litellm

Hong Kong CMI LiteLLM Vertex AI Relay

  • 公网 OpenAI-compatible 入口为 https://api.opfo.xyz/v1,由 Caddy 终止 TLS 后通过外部 Docker 网络 hk-web 反向代理到 litellm-api:1049
  • LiteLLM 不使用 host network,也不向宿主机发布端口;容器内监听 0.0.0.0:1049 仅供 hk-web 上的 Caddy 访问。
  • 默认监听端口为 1049;需要修改时必须同时更新 Arcane 的 LITELLM_PORT 和 Caddy 的上游端口。
  • 客户端使用 Authorization: Bearer <LITELLM_MASTER_KEY>;认证由 LiteLLM 执行,Caddy 仅负责 TLS 和反向代理并保留该请求头。
  • ADC 与 LITELLM_MASTER_KEY 仅存放于 Arcane .env,不得写入 Git、文档或日志。
  • 对外模型别名包括 gemini-3.6-flashgemini-3.5-flash-litegoogle/gemini-embedding-2google/gemini-3.8-flash;后两者仍通过 Vertex AI ADC 路由。
  • 后续 Vertex Anthropic 模型在 config.yaml 增加独立模型项。