12 lines
971 B
Markdown
12 lines
971 B
Markdown
# Hong Kong CMI LiteLLM Vertex AI Relay
|
|
|
|
- 公网 OpenAI-compatible 入口为 `https://api.opfo.xyz/v1`，由 Caddy 终止 TLS 后通过外部 Docker 网络 `hk-web` 反向代理到 `litellm-api:1049`。
|
|
- LiteLLM 不使用 host network，也不向宿主机发布端口；容器内监听 `0.0.0.0:1049` 仅供 `hk-web` 上的 Caddy 访问。
|
|
- 默认监听端口为 `1049`；需要修改时必须同时更新 Arcane 的 `LITELLM_PORT` 和 Caddy 的上游端口。
|
|
- 客户端使用 `Authorization: Bearer <LITELLM_MASTER_KEY>`；认证由 LiteLLM 执行，Caddy 仅负责 TLS 和反向代理并保留该请求头。
|
|
- ADC 与 `LITELLM_MASTER_KEY` 仅存放于 Arcane `.env`，不得写入 Git、文档或日志。
|
|
- 对外模型别名包括 `gemini-3.6-flash`、`gemini-3.5-flash-lite`、
|
|
`google/gemini-embedding-2` 和 `google/gemini-3.8-flash`；后两者仍通过
|
|
Vertex AI ADC 路由。
|
|
- 后续 Vertex Anthropic 模型在 `config.yaml` 增加独立模型项。
|