LLM gateway 提供了 Claude Code 和模型提供者之間的集中代理層,提供:
- 集中式身份驗證 - 單一 API 金鑰管理點
- 使用情況追蹤 - 監控跨團隊和專案的使用情況
- 成本控制 - 實施預算和速率限制
- 審計日誌 - 追蹤所有模型互動以進行合規性檢查
- 模型路由 - 無需更改程式碼即可在提供者之間切換
LiteLLM 配置
LiteLLM 是第三方代理服務。Anthropic 不認可、維護或審計 LiteLLM 的安全性或功能。本指南僅供參考,可能會過時。請自行決定是否使用。
先決條件
- Claude Code 已更新至最新版本
- LiteLLM Proxy Server 已部署且可訪問
- 通過您選擇的提供者訪問 Claude 模型
基本 LiteLLM 設置
配置 Claude Code:
身份驗證方法
靜態 API 金鑰
使用固定 API 金鑰的最簡單方法:
# 在環境中設置
export ANTHROPIC_AUTH_TOKEN=sk-litellm-static-key
# 或在 Claude Code 設置中
{
"env": {
"ANTHROPIC_AUTH_TOKEN": "sk-litellm-static-key"
}
}
此值將作為 Authorization 標頭發送。
使用輔助程式的動態 API 金鑰
用於輪換金鑰或按使用者身份驗證:
- 建立 API 金鑰輔助程式指令碼:
#!/bin/bash
# ~/bin/get-litellm-key.sh
# 範例:從保管庫擷取金鑰
vault kv get -field=api_key secret/litellm/claude-code
# 範例:產生 JWT 令牌
jwt encode \
--secret="${JWT_SECRET}" \
--exp="+1h" \
'{"user":"'${USER}'","team":"engineering"}'
- 配置 Claude Code 設置以使用輔助程式:
{
"apiKeyHelper": "~/bin/get-litellm-key.sh"
}
- 設置令牌重新整理間隔:
# 每小時重新整理一次 (3600000 ms)
export CLAUDE_CODE_API_KEY_HELPER_TTL_MS=3600000
此值將作為 Authorization 和 X-Api-Key 標頭發送。apiKeyHelper 的優先級低於 ANTHROPIC_AUTH_TOKEN 或 ANTHROPIC_API_KEY。
統一端點(推薦)
使用 LiteLLM 的 Anthropic 格式端點:
export ANTHROPIC_BASE_URL=https://litellm-server:4000
統一端點相比傳遞端點的優勢:
- 負載平衡
- 容錯轉移
- 對成本追蹤和終端使用者追蹤的一致支援
提供者特定的傳遞端點(替代方案)
通過 LiteLLM 的 Claude API
使用 傳遞端點:
export ANTHROPIC_BASE_URL=https://litellm-server:4000/anthropic
通過 LiteLLM 的 Amazon Bedrock
使用 傳遞端點:
export ANTHROPIC_BEDROCK_BASE_URL=https://litellm-server:4000/bedrock
export CLAUDE_CODE_SKIP_BEDROCK_AUTH=1
export CLAUDE_CODE_USE_BEDROCK=1
通過 LiteLLM 的 Google Vertex AI
使用 傳遞端點:
export ANTHROPIC_VERTEX_BASE_URL=https://litellm-server:4000/vertex_ai/v1
export ANTHROPIC_VERTEX_PROJECT_ID=your-gcp-project-id
export CLAUDE_CODE_SKIP_VERTEX_AUTH=1
export CLAUDE_CODE_USE_VERTEX=1
export CLOUD_ML_REGION=us-east5
模型選擇
預設情況下,模型將使用 模型配置 中指定的模型。
如果您在 LiteLLM 中配置了自訂模型名稱,請將上述環境變數設置為這些自訂名稱。
如需更詳細的資訊,請參閱 LiteLLM 文件。
其他資源