LLM gatewayは、Claude CodeとモデルプロバイダーとのCentralized proxyレイヤーを提供し、以下を提供します：
- Centralized authentication - API キー管理の単一ポイント
- 使用状況追跡 - チームとプロジェクト全体の使用状況を監視
- コスト管理 - バジェットとレート制限を実装
- 監査ログ - コンプライアンスのためにすべてのモデルインタラクションを追跡
- モデルルーティング - コード変更なしでプロバイダー間を切り替え
LiteLLM設定
LiteLLMはサードパーティのプロキシサービスです。Anthropicは、LiteLLMのセキュリティまたは機能を承認、保守、または監査していません。このガイドは情報提供目的で提供されており、古くなる可能性があります。自由裁量で使用してください。
前提条件
- Claude Codeが最新バージョンに更新されている
- LiteLLM Proxy Serverがデプロイされてアクセス可能
- 選択したプロバイダーを通じてClaudeモデルにアクセス可能
基本的なLiteLLMセットアップ
Claude Codeを設定：
認証方法
静的APIキー
固定APIキーを使用した最もシンプルな方法：
# 環境変数で設定
export ANTHROPIC_AUTH_TOKEN=sk-litellm-static-key
# またはClaude Code設定で
{
"env": {
"ANTHROPIC_AUTH_TOKEN": "sk-litellm-static-key"
}
}
Authorizationヘッダーとして送信されます。
ヘルパーを使用した動的APIキー
キーのローテーションまたはユーザーごとの認証の場合：
- APIキーヘルパースクリプトを作成：
#!/bin/bash
# ~/bin/get-litellm-key.sh
# 例：vaultからキーを取得
vault kv get -field=api_key secret/litellm/claude-code
# 例：JWTトークンを生成
jwt encode \
--secret="${JWT_SECRET}" \
--exp="+1h" \
'{"user":"'${USER}'","team":"engineering"}'
- ヘルパーを使用するようにClaude Code設定を構成：
{
"apiKeyHelper": "~/bin/get-litellm-key.sh"
}
- トークンリフレッシュ間隔を設定：
# 1時間ごとにリフレッシュ（3600000 ms）
export CLAUDE_CODE_API_KEY_HELPER_TTL_MS=3600000
AuthorizationおよびX-Api-Keyヘッダーとして送信されます。apiKeyHelperはANTHROPIC_AUTH_TOKENまたはANTHROPIC_API_KEYより優先度が低いです。
統合エンドポイント（推奨）
LiteLLMのAnthropic形式エンドポイントを使用：
export ANTHROPIC_BASE_URL=https://litellm-server:4000
- ロードバランシング
- フェイルオーバー
- コスト追跡とエンドユーザー追跡の一貫したサポート
プロバイダー固有のパススルーエンドポイント（代替）
LiteLLMを通じたClaude API
パススルーエンドポイントを使用：
export ANTHROPIC_BASE_URL=https://litellm-server:4000/anthropic
LiteLLMを通じたAmazon Bedrock
パススルーエンドポイントを使用：
export ANTHROPIC_BEDROCK_BASE_URL=https://litellm-server:4000/bedrock
export CLAUDE_CODE_SKIP_BEDROCK_AUTH=1
export CLAUDE_CODE_USE_BEDROCK=1
LiteLLMを通じたGoogle Vertex AI
パススルーエンドポイントを使用：
export ANTHROPIC_VERTEX_BASE_URL=https://litellm-server:4000/vertex_ai/v1
export ANTHROPIC_VERTEX_PROJECT_ID=your-gcp-project-id
export CLAUDE_CODE_SKIP_VERTEX_AUTH=1
export CLAUDE_CODE_USE_VERTEX=1
export CLOUD_ML_REGION=us-east5
モデル選択
デフォルトでは、モデルはモデル設定で指定されたものを使用します。
LiteLLMでカスタムモデル名を設定した場合は、前述の環境変数をそれらのカスタム名に設定してください。
詳細については、LiteLLMドキュメントを参照してください。
追加リソース
