Zum Hauptinhalt springen
LLM-Gateways bieten eine zentralisierte Proxy-Schicht zwischen Claude Code und Modellanbietern und bieten:
  • Zentralisierte Authentifizierung - Einzelner Punkt für die API-Schlüsselverwaltung
  • Nutzungsverfolgung - Überwachen Sie die Nutzung über Teams und Projekte hinweg
  • Kostenkontrollen - Implementieren Sie Budgets und Ratenlimits
  • Audit-Protokollierung - Verfolgen Sie alle Modellinteraktionen zur Compliance
  • Modell-Routing - Wechseln Sie zwischen Anbietern ohne Codeänderungen

​
LiteLLM-Konfiguration

LiteLLM ist ein Drittanbieter-Proxy-Service. Anthropic unterstützt, wartet oder prüft die Sicherheit oder Funktionalität von LiteLLM nicht. Diese Anleitung wird zu Informationszwecken bereitgestellt und kann veraltet sein. Verwenden Sie sie nach eigenem Ermessen.

​
Voraussetzungen

  • Claude Code auf die neueste Version aktualisiert
  • LiteLLM Proxy Server bereitgestellt und zugänglich
  • Zugriff auf Claude-Modelle über Ihren gewählten Anbieter

​
Grundlegendes LiteLLM-Setup

Konfigurieren Sie Claude Code:

​
Authentifizierungsmethoden

Statischer API-Schlüssel
Einfachste Methode mit einem festen API-Schlüssel: 
# In Umgebung setzen
export ANTHROPIC_AUTH_TOKEN=sk-litellm-static-key

# Oder in Claude Code-Einstellungen
{
  "env": {
    "ANTHROPIC_AUTH_TOKEN": "sk-litellm-static-key"
  }
}
Dieser Wert wird als Authorization-Header gesendet.
Dynamischer API-Schlüssel mit Helper
Für rotierende Schlüssel oder Pro-Benutzer-Authentifizierung:
  1. Erstellen Sie ein API-Schlüssel-Helper-Skript:
#!/bin/bash
# ~/bin/get-litellm-key.sh

# Beispiel: Schlüssel aus Vault abrufen
vault kv get -field=api_key secret/litellm/claude-code

# Beispiel: JWT-Token generieren
jwt encode \
  --secret="${JWT_SECRET}" \
  --exp="+1h" \
  '{"user":"'${USER}'","team":"engineering"}'
  1. Konfigurieren Sie Claude Code-Einstellungen zur Verwendung des Helpers:
{
  "apiKeyHelper": "~/bin/get-litellm-key.sh"
}
  1. Legen Sie das Token-Aktualisierungsintervall fest:
# Alle Stunde aktualisieren (3600000 ms)
export CLAUDE_CODE_API_KEY_HELPER_TTL_MS=3600000
Dieser Wert wird als Authorization- und X-Api-Key-Header gesendet. Der apiKeyHelper hat eine niedrigere Priorität als ANTHROPIC_AUTH_TOKEN oder ANTHROPIC_API_KEY.

​
Einheitlicher Endpunkt (empfohlen)

Verwendung von LiteLLMs Anthropic-Format-Endpunkt: 
export ANTHROPIC_BASE_URL=https://litellm-server:4000
Vorteile des einheitlichen Endpunkts gegenüber Pass-Through-Endpunkten:
  • Lastverteilung
  • Fallbacks
  • Konsistente Unterstützung für Kosten-Tracking und End-User-Tracking

​
Anbieter-spezifische Pass-Through-Endpunkte (Alternative)

Claude API über LiteLLM
Verwendung von Pass-Through-Endpunkt: 
export ANTHROPIC_BASE_URL=https://litellm-server:4000/anthropic
Amazon Bedrock über LiteLLM
Verwendung von Pass-Through-Endpunkt: 
export ANTHROPIC_BEDROCK_BASE_URL=https://litellm-server:4000/bedrock
export CLAUDE_CODE_SKIP_BEDROCK_AUTH=1
export CLAUDE_CODE_USE_BEDROCK=1
Google Vertex AI über LiteLLM
Verwendung von Pass-Through-Endpunkt: 
export ANTHROPIC_VERTEX_BASE_URL=https://litellm-server:4000/vertex_ai/v1
export ANTHROPIC_VERTEX_PROJECT_ID=your-gcp-project-id
export CLAUDE_CODE_SKIP_VERTEX_AUTH=1
export CLAUDE_CODE_USE_VERTEX=1
export CLOUD_ML_REGION=us-east5

​
Modellauswahl

Standardmäßig verwenden die Modelle die in Modellkonfiguration angegebenen. Wenn Sie benutzerdefinierte Modellnamen in LiteLLM konfiguriert haben, setzen Sie die oben genannten Umgebungsvariablen auf diese benutzerdefinierten Namen. Weitere Informationen finden Sie in der LiteLLM-Dokumentation.

​
Zusätzliche Ressourcen