Vai al contenuto principale
I gateway LLM forniscono un livello proxy centralizzato tra Claude Code e i provider di modelli, offrendo:
  • Autenticazione centralizzata - Punto singolo per la gestione delle chiavi API
  • Monitoraggio dell’utilizzo - Monitora l’utilizzo tra team e progetti
  • Controlli dei costi - Implementa budget e limiti di velocità
  • Registrazione di audit - Traccia tutte le interazioni del modello per la conformità
  • Routing dei modelli - Passa da un provider all’altro senza modifiche al codice

​
Configurazione di LiteLLM

LiteLLM è un servizio proxy di terze parti. Anthropic non approva, mantiene o controlla la sicurezza o la funzionalità di LiteLLM. Questa guida è fornita a scopo informativo e potrebbe diventare obsoleta. Usala a tua discrezione.

​
Prerequisiti

  • Claude Code aggiornato all’ultima versione
  • LiteLLM Proxy Server distribuito e accessibile
  • Accesso ai modelli Claude attraverso il provider scelto

​
Configurazione di base di LiteLLM

Configura Claude Code:

​
Metodi di autenticazione

Chiave API statica
Metodo più semplice utilizzando una chiave API fissa: 
# Imposta in ambiente
export ANTHROPIC_AUTH_TOKEN=sk-litellm-static-key

# O nelle impostazioni di Claude Code
{
  "env": {
    "ANTHROPIC_AUTH_TOKEN": "sk-litellm-static-key"
  }
}
Questo valore verrà inviato come intestazione Authorization.
Chiave API dinamica con helper
Per chiavi rotanti o autenticazione per utente:
  1. Crea uno script helper per la chiave API:
#!/bin/bash
# ~/bin/get-litellm-key.sh

# Esempio: Recupera la chiave dal vault
vault kv get -field=api_key secret/litellm/claude-code

# Esempio: Genera token JWT
jwt encode \
  --secret="${JWT_SECRET}" \
  --exp="+1h" \
  '{"user":"'${USER}'","team":"engineering"}'
  1. Configura le impostazioni di Claude Code per utilizzare l’helper:
{
  "apiKeyHelper": "~/bin/get-litellm-key.sh"
}
  1. Imposta l’intervallo di aggiornamento del token:
# Aggiorna ogni ora (3600000 ms)
export CLAUDE_CODE_API_KEY_HELPER_TTL_MS=3600000
Questo valore verrà inviato come intestazioni Authorization e X-Api-Key. apiKeyHelper ha una precedenza inferiore rispetto a ANTHROPIC_AUTH_TOKEN o ANTHROPIC_API_KEY.

​
Endpoint unificato (consigliato)

Utilizzando l’endpoint in formato Anthropic di LiteLLM: 
export ANTHROPIC_BASE_URL=https://litellm-server:4000
Vantaggi dell’endpoint unificato rispetto agli endpoint pass-through:
  • Bilanciamento del carico
  • Fallback
  • Supporto coerente per il tracciamento dei costi e il tracciamento dell’utente finale

​
Endpoint pass-through specifici del provider (alternativa)

Claude API attraverso LiteLLM
Utilizzando l’endpoint pass-through: 
export ANTHROPIC_BASE_URL=https://litellm-server:4000/anthropic
Amazon Bedrock attraverso LiteLLM
Utilizzando l’endpoint pass-through: 
export ANTHROPIC_BEDROCK_BASE_URL=https://litellm-server:4000/bedrock
export CLAUDE_CODE_SKIP_BEDROCK_AUTH=1
export CLAUDE_CODE_USE_BEDROCK=1
Google Vertex AI attraverso LiteLLM
Utilizzando l’endpoint pass-through: 
export ANTHROPIC_VERTEX_BASE_URL=https://litellm-server:4000/vertex_ai/v1
export ANTHROPIC_VERTEX_PROJECT_ID=your-gcp-project-id
export CLAUDE_CODE_SKIP_VERTEX_AUTH=1
export CLAUDE_CODE_USE_VERTEX=1
export CLOUD_ML_REGION=us-east5

​
Selezione del modello

Per impostazione predefinita, i modelli utilizzeranno quelli specificati in Configurazione del modello. Se hai configurato nomi di modelli personalizzati in LiteLLM, imposta le variabili di ambiente sopra menzionate su quei nomi personalizzati. Per informazioni più dettagliate, consulta la documentazione di LiteLLM.

​
Risorse aggiuntive