LLM gateway menyediakan lapisan proxy terpusat antara Claude Code dan penyedia model, menawarkan:
- Autentikasi terpusat - Titik tunggal untuk manajemen kunci API
- Pelacakan penggunaan - Pantau penggunaan di seluruh tim dan proyek
- Kontrol biaya - Terapkan anggaran dan batas laju
- Pencatatan audit - Lacak semua interaksi model untuk kepatuhan
- Perutean model - Beralih antar penyedia tanpa perubahan kode
Konfigurasi LiteLLM
LiteLLM adalah layanan proxy pihak ketiga. Anthropic tidak mendukung, memelihara, atau mengaudit keamanan atau fungsionalitas LiteLLM. Panduan ini disediakan untuk tujuan informasi dan mungkin menjadi ketinggalan zaman. Gunakan atas kebijakan Anda sendiri.
Prasyarat
- Claude Code diperbarui ke versi terbaru
- LiteLLM Proxy Server digunakan dan dapat diakses
- Akses ke model Claude melalui penyedia pilihan Anda
Setup LiteLLM dasar
Konfigurasi Claude Code:
Metode autentikasi
Kunci API statis
Metode paling sederhana menggunakan kunci API tetap:
# Atur di lingkungan
export ANTHROPIC_AUTH_TOKEN=sk-litellm-static-key
# Atau di pengaturan Claude Code
{
"env": {
"ANTHROPIC_AUTH_TOKEN": "sk-litellm-static-key"
}
}
Authorization.
Kunci API dinamis dengan pembantu
Untuk kunci yang berputar atau autentikasi per pengguna:
- Buat skrip pembantu kunci API:
#!/bin/bash
# ~/bin/get-litellm-key.sh
# Contoh: Ambil kunci dari vault
vault kv get -field=api_key secret/litellm/claude-code
# Contoh: Hasilkan token JWT
jwt encode \
--secret="${JWT_SECRET}" \
--exp="+1h" \
'{"user":"'${USER}'","team":"engineering"}'
- Konfigurasi pengaturan Claude Code untuk menggunakan pembantu:
{
"apiKeyHelper": "~/bin/get-litellm-key.sh"
}
- Atur interval penyegaran token:
# Segarkan setiap jam (3600000 ms)
export CLAUDE_CODE_API_KEY_HELPER_TTL_MS=3600000
Authorization dan X-Api-Key. apiKeyHelper memiliki prioritas lebih rendah daripada ANTHROPIC_AUTH_TOKEN atau ANTHROPIC_API_KEY.
Titik akhir terpadu (direkomendasikan)
Menggunakan titik akhir format Anthropic LiteLLM:
export ANTHROPIC_BASE_URL=https://litellm-server:4000
- Penyeimbangan beban
- Fallback
- Dukungan konsisten untuk pelacakan biaya dan pelacakan pengguna akhir
Titik akhir pass-through khusus penyedia (alternatif)
Claude API melalui LiteLLM
Menggunakan titik akhir pass-through:
export ANTHROPIC_BASE_URL=https://litellm-server:4000/anthropic
Amazon Bedrock melalui LiteLLM
Menggunakan titik akhir pass-through:
export ANTHROPIC_BEDROCK_BASE_URL=https://litellm-server:4000/bedrock
export CLAUDE_CODE_SKIP_BEDROCK_AUTH=1
export CLAUDE_CODE_USE_BEDROCK=1
Google Vertex AI melalui LiteLLM
Menggunakan titik akhir pass-through:
export ANTHROPIC_VERTEX_BASE_URL=https://litellm-server:4000/vertex_ai/v1
export ANTHROPIC_VERTEX_PROJECT_ID=your-gcp-project-id
export CLAUDE_CODE_SKIP_VERTEX_AUTH=1
export CLAUDE_CODE_USE_VERTEX=1
export CLOUD_ML_REGION=us-east5
Pemilihan model
Secara default, model akan menggunakan yang ditentukan dalam Konfigurasi Model.
Jika Anda telah mengonfigurasi nama model khusus di LiteLLM, atur variabel lingkungan yang disebutkan di atas ke nama khusus tersebut.
Untuk informasi lebih terperinci, lihat dokumentasi LiteLLM.
Sumber daya tambahan
