Luncurkan gateway LLM untuk organisasi Anda

​

Prasyarat

• Gateway yang diterapkan di infrastruktur Anda, melayani HTTPS di alamat yang tepat yang akan Anda distribusikan kepada pengembang, bukan alamat yang mengalihkannya, dan dikonfigurasi untuk merutekan nama model Claude ke penyedia Anda
• Kredensial penyedia untuk gateway yang akan diteruskan dengan:
  • Untuk API Anthropic: kunci API dari Konsol Claude
  • Untuk penyedia cloud: kredensial cloud dengan akses model. Lihat prasyarat di halaman Amazon Bedrock, Google Cloud’s Agent Platform, atau Microsoft Foundry
• Cara untuk mengirimkan file pengaturan ke mesin pengembang, seperti MDM atau manajemen konfigurasi
  • Jika Anda belum memilikinya, bagaimana pengaturan mencapai perangkat membandingkan opsi

​

Persyaratan gateway

• Terima format API yang didukung: salah satu format dalam tabel format API. Langkah peluncuran di bawah mengasumsikan API Pesan Anthropic di POST /v1/messages, yang dilayani sebagian besar gateway
• Alirkan respons: teruskan peristiwa yang dikirim server saat tiba daripada membuffer seluruh respons
• Rutekan nama model Claude: petakan setiap nama yang digunakan pengembang ke model upstream. Claude Code mengirimkan nama model seperti claude-sonnet-4-6 di setiap permintaan; di sebagian besar produk gateway pemetaan adalah daftar model atau tabel perutean dalam konfigurasi gateway sendiri
• Teruskan header dan body tanpa perubahan: teruskan anthropic-beta, anthropic-version, dan badan permintaan di kedua arah; tabel pass-through fitur memetakan masing-masing ke fitur yang rusak tanpanya
• Kembalikan kesalahan upstream tanpa modifikasi: pemulihan otomatis Claude Code cocok dengan kata-kata kesalahan, jadi membungkus kesalahan dalam amplop gateway sendiri memecahnya
• Bebaskan jalur dari inspeksi WAF badan permintaan: prompt Claude Code membawa kode sumber dan tag gaya XML yang cocok dengan aturan badan cross-site-scripting; WAF di depan gateway mengembalikan 403 pada sesi nyata sementara permintaan uji pendek lulus

​

Langkah peluncuran

1. Konfirmasi gateway merutekan model Anda
2. Keluarkan kredensial untuk setiap pengembang
3. Uji Claude Code terhadap gateway
4. Distribusikan URL dasar dan kredensial
5. Verifikasi dari mesin pengembang

​

Konfirmasi gateway merutekan model Anda

• <gateway-key> adalah kredensial apa pun yang memungkinkan Anda memanggil gateway sekarang: kunci administratif, kunci uji, atau kunci pengembang Anda sendiri jika Anda sudah mengeluarkan satu. Tidak setiap produk gateway memiliki kredensial admin terpisah; jika milik Anda tidak, keluarkan kunci pengembang untuk diri sendiri di Keluarkan kredensial pengembang terlebih dahulu
• model adalah nama model Claude yang dikonfigurasi gateway untuk dirutekan. Contoh menggunakan claude-sonnet-4-6; ganti dengan nama yang telah Anda konfigurasi

curl -X POST "https://llm-gateway.example.com/v1/messages" \
  -H "Authorization: Bearer <gateway-key>" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{"model": "claude-sonnet-4-6", "max_tokens": 1, "messages": [{"role": "user", "content": "."}]}'

Invoke-RestMethod -Method Post -Uri "https://llm-gateway.example.com/v1/messages" `
  -Headers @{ "Authorization" = "Bearer <gateway-key>"; "anthropic-version" = "2023-06-01" } `
  -ContentType "application/json" `
  -Body '{"model": "claude-sonnet-4-6", "max_tokens": 1, "messages": [{"role": "user", "content": "."}]}'

​

Keluarkan kredensial pengembang

curl -X POST "https://llm-gateway.example.com/v1/messages" \
  -H "Authorization: Bearer <developer-key>" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{"model": "claude-sonnet-4-6", "max_tokens": 1, "messages": [{"role": "user", "content": "."}]}'

Invoke-RestMethod -Method Post -Uri "https://llm-gateway.example.com/v1/messages" `
  -Headers @{ "Authorization" = "Bearer <developer-key>"; "anthropic-version" = "2023-06-01" } `
  -ContentType "application/json" `
  -Body '{"model": "claude-sonnet-4-6", "max_tokens": 1, "messages": [{"role": "user", "content": "."}]}'

​

Uji Claude Code terhadap gateway

export ANTHROPIC_BASE_URL=https://llm-gateway.example.com
export ANTHROPIC_AUTH_TOKEN="<developer-key>"

$env:ANTHROPIC_BASE_URL = "https://llm-gateway.example.com"
$env:ANTHROPIC_AUTH_TOKEN = "<developer-key>"

claude -p "Reply with one word: connected"

• Not logged in: periksa log gateway untuk membedakan dua penyebab. Jika kosong, tidak ada kredensial yang mencapai sesi dan tidak ada permintaan yang meninggalkan mesin; jalankan kembali ekspor di shell yang Anda uji. Jika menunjukkan permintaan yang ditolak dengan x-api-key dalam badan 401, gateway mengharapkan kunci di header itu; beralih ke ANTHROPIC_API_KEY
• Failed to authenticate. API Error: 401 berarti kredensial dikirim dan ditolak, dan log gateway mengatakan di mana: 401 yang menyebutkan api.anthropic.com atau endpoint penyedia Anda berarti gateway mencapai upstream tetapi kredensial penyedia yang dipegang gateway ditolak, jadi kunci pengembang bekerja dan kredensial penyedia yang dipegang gateway salah atau placeholder

​

Distribusikan konfigurasi

​

Apa yang harus didistribusikan

​

Distribusikan melalui pengaturan terkelola

{
  "env": {
    "ANTHROPIC_BASE_URL": "https://llm-gateway.example.com"
  },
  "apiKeyHelper": "/usr/local/bin/get-gateway-key"
}

• Aplikasi desktop membaca perutean gateway dari konfigurasi inferensi pihak ketiga, bukan dari pengaturan terkelola; terapkan file itu melalui MDM bersama pengaturan terkelola sehingga sesi desktop juga merutekan melalui gateway. Lihat dokumentasi konfigurasi pihak ketiga desktop dan dokumentasi gateway desktop
• Runner CI memerlukan ANTHROPIC_BASE_URL dan kredensial yang ditetapkan di lingkungan runner
• WSL pada mesin Windows terkelola membaca pengaturan terkelola Windows hanya ketika wslInheritsWindowsSettings adalah true

​

Berikan pengembang nilai untuk menetapkan sendiri

• URL gateway
• Kredensial pribadi mereka
• Variabel mana yang harus dimasukkan kredensial: ANTHROPIC_AUTH_TOKEN untuk gateway token-bearer, atau ANTHROPIC_API_KEY untuk gateway x-api-key. Memberitahu pengembang mana yang menghemat mereka dari trial-and-error yang dijelaskan di halaman koneksi
• Variabel bersyarat apa pun dari tabel Apa yang harus didistribusikan, dengan nilainya

​

Verifikasi peluncuran

curl -N -X POST "https://llm-gateway.example.com/v1/messages" \
  -H "Authorization: Bearer <developer-key>" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{"model": "claude-sonnet-4-6", "max_tokens": 16, "stream": true, "messages": [{"role": "user", "content": "count to 3"}]}'

$body = '{"model": "claude-sonnet-4-6", "max_tokens": 16, "stream": true, "messages": [{"role": "user", "content": "count to 3"}]}'
$body | curl.exe -N -X POST "https://llm-gateway.example.com/v1/messages" `
  -H "Authorization: Bearer <developer-key>" `
  -H "anthropic-version: 2023-06-01" `
  -H "content-type: application/json" `
  --data-binary '@-'

• Prompt login berarti celah kredensial. Jalankan /status dan buka tab Status: ketika baris Setting sources tidak mencakup pengaturan terkelola, distribusi tidak mencapai mesin; ketika itu terjadi, kredensial pengembang tidak dikirimkan, jadi atur ANTHROPIC_AUTH_TOKEN atau apiKeyHelper
• Kesalahan Failed to authenticate berarti gateway menolak permintaan; lognya mengatakan kredensial mana yang gagal. Penolakan yang dicatat gateway sendiri menyebutkan kunci pengembang, sementara 401 dari api.anthropic.com atau endpoint penyedia Anda berarti kredensial penyedia yang dipegang gateway ditolak
• Prompt persetujuan satu kali untuk kunci diharapkan pada penggunaan pertama ketika gateway mengharapkan kunci di header x-api-key, ditetapkan sebagai ANTHROPIC_API_KEY. Dengan ANTHROPIC_AUTH_TOKEN, tidak ada prompt yang muncul dan variabel mengambil alih secara diam-diam; login claude.ai yang sebelumnya disimpan tidak aktif untuk sesi itu

​

Pertahankan gateway

​

Sumber daya terkait

• Hubungkan Claude Code ke gateway LLM: langkah pengaturan yang menghadap pengembang, dengan konfigurasi per-permukaan dan tabel pemecahan masalah yang dapat Anda berikan kepada pengembang
• Referensi protokol gateway: kontrak kawat untuk operator gateway, mencakup endpoint, header untuk diteruskan, dan tabel pass-through fitur
• File pengaturan dan prioritas: bagaimana pengaturan terkelola, proyek, dan pengguna digabungkan, dan di mana file terkelola berada di setiap platform
• Siapkan Claude Code untuk organisasi Anda: peluncuran yang lebih luas yang merupakan bagian dari gateway ini, termasuk penegakan kebijakan, visibilitas penggunaan, dan penanganan data