LLM gateway는 Claude Code와 모델 제공자 간의 중앙 집중식 프록시 계층을 제공하며, 다음을 제공합니다:
- 중앙 집중식 인증 - API 키 관리를 위한 단일 지점
- 사용량 추적 - 팀 및 프로젝트 전체의 사용량 모니터링
- 비용 제어 - 예산 및 속도 제한 구현
- 감사 로깅 - 규정 준수를 위한 모든 모델 상호 작용 추적
- 모델 라우팅 - 코드 변경 없이 제공자 간 전환
LiteLLM 구성
LiteLLM은 제3자 프록시 서비스입니다. Anthropic은 LiteLLM의 보안 또는 기능을 보증, 유지 관리 또는 감사하지 않습니다. 이 가이드는 정보 제공 목적으로 제공되며 오래될 수 있습니다. 자신의 재량에 따라 사용하십시오.
필수 조건
- 최신 버전으로 업데이트된 Claude Code
- 배포되고 액세스 가능한 LiteLLM Proxy Server
- 선택한 제공자를 통한 Claude 모델에 대한 액세스
기본 LiteLLM 설정
Claude Code 구성:
인증 방법
정적 API 키
고정 API 키를 사용한 가장 간단한 방법:
# 환경에서 설정
export ANTHROPIC_AUTH_TOKEN=sk-litellm-static-key
# 또는 Claude Code 설정에서
{
"env": {
"ANTHROPIC_AUTH_TOKEN": "sk-litellm-static-key"
}
}
Authorization 헤더로 전송됩니다.
헬퍼를 사용한 동적 API 키
키 회전 또는 사용자별 인증의 경우:
- API 키 헬퍼 스크립트 생성:
#!/bin/bash
# ~/bin/get-litellm-key.sh
# 예: 자격 증명 모음에서 키 가져오기
vault kv get -field=api_key secret/litellm/claude-code
# 예: JWT 토큰 생성
jwt encode \
--secret="${JWT_SECRET}" \
--exp="+1h" \
'{"user":"'${USER}'","team":"engineering"}'
- 헬퍼를 사용하도록 Claude Code 설정 구성:
{
"apiKeyHelper": "~/bin/get-litellm-key.sh"
}
- 토큰 새로 고침 간격 설정:
# 1시간마다 새로 고침 (3600000 ms)
export CLAUDE_CODE_API_KEY_HELPER_TTL_MS=3600000
Authorization 및 X-Api-Key 헤더로 전송됩니다. apiKeyHelper는 ANTHROPIC_AUTH_TOKEN 또는 ANTHROPIC_API_KEY보다 우선순위가 낮습니다.
통합 엔드포인트 (권장)
LiteLLM의 Anthropic 형식 엔드포인트 사용:
export ANTHROPIC_BASE_URL=https://litellm-server:4000
- 로드 밸런싱
- 폴백
- 비용 추적 및 최종 사용자 추적에 대한 일관된 지원
제공자별 통과 엔드포인트 (대안)
LiteLLM을 통한 Claude API
통과 엔드포인트 사용:
export ANTHROPIC_BASE_URL=https://litellm-server:4000/anthropic
LiteLLM을 통한 Amazon Bedrock
통과 엔드포인트 사용:
export ANTHROPIC_BEDROCK_BASE_URL=https://litellm-server:4000/bedrock
export CLAUDE_CODE_SKIP_BEDROCK_AUTH=1
export CLAUDE_CODE_USE_BEDROCK=1
LiteLLM을 통한 Google Vertex AI
통과 엔드포인트 사용:
export ANTHROPIC_VERTEX_BASE_URL=https://litellm-server:4000/vertex_ai/v1
export ANTHROPIC_VERTEX_PROJECT_ID=your-gcp-project-id
export CLAUDE_CODE_SKIP_VERTEX_AUTH=1
export CLAUDE_CODE_USE_VERTEX=1
export CLOUD_ML_REGION=us-east5
모델 선택
기본적으로 모델은 모델 구성에 지정된 모델을 사용합니다.
LiteLLM에서 사용자 정의 모델 이름을 구성한 경우 위에서 언급한 환경 변수를 해당 사용자 정의 이름으로 설정합니다.
자세한 정보는 LiteLLM 설명서를 참조하십시오.
추가 리소스
