조직을 위한 LLM 게이트웨이 배포

​

필수 조건

• 인프라에 배포된 게이트웨이로, 개발자에게 배포할 정확한 주소에서 HTTPS를 제공하며, 리디렉션되는 주소가 아니고, Claude 모델 이름을 공급자에게 라우팅하도록 구성됨
• 게이트웨이가 전달할 공급자 자격증명:
  • Anthropic API의 경우: Claude 콘솔의 API 키
  • 클라우드 공급자의 경우: 모델 액세스 권한이 있는 클라우드 자격증명. Amazon Bedrock, Google Vertex AI 또는 Microsoft Foundry 페이지의 필수 조건을 참조하십시오.
• MDM 또는 구성 관리와 같이 개발자 머신에 설정 파일을 전달하는 방법
  • 아직 없는 경우 설정이 장치에 도달하는 방법에서 옵션을 비교합니다.

​

게이트웨이 요구사항

• 지원되는 API 형식 수락: API 형식 표의 형식 중 하나. 아래의 롤아웃 단계는 POST /v1/messages의 Anthropic Messages API를 가정하며, 대부분의 게이트웨이가 이를 제공합니다.
• 응답 스트리밍: 전체 응답을 버퍼링하는 대신 서버 전송 이벤트를 도착하는 대로 전달합니다.
• Claude 모델 이름 라우팅: 개발자가 사용하는 각 이름을 업스트림 모델에 매핑합니다. Claude Code는 각 요청에서 claude-sonnet-4-6과 같은 모델 이름을 전송합니다. 대부분의 게이트웨이 제품에서 매핑은 게이트웨이 자체 구성의 모델 목록 또는 라우팅 테이블입니다.
• 헤더 및 본문 변경 없이 전달: anthropic-beta, anthropic-version 및 요청 본문을 양방향으로 전달합니다. 기능 통과 표는 각각을 이를 없이는 손상되는 기능에 매핑합니다.
• 업스트림 오류 수정되지 않은 상태로 반환: Claude Code의 자동 복구는 오류 표현에 일치하므로 게이트웨이 자체 봉투에 오류를 래핑하면 이를 손상시킵니다.
• 요청 본문 WAF 검사에서 경로 제외: Claude Code 프롬프트는 소스 코드와 교차 사이트 스크립팅 본문 규칙과 일치하는 XML 스타일 태그를 포함합니다. 게이트웨이 앞의 WAF는 실제 세션에서 403을 반환하지만 짧은 테스트 요청은 통과합니다.

​

롤아웃 단계

1. 게이트웨이가 모델을 라우팅하는지 확인
2. 각 개발자에게 자격증명 발급
3. 게이트웨이에 대해 Claude Code 테스트
4. 기본 URL 및 자격증명 배포
5. 개발자 머신에서 확인

​

게이트웨이가 모델을 라우팅하는지 확인

• <gateway-key>는 현재 게이트웨이를 호출할 수 있는 모든 자격증명입니다. 관리 키, 테스트 키 또는 이미 발급한 자신의 개발자 키입니다. 모든 게이트웨이 제품이 별도의 관리 자격증명을 가지고 있지는 않습니다. 귀사의 제품이 없는 경우 먼저 개발자 자격증명 발급에서 자신에게 개발자 키를 발급하십시오.
• model은 게이트웨이가 라우팅하도록 구성된 Claude 모델 이름입니다. 예제는 claude-sonnet-4-6을 사용합니다. 구성한 이름으로 대체하십시오.

curl -X POST "https://llm-gateway.example.com/v1/messages" \
  -H "Authorization: Bearer <gateway-key>" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{"model": "claude-sonnet-4-6", "max_tokens": 1, "messages": [{"role": "user", "content": "."}]}'

Invoke-RestMethod -Method Post -Uri "https://llm-gateway.example.com/v1/messages" `
  -Headers @{ "Authorization" = "Bearer <gateway-key>"; "anthropic-version" = "2023-06-01" } `
  -ContentType "application/json" `
  -Body '{"model": "claude-sonnet-4-6", "max_tokens": 1, "messages": [{"role": "user", "content": "."}]}'

​

개발자 자격증명 발급

curl -X POST "https://llm-gateway.example.com/v1/messages" \
  -H "Authorization: Bearer <developer-key>" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{"model": "claude-sonnet-4-6", "max_tokens": 1, "messages": [{"role": "user", "content": "."}]}'

Invoke-RestMethod -Method Post -Uri "https://llm-gateway.example.com/v1/messages" `
  -Headers @{ "Authorization" = "Bearer <developer-key>"; "anthropic-version" = "2023-06-01" } `
  -ContentType "application/json" `
  -Body '{"model": "claude-sonnet-4-6", "max_tokens": 1, "messages": [{"role": "user", "content": "."}]}'

​

게이트웨이에 대해 Claude Code 테스트

export ANTHROPIC_BASE_URL=https://llm-gateway.example.com
export ANTHROPIC_AUTH_TOKEN="<developer-key>"

$env:ANTHROPIC_BASE_URL = "https://llm-gateway.example.com"
$env:ANTHROPIC_AUTH_TOKEN = "<developer-key>"

claude -p "Reply with one word: connected"

• Not logged in: 게이트웨이 로그를 확인하여 두 가지 원인을 구분합니다. 비어 있으면 자격증명이 세션에 도달하지 않았고 요청이 머신을 떠나지 않았습니다. 테스트 중인 셸에서 내보내기를 다시 실행하십시오. 401 본문에 x-api-key가 표시되면 게이트웨이가 대신 해당 헤더에서 키를 예상합니다. ANTHROPIC_API_KEY로 전환하십시오.
• Failed to authenticate. API Error: 401은 자격증명이 전송되고 거부되었음을 의미하며, 게이트웨이 로그는 위치를 나타냅니다. api.anthropic.com 또는 공급자의 엔드포인트를 명명하는 401은 게이트웨이가 업스트림에 도달했지만 보유한 공급자 자격증명이 거부되었음을 의미하므로 개발자 키가 작동했고 게이트웨이가 보유한 공급자 자격증명이 잘못되었거나 자리 표시자입니다.

​

구성 배포

​

배포할 항목

​

관리되는 설정을 통해 배포

{
  "env": {
    "ANTHROPIC_BASE_URL": "https://llm-gateway.example.com"
  },
  "apiKeyHelper": "/usr/local/bin/get-gateway-key"
}

• 데스크톱 앱은 MDM 배포 타사 추론 구성에서만 게이트웨이 라우팅을 읽습니다. 데스크톱 세션도 게이트웨이를 통해 라우팅되도록 관리되는 설정과 함께 해당 파일을 배포하십시오. 데스크톱 타사 구성 문서 및 데스크톱 게이트웨이 문서를 참조하십시오.
• CI 러너는 러너의 환경에서 ANTHROPIC_BASE_URL 및 자격증명을 설정해야 합니다.
• 관리되는 Windows 머신의 WSL은 wslInheritsWindowsSettings가 true일 때만 Windows 관리 설정을 읽습니다.

​

개발자에게 값을 직접 설정하도록 합니다.

• 게이트웨이 URL
• 개인 자격증명
• 자격증명을 넣을 변수: 베어러 토큰 게이트웨이의 경우 ANTHROPIC_AUTH_TOKEN 또는 x-api-key 게이트웨이의 경우 ANTHROPIC_API_KEY. 개발자에게 어느 것을 알려주면 연결 페이지에 설명된 시행착오를 절약할 수 있습니다.
• 배포할 항목 표의 모든 조건부 변수와 해당 값

​

롤아웃 확인

curl -N -X POST "https://llm-gateway.example.com/v1/messages" \
  -H "Authorization: Bearer <developer-key>" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{"model": "claude-sonnet-4-6", "max_tokens": 16, "stream": true, "messages": [{"role": "user", "content": "count to 3"}]}'

$body = '{"model": "claude-sonnet-4-6", "max_tokens": 16, "stream": true, "messages": [{"role": "user", "content": "count to 3"}]}'
$body | curl.exe -N -X POST "https://llm-gateway.example.com/v1/messages" `
  -H "Authorization: Bearer <developer-key>" `
  -H "anthropic-version: 2023-06-01" `
  -H "content-type: application/json" `
  --data-binary '@-'

• 로그인 프롬프트는 자격증명 간격을 의미합니다. /status를 실행하고 Status 탭을 엽니다. Setting sources 줄에 관리되는 설정이 포함되지 않으면 배포가 머신에 도달하지 않았습니다. 포함되면 개발자 자격증명이 배포되지 않았으므로 ANTHROPIC_AUTH_TOKEN 또는 apiKeyHelper를 설정하십시오.
• Failed to authenticate 오류는 게이트웨이가 요청을 거부함을 의미합니다. 로그는 어느 자격증명이 실패했는지 나타냅니다. 게이트웨이가 자체 로그하는 거부는 개발자 키를 명명하는 반면, api.anthropic.com 또는 공급자의 엔드포인트의 401은 게이트웨이가 보유한 공급자 자격증명이 거부되었음을 의미합니다.
• 게이트웨이가 x-api-key 헤더에서 키를 예상할 때 ANTHROPIC_API_KEY로 설정된 키에 대한 일회성 승인 프롬프트는 예상됩니다. ANTHROPIC_AUTH_TOKEN을 사용하면 프롬프트가 나타나지 않고 변수가 자동으로 인수합니다. 이전에 저장된 claude.ai 로그인은 해당 세션에 대해 비활성입니다.

​

게이트웨이 유지 관리

​

관련 리소스

• Claude Code를 LLM 게이트웨이에 연결: 개발자 대면 설정 단계로, 표면별 구성 및 개발자에게 제공할 수 있는 문제 해결 표 포함
• 게이트웨이 프로토콜 참조: 게이트웨이 운영자를 위한 와이어 계약으로, 엔드포인트, 전달할 헤더 및 기능 통과 표 포함
• 설정 파일 및 우선순위: 관리되는 설정, 프로젝트 및 사용자 설정이 결합되는 방식 및 각 플랫폼에서 관리되는 파일이 위치하는 곳
• 조직을 위한 Claude Code 설정: 이 게이트웨이가 일부인 더 넓은 롤아웃로, 정책 적용, 사용 가시성 및 데이터 처리 포함