Развертывание LLM-шлюза для вашей организации

​

Предварительные требования

• Шлюз, развернутый на вашей инфраструктуре, обслуживающий HTTPS по точному адресу, который вы будете распределять разработчикам, а не адресу, который перенаправляет на него, и настроенный для маршрутизации имен моделей Claude к вашему поставщику
• Учетные данные поставщика для шлюза для перенаправления:
  • Для Anthropic API: ключ API из Claude Console
  • Для облачного поставщика: облачные учетные данные с доступом к моделям. См. предварительные требования на странице Amazon Bedrock, Google Vertex AI или Microsoft Foundry
• Способ доставки файлов параметров на машины разработчиков, например MDM или управление конфигурацией
  • Если у вас его еще нет, как параметры достигают устройств сравнивает варианты

​

Требования к шлюзу

• Принимать поддерживаемый формат API: один из форматов в таблице форматов API. Шаги развертывания ниже предполагают Anthropic Messages API в POST /v1/messages, который обслуживает большинство шлюзов
• Потоковая передача ответов: передавать события, отправляемые сервером, по мере их поступления вместо буферизации всего ответа
• Маршрутизация имен моделей Claude: сопоставлять каждое имя, которое используют разработчики, с восходящей моделью. Claude Code отправляет имя модели, такое как claude-sonnet-4-6, в каждом запросе; в большинстве продуктов шлюза сопоставление представляет собой список моделей или таблицу маршрутизации в собственной конфигурации шлюза
• Перенаправлять заголовки и тело без изменений: передавать anthropic-beta, anthropic-version и тело запроса в обоих направлениях; таблица сквозной передачи функций сопоставляет каждый с функцией, которая нарушается без него
• Возвращать ошибки восходящего потока без изменений: автоматическое восстановление Claude Code соответствует формулировке ошибки, поэтому обертывание ошибок в собственный конверт шлюза нарушает его
• Исключить путь из проверки тела запроса WAF: подсказки Claude Code содержат исходный код и теги в стиле XML, которые соответствуют правилам тела для межсайтовых скриптов; WAF перед шлюзом возвращает 403 на реальных сеансах, в то время как короткие тестовые запросы проходят

​

Шаги развертывания

1. Подтвердить маршрутизацию моделей шлюзом
2. Выдать каждому разработчику учетные данные
3. Протестировать Claude Code против шлюза
4. Распределить базовый URL и учетные данные
5. Проверить с машины разработчика

​

Подтвердить маршрутизацию моделей шлюзом

• <gateway-key> — это любые учетные данные, которые позволяют вам вызывать шлюз прямо сейчас: административный ключ, тестовый ключ или ваш собственный ключ разработчика, если вы уже выдали его. Не каждый продукт шлюза имеет отдельные административные учетные данные; если у вас их нет, сначала выдайте себе ключ разработчика в Выдать учетные данные разработчика
• model — это имя модели Claude, которое ваш шлюз настроен маршрутизировать. В примере используется claude-sonnet-4-6; подставьте имя, которое вы настроили

curl -X POST "https://llm-gateway.example.com/v1/messages" \
  -H "Authorization: Bearer <gateway-key>" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{"model": "claude-sonnet-4-6", "max_tokens": 1, "messages": [{"role": "user", "content": "."}]}'

Invoke-RestMethod -Method Post -Uri "https://llm-gateway.example.com/v1/messages" `
  -Headers @{ "Authorization" = "Bearer <gateway-key>"; "anthropic-version" = "2023-06-01" } `
  -ContentType "application/json" `
  -Body '{"model": "claude-sonnet-4-6", "max_tokens": 1, "messages": [{"role": "user", "content": "."}]}'

​

Выдать учетные данные разработчика

curl -X POST "https://llm-gateway.example.com/v1/messages" \
  -H "Authorization: Bearer <developer-key>" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{"model": "claude-sonnet-4-6", "max_tokens": 1, "messages": [{"role": "user", "content": "."}]}'

Invoke-RestMethod -Method Post -Uri "https://llm-gateway.example.com/v1/messages" `
  -Headers @{ "Authorization" = "Bearer <developer-key>"; "anthropic-version" = "2023-06-01" } `
  -ContentType "application/json" `
  -Body '{"model": "claude-sonnet-4-6", "max_tokens": 1, "messages": [{"role": "user", "content": "."}]}'

​

Протестировать Claude Code против шлюза

export ANTHROPIC_BASE_URL=https://llm-gateway.example.com
export ANTHROPIC_AUTH_TOKEN="<developer-key>"

$env:ANTHROPIC_BASE_URL = "https://llm-gateway.example.com"
$env:ANTHROPIC_AUTH_TOKEN = "<developer-key>"

claude -p "Reply with one word: connected"

• Not logged in: проверьте журнал шлюза, чтобы различить две причины. Если он пуст, никакие учетные данные не достигли сеанса и никакой запрос не покинул машину; повторно запустите экспорты в оболочке, которую вы тестируете. Если он показывает отклоненный запрос с x-api-key в теле 401, шлюз ожидает ключи в этом заголовке вместо этого; переключитесь на ANTHROPIC_API_KEY
• Failed to authenticate. API Error: 401 означает, что учетные данные были отправлены и отклонены, и журнал шлюза говорит где: 401, называющий api.anthropic.com или конечную точку вашего поставщика, означает, что шлюз достиг восходящего потока, но его учетные данные поставщика были отклонены, поэтому ключ разработчика работал и учетные данные поставщика, которые держит шлюз, неправильные или заполнитель

​

Распределить конфигурацию

​

Что распределять

​

Распределить через управляемые параметры

{
  "env": {
    "ANTHROPIC_BASE_URL": "https://llm-gateway.example.com"
  },
  "apiKeyHelper": "/usr/local/bin/get-gateway-key"
}

• Настольное приложение читает маршрутизацию шлюза только из своей конфигурации вывода третьей стороны, доставляемой MDM; разверните этот файл вместе с управляемыми параметрами, чтобы сеансы рабочего стола также маршрутизировались через шлюз. См. документацию конфигурации рабочего стола и документацию шлюза рабочего стола
• Бегуны CI нуждаются в ANTHROPIC_BASE_URL и учетных данных, установленных в окружении бегуна
• WSL на управляемых машинах Windows читает управляемые параметры Windows только когда wslInheritsWindowsSettings имеет значение true

​

Передать разработчикам значения для самостоятельной установки

• URL шлюза
• Их личные учетные данные
• Какую переменную поместить учетные данные в: ANTHROPIC_AUTH_TOKEN для шлюза с токеном-носителем или ANTHROPIC_API_KEY для шлюза x-api-key. Сообщение разработчикам, какой из них, экономит им метод проб и ошибок, описанный на странице подключения
• Любые условные переменные из таблицы Что распределять, с их значениями

​

Проверить развертывание

curl -N -X POST "https://llm-gateway.example.com/v1/messages" \
  -H "Authorization: Bearer <developer-key>" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{"model": "claude-sonnet-4-6", "max_tokens": 16, "stream": true, "messages": [{"role": "user", "content": "count to 3"}]}'

$body = '{"model": "claude-sonnet-4-6", "max_tokens": 16, "stream": true, "messages": [{"role": "user", "content": "count to 3"}]}'
$body | curl.exe -N -X POST "https://llm-gateway.example.com/v1/messages" `
  -H "Authorization: Bearer <developer-key>" `
  -H "anthropic-version: 2023-06-01" `
  -H "content-type: application/json" `
  --data-binary '@-'

• Приглашение входа означает пробел в учетных данных. Запустите /status и откройте вкладку Status: когда строка Setting sources не включает управляемые параметры, распределение не достигло машины; когда она включает, учетные данные разработчика не были доставлены, поэтому установите ANTHROPIC_AUTH_TOKEN или apiKeyHelper
• Ошибки Failed to authenticate означают, что шлюз отклоняет запросы; его журнал говорит, какие учетные данные не прошли. Отклонение, которое сам журнал шлюза регистрирует, называет ключ разработчика, в то время как 401 от api.anthropic.com или конечной точки вашего поставщика означает, что учетные данные поставщика, которые держит шлюз, были отклонены
• Одноразовое приглашение одобрения для ключа ожидается при первом использовании, когда шлюз ожидает ключи в заголовке x-api-key, установленном как ANTHROPIC_API_KEY. С ANTHROPIC_AUTH_TOKEN никакое приглашение не появляется и переменная берет на себя молча; ранее сохраненный вход claude.ai неактивен для этого сеанса

​

Поддерживать шлюз

​

Связанные ресурсы

• Подключение Claude Code к LLM-шлюзу: шаги настройки для разработчиков, с конфигурацией для каждой поверхности и таблицей устранения неполадок, которую вы можете передать разработчикам
• Справочник протокола шлюза: проводной контракт для операторов шлюза, охватывающий конечные точки, заголовки для перенаправления и таблицу сквозной передачи функций
• Файлы параметров и приоритет: как управляемые, проектные и пользовательские параметры объединяются и где находится управляемый файл на каждой платформе
• Настройка Claude Code для вашей организации: более широкое развертывание, частью которого является этот шлюз, включая применение политики, видимость использования и обработку данных