- Efisiensi konteks: Definisi tools dapat mengonsumsi porsi besar dari jendela konteks (50 tools dapat menggunakan 10-20K tokens), meninggalkan ruang lebih sedikit untuk pekerjaan sebenarnya.
- Akurasi pemilihan tools: Akurasi pemilihan tools menurun dengan lebih dari 30-50 tools yang dimuat sekaligus.
Cara kerja pencarian tools
Ketika pencarian tools aktif, definisi tools ditahan dari jendela konteks. Agen menerima ringkasan tools yang tersedia dan mencari yang relevan ketika tugas memerlukan kemampuan yang belum dimuat. 3-5 tools paling relevan dimuat ke dalam konteks, di mana mereka tetap tersedia untuk giliran berikutnya. Jika percakapan cukup panjang sehingga SDK mengompres pesan sebelumnya untuk membebaskan ruang, tools yang sebelumnya ditemukan mungkin dihapus, dan agen mencari lagi sesuai kebutuhan. Pencarian tools menambahkan satu putaran ekstra pertama kali Claude menemukan tool (langkah pencarian), tetapi untuk set tools besar ini diimbangi oleh konteks yang lebih kecil pada setiap giliran. Dengan lebih sedikit dari ~10 tools, memuat semuanya di awal biasanya lebih cepat. Untuk detail tentang mekanisme API yang mendasarinya, lihat Pencarian tools dalam API.Pencarian tools memerlukan Claude Sonnet 4 atau lebih baru, atau Claude Opus 4 atau lebih baru. Model Haiku tidak mendukung pencarian tools.
Konfigurasi pencarian tools
Pencarian tools aktif secara default. Ini dinonaktifkan secara default di Vertex AI, di mana didukung untuk Claude Sonnet 4.5 dan lebih baru serta Claude Opus 4.5 dan lebih baru. Ini juga dinonaktifkan ketikaANTHROPIC_BASE_URL menunjuk ke host non-first-party, karena sebagian besar proxy tidak meneruskan blok tool_reference. Anda dapat mengganti salah satu default dengan variabel lingkungan ENABLE_TOOL_SEARCH:
| Nilai | Perilaku |
|---|---|
| (tidak diatur) | Pencarian tools aktif. Definisi tools ditunda dan ditemukan sesuai permintaan. Kembali ke pemuatan di awal di Vertex AI atau ANTHROPIC_BASE_URL non-first-party. |
true | Pencarian tools selalu aktif. SDK mengirimkan header beta bahkan di Vertex AI dan melalui proxy. Permintaan gagal pada model Vertex AI lebih awal dari Sonnet 4.5 atau Opus 4.5, atau pada proxy yang tidak mendukung blok tool_reference. |
auto | Memeriksa jumlah token gabungan dari semua definisi tools terhadap jendela konteks model. Jika melebihi 10%, pencarian tools diaktifkan. Jika di bawah 10%, semua tools dimuat ke dalam konteks secara normal. |
auto:N | Sama seperti auto dengan persentase kustom. auto:5 diaktifkan ketika definisi tools melebihi 5% dari jendela konteks. Nilai lebih rendah diaktifkan lebih awal. |
false | Pencarian tools dimatikan. Semua definisi tools dimuat ke dalam konteks pada setiap giliran. |
auto, ambang batas didasarkan pada ukuran gabungan semua definisi tools di semua server.
Atur nilai dalam opsi env pada query(). Contoh ini terhubung ke server MCP jarak jauh yang mengekspos banyak tools, pra-menyetujui semuanya dengan wildcard, dan menggunakan auto:5 sehingga pencarian tools diaktifkan ketika definisi mereka melebihi 5% dari jendela konteks:
ENABLE_TOOL_SEARCH ke "false" menonaktifkan pencarian tools dan memuat semua definisi tools ke dalam konteks pada setiap giliran. Ini menghilangkan putaran pencarian, yang dapat lebih cepat ketika set tools kecil (lebih sedikit dari ~10 tools) dan definisi cocok dengan nyaman di jendela konteks.
Optimalkan penemuan tools
Mekanisme pencarian mencocokkan kueri terhadap nama dan deskripsi tools. Nama sepertisearch_slack_messages muncul untuk berbagai permintaan daripada query_slack. Deskripsi dengan kata kunci spesifik (“Cari pesan Slack berdasarkan kata kunci, saluran, atau rentang tanggal”) cocok dengan lebih banyak kueri daripada yang generik (“Kueri Slack”).
Anda juga dapat menambahkan bagian prompt sistem yang mencantumkan kategori tools yang tersedia. Ini memberikan agen konteks tentang jenis tools apa yang tersedia untuk dicari:
Batas
- Tools maksimum: 10.000 tools dalam katalog Anda
- Hasil pencarian: Mengembalikan 3-5 tools paling relevan per pencarian
- Dukungan model: Claude Sonnet 4 dan lebih baru, Claude Opus 4 dan lebih baru (tidak ada Haiku)
Dokumentasi terkait
- Pencarian tools dalam API: Dokumentasi API lengkap untuk pencarian tools, termasuk implementasi kustom
- Hubungkan server MCP: Terhubung ke tools eksternal melalui server MCP
- Tools kustom: Bangun tools Anda sendiri dengan server MCP SDK
- Referensi SDK TypeScript: Referensi API lengkap
- Referensi SDK Python: Referensi API lengkap