Routage des invites intelligent Amazon Bedrock

Il peut être difficile pour les développeurs de comprendre quelles requêtes exigent des modèles plus avancés ou pourraient fonctionner avec des modèles plus petits, plus rapides et moins chers. À l'aide de techniques avancées de mise en relation des invites et de compréhension des modèles, le routage rapide intelligent prédit les performances de chaque modèle pour chaque requête et achemine dynamiquement chaque requête vers le modèle qui, selon ses prévisions, est le plus susceptible d’apporter la réponse souhaitée au moindre coût. Vous pouvez configurer un routeur d’invites avec deux modèles de la même famille avec Anthropic (Haiku, Haiku 3.5, Claude Sonnet 3.5 v1, Claude Sonnet 3.5 v2), Meta Llama (3.1 8b, 70b, 3.2 11B, 90B et 3.3 70B) et Amazon Nova (Nova Lite et Nova Pro).

Pour atteindre les objectifs de performances et de coût pour vos applications, vous devez souvent développer des flux de travail d’orchestration complexes, en acheminant chaque demande vers le modèle le mieux adapté à cette demande en fonction de votre expérience afin d’obtenir les performances souhaitées en termes de précision. Grâce au routage des invites intelligent, vous pouvez économiser des mois lors des tests de différents modèles et de la création de flux de travail d’orchestration complexes en sélectionnant des routeurs d’invites parmi ceux fournis par défaut par Amazon Bedrock ou en configurant les vôtres. Vous pouvez facilement configurer votre routeur en choisissant deux modèles dans une famille de modèles, puis en configurant les critères de routage pour votre routeur.

Chaque demande est entièrement traçable, ce qui vous permet d’identifier le modèle qui gère chaque demande, de comprendre et de résoudre facilement les problèmes.