Intelligentes Prompt Routing bei Amazon Bedrock

Für Entwickler kann es eine Herausforderung sein, zu verstehen, welche Abfragen fortgeschrittenere Modelle erfordern oder mit kleineren, schnelleren und kostengünstigeren Modellen funktionieren könnten. Durch die Verwendung fortschrittlicher Techniken zur Prompt-Abgleichung und zum Modellverständnis sagt Intelligent Prompt Routing die Leistung jedes Modells für jede Anfrage voraus und leitet jede Anfrage dynamisch an das Modell weiter, das nach der Vorhersage am wahrscheinlichsten die gewünschte Antwort zu den niedrigsten Kosten liefert. Mit Anthropic (Haiku, Haiku 3.5, Claude Sonnet 3.5 v1, Claude Sonnet 3.5 v2), Meta Llama (3.1 8b, 70b, 3.2 11B, 90B und 3.3 70B ) und Amazon Nova (Nova Lite und Nova Pro) können Sie einen Prompt-Router mit zwei beliebigen Modellen aus derselben Familie konfigurieren.

Um die gewünschte Leistung und die gewünschten Kosten für Ihre Anwendungen zu erzielen, müssen Sie häufig komplexe Orchestrierungs-Workflows entwickeln, bei denen jede Anfrage an das Modell weitergeleitet wird, das für diese Anfrage am besten geeignet ist. Dabei stützen Sie sich auf Ihre Erfahrung, um die gewünschte Leistung in Bezug auf die Genauigkeit zu erzielen. Mit intelligentem Prompt Routing sparen Sie monatelangen Aufwand beim Testen verschiedener Modelle und beim Erstellen komplexer Orchestrierungs-Workflows, indem Sie die von Amazon Bedrock bereitgestellten Standard-Prompt-Router auswählen oder Ihre eigenen konfigurieren. Sie können Ihren Router einfach konfigurieren, indem Sie zwei Modelle aus einer Modellfamilie auswählen und dann die Routing-Kriterien für Ihren Router konfigurieren.

Jede Anfrage ist vollständig rückverfolgbar, sodass Sie feststellen können, welches Modell jede Anfrage bearbeitet, und Sie Probleme leicht verstehen und beheben können.