Roteamento de prompts inteligente do Amazon Bedrock

Pode ser um desafio para os desenvolvedores entender quais consultas exigem modelos mais avançados ou podem funcionar com consultas menores, mais rápidas e mais baratas. Usando técnicas avançadas de correspondência de prompts e compreensão do modelo, o Roteamento de Prompts Inteligente prevê a performance de cada modelo para cada solicitação e encaminha dinamicamente cada solicitação para o modelo que, segundo ele, tem maior probabilidade de fornecer a resposta desejada com o menor custo. Você pode configurar um roteador de prompt com quaisquer dois modelos da mesma família com Anthropic (Haiku, Haiku 3.5, Claude Sonnet 3.5 v1, Claude Sonnet 3.5 v2), Meta Llama (3.1 8b, 70b, 3.2 11B, 90B e 3.3 70B) e Amazon Nova (Nova Lite e Nova Pro).

Para alcançar o desempenho e o custo desejados para seus aplicativos, muitas vezes é necessário desenvolver fluxos de trabalho de orquestração complexos, encaminhando cada solicitação para o modelo mais adequado para essa solicitação com base em sua experiência para obter o desempenho desejado em termos de precisão. Com o roteamento de prompts inteligente, você pode economizar meses de esforço testando diferentes modelos e criando fluxos de trabalho complexos de orquestração selecionando roteadores de prompt padrão fornecidos pela Amazon Bedrock ou configurando seus próprios. Você pode configurar facilmente seu roteador escolhendo dois modelos de uma família de modelos e, em seguida, configurando os critérios de roteamento para seu roteador.

Cada solicitação é totalmente rastreável, permitindo que você identifique qual modelo lida com cada solicitação e permitindo que você entenda e depure facilmente quaisquer problemas.