Com duas instruções em conflito, o Llama 3.1 70B caiu de 92,3 para 14,0 pontos

Em 2025, um grupo de pesquisadores publicou o IHEval. O teste dá ao modelo duas instruções com níveis diferentes de autoridade e mede se ele obedece à mais alta quando elas se contradizem. O Llama 3.1 70B fazia 92,3 pontos nas tarefas sem conflito e caiu para 14,0 com conflito. O Claude 3 Sonnet foi de 85,9 para 30,7. O GPT-4o, o melhor dos 13 modelos avaliados, foi de 91,9 para 70,0. O melhor modelo aberto acertou 48% dos conflitos. [S06]

Esse número descreve o problema central de quem coloca um agente para operar um negócio. O prompt começa com três regras que nunca se encontram. Depois de dois meses tem trinta, e várias delas dizem coisas diferentes sobre a mesma situação. O modelo continua respondendo com a mesma fluência. O que muda é a chance de ele aplicar a regra errada, e essa chance cresce rápido.

Este artigo mostra onde a dificuldade mora, com os números que existem, e o que dá pra fazer hoje com as ferramentas que você já usa.

Como ler este artigo

Só o texto principal

6 min

O texto principal monta o raciocínio inteiro, e dá para levar a ideia para o seu projeto sem abrir nada.

Com os capôs abertos

10 min

As seções Abrir o capô mostram o mecanismo, a conta e o limite de cada medição. Dá pra pular sem perder o raciocínio.

Os capôs vêm fechados. Clique para abrir, e o que você abrir continua aberto se voltar depois.

Como a Anthropic separa fluxo e agente

A Anthropic separa dois tipos de sistema. Nos fluxos (workflows), o modelo e as ferramentas são orquestrados por caminhos de código definidos antes. Nos agentes, o modelo dirige dinamicamente o próprio processo e o uso de ferramentas. A recomendação deles é começar com prompts simples, otimizar com avaliação e acrescentar complexidade só quando ela melhora o resultado de forma demonstrável. [S03]

Pense num agente que marca horário num salão. Ele precisa de quatro coisas que o modelo faz mal sozinho: consultar a agenda real, calcular se um horário cabe, registrar a reserva e decidir se cobra sinal. O modelo interpreta o pedido da cliente. As outras três dependem de fatos e regras que precisam morar em algum lugar verificável.

A política diz "clientes novos pagam 30% de sinal, clientes VIP não pagam, promoções exigem pagamento integral". Quando a cliente é nova e VIP e ainda quer a promoção, o prompt oferece só três frases que se cruzam. O IHEval mede essa situação em escala, com instruções em conflito e o modelo obrigado a escolher.

Abrir o capô O que o IHEval mede, condição por condição

O IHEval usa três condições. Na referência, o modelo recebe a tarefa sem hierarquia de instruções. Na condição alinhada, recebe instruções em níveis diferentes (sistema, usuário, ferramenta) que concordam entre si. Na condição de conflito, os níveis se contradizem, e a expectativa é obedecer ao nível mais alto. Os 13 modelos incluíam GPT-3.5 Turbo, GPT-4o, Claude 3 Haiku, Claude 3 Sonnet, Llama 3, Llama 3.1, Qwen 2 e Mistral. [S06]

Os autores destacam cinco modelos. Da referência para o conflito, o Mistral Large 2 foi de 87,5 para 29,4 e o Llama 3.1 70B de 92,3 para 14,0. O Claude 3 Sonnet foi de 85,9 para 30,7, o GPT-4o de 91,9 para 70,0 e o Qwen2 72B de 87,6 para 47,8. Na condição alinhada, sem conflito, a maioria ficou perto da referência, mas o Llama 3.1 70B perdeu em média 13 pontos só por receber a mesma instrução em formato hierárquico. [S06]

O teste mede hierarquia de instruções, isto é, quem manda mais: o sistema, o usuário ou a ferramenta. Precedência comercial (promoção vence isenção) é diferente, porque o modelo não tem como saber qual regra do seu negócio manda mais, a menos que você diga. São versões de 2024; as atuais provavelmente vão melhor, e o padrão do problema continua o mesmo.

No LIFBench, o Llama 3.1 70B foi de 0,808 para 0,353 com 128 mil tokens

A saída mais comum é colocar tudo no prompt. Se a janela aceita 200 mil tokens, o manual inteiro cabe. O LIFBench, publicado em 2025, testou 20 modelos em seis comprimentos de entrada, de 4 mil a 128 mil tokens, medindo se seguem instruções detalhadas em contexto longo. A maioria piora de forma significativa a partir de 16 mil ou 32 mil tokens. O Llama 3.1 70B saiu de 0,808 com 4 mil tokens para 0,353 com 128 mil, na escala de 0 a 1 do teste. O GPT-4o foi o mais estável, com 0,758 na média geral, seguido do GPT-4 com 0,738 e do Qwen2.5 72B com 0,706. [S05]

Esses números vêm de uma rubrica automática, chamada ARS, que pontua se a resposta cumpre cada item da instrução. O resultado descreve os modelos e as tarefas daquele estudo. Ele mostra a direção, e a taxa de erro do seu agente continua por medir. Mais texto no prompt aumenta a chance de uma regra ser ignorada, e o efeito cresce com o tamanho.

Há um segundo problema que tamanho de contexto não resolve. Duas clientes consultam o mesmo horário livre antes de qualquer uma confirmar, e as duas consultas estão certas. Se o sistema aceitar as duas confirmações, a falha é de controle de concorrência no banco, o mecanismo que impede duas gravações no mesmo horário. Repetir "nunca marque duas pessoas no mesmo horário" no prompt não cria uma trava.

Abrir o capô Quantas situações o seu prompt governa

Uma regra vale para um conjunto de situações, e as situações se multiplicam. A documentação do OR-Tools, do Google, usa um exemplo de escala: uma empresa com três turnos de 8 horas por dia e quatro funcionários, três escalados por dia. São 4! = 24 combinações por dia. Em uma semana, 24 elevado a 7 dá mais de 4,5 bilhões de escalas possíveis. A ferramenta recomendada para achar uma escala válida nesse espaço é o CP-SAT, um programa que resolve problemas de regras e restrições. [S04]

Você não precisa enumerar bilhões de casos para testar um agente. O NIST, o instituto de padrões dos Estados Unidos, reúne evidência de que falhas de software são disparadas por interações de poucas variáveis. O número de variáveis vai de 1 a 6, quase sempre 1 ou 2. A ferramenta deles para gerar os casos que cobrem essas interações, o ACTS, é gratuita e de domínio público. [S07]

Para o salão: tipo de cliente (3 valores), estado do pagamento (4), promoção ativa (2) e profissional qualificada (2) geram 48 combinações. Cobrir todas as interações de pares exige bem menos casos do que 48, e pega a maioria dos defeitos que uma leitura do prompt não pega.

A Anthropic passou mais tempo nas ferramentas do que no prompt

Os engenheiros da Anthropic relataram como montaram o agente deles para o SWE-bench, um teste de correção de bugs reais em código aberto. Um dos erros recorrentes era o modelo usar caminhos de arquivo relativos depois de ter saído do diretório raiz. A solução foi mudar a ferramenta para exigir sempre caminho absoluto. Nas palavras deles, o modelo passou a usar o método "sem falhas". Eles resumem a lição dizendo que gastaram mais tempo otimizando as ferramentas do que o prompt como um todo. [S03]

Isso inverte a intuição de quem começa com agentes. O prompt parece o lugar da inteligência, então é onde a gente mexe. Na prática, a ferramenta define o que o modelo consegue fazer sem errar. Uma ferramenta que só aceita caminho absoluto elimina uma classe inteira de falha sem uma linha de instrução.

O mesmo vale para regras de negócio. Uma regra que vive no prompt depende de o modelo ler, achar e aplicar essa regra em cada mensagem, com as taxas de erro medidas acima. Uma regra que vive numa função de validação é aplicada sempre, do mesmo jeito, e falha de forma visível quando falha.

Abrir o capô Como a regra imposta difere da interpretada

Chame de $x$ o estado da conversa (quem é a cliente, o que pediu, o que já foi pago), de $R$ o conjunto de regras e de $a$ a ação escolhida. Um sistema determinístico implementa uma função:

a = π (x, R) .

Para o mesmo $x$ e o mesmo $R$ , ela devolve a mesma ação. Um modelo de linguagem decidindo a partir do prompt implementa uma distribuição:

a \sim P (a ∣ x, R, prompt) .

A ação correta recebe alta probabilidade; as outras continuam possíveis. Os números do IHEval e do LIFBench são medições dessa distribuição em condições controladas. [S05] [S06]

A pergunta de engenharia é qual regra pode viver em $P$ e qual precisa viver em $π$ . "Entenda que 'depois do almoço' quer dizer início da tarde" cabe em $P$ . "Nunca confirme sem pagamento quando a política exige" precisa de $π$ , ou seja, de uma verificação que roda antes da escrita no banco, independentemente do que o modelo achou.

Em qual dos quatro casos cai cada regra do prompt?

Antes de acrescentar a próxima regra ao prompt, classifique o que ela pede do sistema:

Interpretar. "Naquele horário de sempre" precisa virar uma hora do dia, e esse trabalho é do modelo.

Consultar. Saber se a profissional está livre às 15h depende de um fato no banco. O modelo pergunta à ferramenta; a ferramenta responde.

Calcular. Saber se um procedimento de 90 minutos com pausa de 20 cabe entre dois atendimentos é uma conta. Um modelo de linguagem pode errar essa conta sem dar sinal de dúvida.

Impor. "Cliente não concede exceção a si mesma" precisa de um componente que impeça a violação, mesmo que o modelo tenha sido convencido do contrário.

Se a resposta for "impor", descubra qual componente do sistema impede a violação, porque o prompt só consegue descrever a regra.

Abrir o capô O documento de requisitos vira quatro artefatos

Um documento de requisitos (PRD) escrito para gente vira pelo menos quatro coisas no agente. A parte interpretativa vira instrução no prompt. As regras de precedência viram uma tabela de decisão, com uma linha por combinação relevante. As restrições duras viram validação na ferramenta ou no banco. Os critérios de aceite viram testes que rodam antes de cada mudança.

A vantagem é saber onde procurar. Quando o agente cobra o sinal errado, dá pra saber onde está o erro. Pode estar na interpretação (o modelo entendeu mal quem é a cliente) ou na tabela (falta uma linha). Pode estar na validação (a regra não foi imposta) ou no teste (ninguém cobriu aquele caso). Com tudo no prompt, a única resposta possível é "o modelo se confundiu", e o único conserto é escrever mais texto para o mesmo modelo se confundir de novo.

O que fazer segunda-feira

Liste as regras do seu prompt e marque as que se cruzam. Abra o prompt do agente, copie cada regra em uma linha e procure pares que falam da mesma situação (pagamento, prazo, exceção). Para cada par, escreva qual vence. Se você não sabe, o modelo também não sabe, e o IHEval diz o que acontece nesse caso. [S06]
Tire do prompt tudo que é "impor". Toda regra que não pode ser violada vira verificação em código ou em uma ferramenta, mesmo que seja uma condição simples (um if) antes de gravar. No Claude Code ou no Cursor, peça para o agente criar a função de validação e um teste que tente violá-la.
Meça o tamanho do seu prompt em tokens e corte. Acima de 16 mil tokens, o LIFBench mostra queda na maioria dos modelos. Regras que viraram código saem do prompt, junto com os exemplos redundantes. O que fica precisa ser lido a cada mensagem. [S05]
Faça a ferramenta bloquear o erro na origem. Se o agente erra formato de data, a ferramenta passa a aceitar só um formato. Se erra caminho, passa a aceitar só caminho absoluto. É o que a Anthropic fez e relatou. [S03]
Teste uma contradição de propósito. Mande uma mensagem em que duas regras do seu prompt se aplicam com respostas diferentes. Veja qual o agente escolhe, três vezes. Se escolher diferente em alguma, você achou uma regra que precisa de precedência explícita ou de código.

Referências

[S03] Anthropic. Building effective agents (2024-12-19). Distinção entre workflows e agentes; padrões componíveis. Página contém atualizações posteriores. Não é ranking atual.
[S04] Google OR-Tools. Constraint Optimization. Programação por restrições: viabilidade e otimização.
[S05] Xiaodong Wu et al. LIFBench: Evaluating the Instruction Following Performance and Stability of Large Language Models in Long-Context Scenarios (2025). Seguimento de instruções em contextos longos no escopo experimental do artigo. Não prevê a taxa de erro de um produto específico.
[S06] Zhihan Zhang et al. IHEval: Evaluating Language Models on Following the Instruction Hierarchy (2025). Hierarquia de instruções; não confundir com precedência de regras comerciais.
[S07] NIST. Combinatorial Methods for Trust and Assurance. Cobertura combinatória de interações. Cobertura t-way não prova ausência de defeitos de ordem superior.

Este é o artigo 01 de 12 da coleção Agentes por dentro, parte 1: De prompt a sistema. Os números vêm das fontes listadas acima. O salão dos exemplos é ilustrativo.