Introdução
Rodei a bateria inteira de Engenharia de Contexto do meu livro em português, do zero até o 'Full CE'. Quando cheguei na última comparação — passar de RAG para Full Context Engineering — o número me parou: no Sonnet 4 o salto foi de só +12% , e no Haiku 3 o Full CE regrediu -14% em relação ao RAG puro.
A lição do capítulo
A lição do capítulo é desconfortável para quem acabou de montar um pipeline cheio de 'melhorias': o RAG responde por cerca de 80% do ganho total de Context Engineering. O resto é margem fina, e às vezes negativa.
O número que não bate com a propaganda
A bateria passa por cinco estágios cumulativos: Zero Context, System Prompt, Few-shot, RAG, Full CE. O ponto onde o gráfico sobe de verdade é o salto para RAG. Depois disso o retorno diminui — às vezes inverte.
Totais crus, direto da planilha do experimento
Compare com o salto anterior, de System Prompt para RAG:
- Sonnet: 8,8 → 10,2, +16% (+1,4 pontos)
- Haiku: 3,7 → 11,8, +219% (+8,1 pontos)
A diferença de ordem de grandeza não é opinião, é a planilha. O RAG puxou o Haiku de 3,7 para 11,8 — mais que triplicou. O que veio depois somou pouco no Sonnet e tirou pontos do Haiku.
O que mudou dentro do delta +1,2 do Sonnet 4
O ganho mais vistoso é em Honesty: o Sonnet, quando forçado a abrir seções de "confiança" e "áreas sem informação", começa a admitir ignorância em vez de inventar. Factual Accuracy e Hallucination eandam juntos: o Sonnet já estava bom, a camada extra de polimento.
Haiku não ficou mais burro
O Haiku não ficou mais burro — ele ficou mais confiante. Hallucination caiu de 1,7 para 0,5 (traduzindo: alucina muito menos) e Honesty caiu de 1,3 para 0,5 (traduzindo: deixa de dizer "não sei"). As camadas extras viraram ruído para o modelo pequeno.
Por que o Haiku piora quando o Sonnet melhora
A hipótese que o próprio capítulo do livro levanta, e que o experimento sustenta: modelos pequenos têm orçamento de atenção menor dentro da janela de contexto. Adicionar instruções estruturadas sobre o RAG dispersa a atenção da informação que o RAG trouxe.
Com esse disclaimer no ar, dá para olhar o breakdown por eixo sem fingir que o resultado prova algo que ele não prova.
O breakdown por eixo: Sonnet ganha agulha, Haiku perde martelo
- Honesty: o Sonnet, quando forçado a abrir seções de "confiança" e "áreas sem informação", começa a admitir ignorância em vez de inventar. Factual Accuracy e Hallucination eandam juntos: o Sonnet já estava bom, a camada extra de polimento.
- Haiku não ficou mais burro — ele ficou mais confiante. Hallucination caiu de 1,7 para 0,5 (traduzindo: alucina muito menos) e Honesty caiu de 1,3 para 0,5 (traduzindo: deixa de dizer "não sei"). As camadas extras viraram ruído para o modelo pequeno.
Se você está em Sonnet 4 com RAG decente e pensa em 'ligar o resto do Context Engineering', três decisões:
- Primeira: +12% é real, mas não é +80%. Faça a conta de ROI antes de reescrever o pipeline. +12% de qualidade compensa reescrever 400 linhas de orquestração? Em alguns produtos sim; em outros, não. A mesma +12% em dólar de API gasto pode ser maior que o ganho de UX.
- Segunda: comece pelo que mexe menos no sistema. No meu benchmark, as duas peças que mais puxaram o Sonnet para cima foram a instrução de saída estruturada (seções obrigatórias) e o System Prompt mais estrito. Nenhuma das duas precisa de infra nova — são linhas no prompt. Rodou e passou de 10,2 para 10,4? Siga. Rodou e ficou igual? Pare aqui.
- Terceira: se você está em Haiku 3 (ou qualquer modelo pequeno de 2024-2025), pare no RAG. O capítulo do livro é explícito nesse ponto; o conjunto maior de 6 técnicas de produção que o capítulo descreve não é o subset ligável sem reescrever a arquitetura.
No Sonnet 4, Full CE melhora 10,2 → 11,4 (+12%). Honesty é quem mais sobe (+0,5).
No Haiku 3, Full CE regride 11,8 → 10,1 (-14%). Hallucination derrete (-1,2) e Honesty também (-0,8): o modelo pequeno satisfaz o formato antes de verificar o fato.
Modelo grande ganha agulha com camada extra; modelo pequeno perde martelo. O ponto de ruptura é a densidade do prompt.
Antes de ligar Full CE, rode 20 perguntas reais com e sem a camada estruturada. Três horas de bateria evitam semanas de reescrita.
Haiku 3 + RAG (11,8) venceu Sonnet 4 puro (5,3) — o salto que vale 80% do efeito, medido no mesmo harness.
O modelo barato + RAG bateu o caro em 223% — a conta de preço que fecha o argumento.
Construí o RAG que mandaram fazer, depois deletei tudo: o grep venceu — o outro lado, onde até o RAG é overkill.
Context Engineering: por que trocar o prompt não resolve — a entrada da série, antes dos benchmarks.
Se você quiser o experimento inteiro reproduzível (bateria, scripts, planilhas e os cinco estágios além do que coube neste post), o livro Transformando LLMs de Mentirosos em Especialistas: Engenharia de Contexto na Prática tem o apêndice B com o passo a passo. Mas rode as 20 perguntas primeiro — o livro só faz sentido depois que o seu próprio número bater.
Ken Imoto · WebRTC & Voice AI engineer · kenimoto.dev · TabNews
",
"source": "https://kenimoto.