Nenhum modelo novo conserta contexto ruim

Trocar de LLM a cada lançamento virou hábito. Antes de trocar de novo, vale perguntar: o problema é o modelo, ou o dado que ninguém nunca parou pra cuidar?

ORAEX · Blog · Governança de IA

This content is available in Portuguese only.

Athos João

Athos João, CO-CEO ·

O roteiro que se repete

“Meus créditos não estão rendendo nada.” “Lançaram um modelo novo que consome duas vezes mais e entrega três vezes menos.” Ou: “O modelo novo só é novo no nome e na versão, o antigo era bem melhor.”

A troca de modelo por um mais novo, sempre que há um lançamento, traz cada vez mais frustração e menos resultado. O problema é que quase todos deixaram de olhar para quem, ou o que, alimenta os modelos: os dados.

E assim o roteiro se repete várias vezes: o resultado da IA vem ruim e a primeira pergunta é qual novo modelo é melhor. Troca Claude por GPT, GPT por Gemini, testa o próximo lançamento. Ganho marginal, custo de migração real.

O que quase ninguém quer encarar

“Nenhum modelo novo conserta contexto ruim.”

Athos João, CO-CEO

Dado sempre foi o que sustentou qualquer sistema que toma decisão, muito antes de existir IA generativa. Isso não mudou. O que mudou é que o mercado se distraiu com a corrida de modelos e parou de olhar para o fundamento. O dado não perdeu importância. Perdeu atenção. E seguiu cobrando o preço em silêncio.

Dado duplicado, desatualizado, sem estrutura, sem dono: isso não é problema que se resolve com um modelo mais caro. É problema que o modelo mais caro só torna mais caro.

O custo é literal

  • Contexto sujo: mais token por chamada para compensar a falta de estrutura.
  • Resposta ruim: retrabalho, nova rodada de prompt, mais consumo.
  • Dado sem governança: alucinação que você paga para gerar e paga de novo para corrigir.
  • Base sem curadoria: RAG que recupera lixo, e você custeia o lixo entrando no contexto.

A conta que quase ninguém faz: parte relevante do gasto de IA não é o modelo. É o dado ruim que a empresa força o modelo a digerir.

Estratégia de dados continua sendo o diferencial

Estratégia de dados nunca deixou de ser o diferencial. Só ficou invisível debaixo do hype, e agora tem uma métrica nova amarrada a ela: custo de inferência.

Empresa com governança e gestão eficientes de dados, e do próprio ciclo de vida deles, gasta menos token para ter resposta melhor, e mais rápida. Empresa que confundiu parar de olhar com deixar de importar paga mais caro por resultado pior, e culpa o modelo.

Antes de trocar de modelo de novo

Antes de trocar de LLM de novo, vale a pergunta: o problema é o modelo, ou é o que você nunca parou para cuidar no que entrega para ele?

Se esse também é o seu cenário, vale conversar sobre onde está o escoamento de token na sua operação.

Referências

Next step

Bring your next challenge to ORAEX

Talk to our specialists about your environment, your operation or your next technology decision.

Talk about my environment

[email protected] · +55 (11) 4118-2455