Agentes de IA precisam ser avaliados contra o padrão real da empresa, não apenas por fluência. A Terminal X criou um agente avaliador que verifica cada saída com uma rubrica de 54 critérios e transforma correções em novos casos de teste. Em 500 julgamentos, o sistema com GPT-6.1 Sol concordou com o revisor humano em 88,6% dos casos. O exemplo mostra um método útil, mas continua sendo um caso de uma empresa do setor financeiro.
Transforme conhecimento tácito em critérios
Documentos guardam decisões, mas raramente explicam todo o raciocínio usado por profissionais experientes. Para reduzir essa dívida de memória, a empresa estudou memorandos confiáveis, decisões anteriores, fontes consultadas e regras usadas por equipes de investimento.
Comece por uma tarefa estreita e entreviste quem revisa o trabalho. Peça exemplos aprovados e rejeitados, razões da decisão e sinais de risco. Converta isso em critérios observáveis, como fonte correta, cálculo conferido, aderência à política, cobertura de exceções e clareza do próximo passo.
Escreva uma rubrica que permita reprovar
Uma rubrica útil não é uma lista de qualidades vagas. Cada critério deve dizer o que será verificado, qual evidência é aceita e o que caracteriza falha. No caso da Terminal X, a avaliação verifica números, comparações, fontes, coerência da narrativa e aderência ao mandato da organização.
Use critérios obrigatórios e critérios graduais. Uma fonte inexistente ou um cálculo incorreto pode bloquear a saída. Clareza e estilo podem receber nota. Registre também o motivo da reprovação e a correção esperada, para que o teste ajude a melhorar o fluxo.
- Fidelidade às fontes e aos números
- Aderência à política e ao escopo
- Cobertura das principais exceções
- Incerteza declarada quando faltar evidência
- Próximo passo compatível com o nível de risco
Compare modelos com o mesmo conjunto de casos
A Terminal X escolhe modelos com base em avaliações próprias. O comunicado informa que o GPT-6.1 Sol identificou cerca de 25% mais recomendações fora do mandato e executou o fluxo com custo por consulta aproximadamente 30% menor que o próximo melhor modelo testado.
Esses números não devem ser generalizados para outra tarefa. Monte um conjunto representativo com casos comuns, difíceis e adversariais. Execute as mesmas entradas, revise sem saber qual modelo respondeu e compare precisão, custo, tempo, estabilidade e gravidade dos erros.
Converta correções em memória versionada
Cada falha pode gerar uma instrução melhor, uma fonte corrigida ou um novo caso de teste. Essa memória precisa de data, responsável, justificativa e versão. Caso contrário, o agente acumula regras contraditórias e repete práticas que já deveriam ter sido aposentadas.
Separe fatos, políticas, exemplos e preferências de estilo. Defina validade e processo de revisão para cada tipo. Quando uma política mudar, identifique quais testes e saídas anteriores são afetados. Memória operacional é um ativo somente quando pode ser auditada e atualizada.
Use aprovação humana conforme o risco
Uma taxa média de concordância não significa que o agente possa decidir sozinho. Classifique tarefas por impacto. Resumos internos reversíveis podem aceitar revisão por amostragem; recomendações financeiras, jurídicas, de pessoal ou que alteram dados exigem critérios e aprovação mais fortes.
Acompanhe taxa de aprovação, tipos de falha, correções recorrentes, custo por saída aceita e incidentes. Revise a rubrica quando o negócio mudar. O objetivo não é fazer a IA parecer especialista, mas tornar a qualidade mensurável e impedir que uma resposta convincente avance sem evidência.
Para levar daqui
Avalie agentes com casos reais, critérios verificáveis, revisão cega e memória versionada. Fluência não substitui aderência às fontes, às políticas e ao padrão de decisão da empresa.
