Nos últimos dez anos, a forma mais simples e direta de medir o progresso da inteligência artificial era: propor questões ao modelo, comparar as respostas com as respostas padrão e atribuir uma pontuação. Mas agora, esse método está a perder validade.

A identidade da IA mudou. Ela já não é uma máquina passiva de responder perguntas, mas sim um agente que age de forma proativa. Planeja seus próprios itinerários, utiliza várias ferramentas, faz julgamentos contínuos em tarefas complexas — a nova geração de IA está, passo a passo, assumindo as tarefas que antes eram feitas por humanos.

A questão que surge é: já que a IA não faz apenas uma frase, mas completa uma tarefa inteira, ainda podemos avaliá-la com o padrão de "certo ou errado" em um exame?

Imagine uma tarefa sem uma única solução. A IA usa uma abordagem não prevista, mas mais eficaz para resolvê-la. Segundo os métodos tradicionais de avaliação, isso seria considerado uma falha. Mas qual é a realidade? O objetivo foi alcançado. Isso não é apenas uma questão de detalhes técnicos, mas um problema de sistema — a forma como você avalia a IA determina se ela realmente aprendeu a resolver problemas ou apenas aprendeu a agradar às regras.

Por isso, a comunidade de pesquisa em IA chegou a um consenso: não basta olhar apenas para o resultado, é preciso analisar o processo. As últimas pesquisas e experiências práticas apontam na mesma direção — a avaliação não pode focar em uma única resposta, deve considerar toda a cadeia de ações. Como a IA entende a tarefa, como ela divide em etapas, quando deve usar ferramentas, se consegue ajustar a estratégia conforme o ambiente — esses são os aspectos realmente importantes a serem observados.