TRI: como é calculada a nota do Enem

Avaliação dos participantes varia de acordo com o desempenho de cada um deles no exame. Prova é regida por uma complexa teoria matemática

Nathalia Goulart

Gabarito (Getty Images/iStockphoto)

Instituído em 1998, o Exame Nacional do Ensino Médio pretendia originalmente medir a qualidade da educação oferecida aos estudantes brasileiros. Não importava aos participantes da avaliação, portanto, saber como eram calculadas suas médias. A história, contudo, mudou em 2009, quando algumas das mais importantes universidades federais e estaduais passaram a usar as notas da prova como parte de seus processos seletivos – em alguns casos, o Enem substitui mesmo o vestibular. Desde então, a cada ano, os estudantes se vêem perplexos diante de seus resultados. De fato, não é fácil compreender como é elaborada a nota final de um participante do exame e, por isso, fazem muito barulho denúncias de estudantes que não acertam sequer uma questão e que, mesmo assim, não recebem um zero como nota. Também chamam a atenção episódios em que participantes assinalam corretamente o mesmo número de testes, mas obtêm notas diferentes. Todos devem ter calma: há falhas graves na história do Enem, como erros de impressão em provas e vazamento de questões, mas a produção das notas não está entre elas.

Após a aplicação da prova surge outro fator igualmente importante. Uma questão corretamente assinalada não tem valor em si. Ela só adquire um peso quando o sistema de correção avalia o desempenho geral do participante na prova e o grau de dificuldade da questão. Isso porque o método não considera apenas os acertos, mas também os erros. Se o participante acerta somente questões difíceis, sinaliza ao sistema de correção inconsistência no domínio da disciplina avaliada, pois a TRI considera que o conhecimento necessário à resolução dos testes fáceis é um pré-requisito à solução dos mais complexos. Em uma situação como essa, portanto, o sistema avalia que é alta a probabilidade de o acerto ser fruto da sorte (ou de boa mira para o "chute").A elaboração da prova e o cálculo das notas dos participantes estão profundamente ligados no Enem. Ambos se apoiam num complexo sistema matemático chamado teoria da resposta ao item (TRI), consagrada internacionalmente. A execução do programa começa com a realização do chamado pré-teste, uma avaliação secreta que afere o grau de dificuldade das questões que mais tarde serão apresentadas nas provas abertas ao público. Com as respostas do pré-teste em mãos, os examinadores podem determinar quais questões são mais ou menos difíceis: elas são, então, dispostas em uma espécie de "régua de conhecimento", cujas marcações indicam o maior ou menor grau de complexidade. Isso será decisivo na apuração dos resultados. (confira abaixocomo funciona o método)

"Coerência é a palavra que rege a TRI", diz Dalton Andrade, da Universidade Federal de Santa Catarina (UFSC), especialista no assunto. "O conjunto de respostas corretas deve ser coerente com o domínio de conhecimento que o estudante de fato possui." Em resumo: quem não domina as quatro operações matemáticas básicas não pode resolver equações do segundo grau.

Obedecendo à mesma lógica, o sistema deve atribuir uma nota mais alta a outro participante que tenha desempenho mais regular, ainda que ele não se saia tão bem com as questões mais difíceis. Por fim, esses dados alimentam um programa previamente calibrado por examinadores, de onde sai a média final. É, como se vê, um processo totalmente diferente do adotado pelos tradicionais vestibulares brasileiros, em que cada questão corretamente assinalada corresponde a um ponto. A diferença faz de provas como o Enem avaliações mais personalizadas e, na opinião dos especialistas, mais justas. "Esses exames avaliam de forma aprofundada o conhecimento do estudante. Já os vestibulares tradicionais tem como principal objetivo eliminar candidatos: quantos mais, melhor", diz Andrade. Continue a ler a reportagem

O uso da TRI no Enem explica os aparentes disparates do exame, como o fato de os participantes que erram e os que acertam todas as questões não receberem, respectivamente, notas zero e 1.000. O início da "régua de conhecimento" não é o zero, mas um valor que indica o grau de complexidade da questão mais fácil presente na prova. Caso a medição recaia em 200 pontos, por exemplo, essa será a nota mínima atribuída a qualquer participante do exame. "Com isso, o sistema quer dizer que esse é o menor nível que a prova é capaz de medir", diz Tufi Machado Soares, da Universidade Federal de Juiz de Fora (UFJF). "Portanto, o conhecimento do participante é igual ou menor ao mínimo avaliado." Raciocínio semelhante é válido para a nota máxima.

A TRI começou a ser desenvolvida por volta de 1950, quando pesquisadores americanos e europeus se questionavam sobre a eficácia da teoria clássica de testes para avaliar o conhecimento dos estudantes. Nos anos seguintes, as pesquisas se desenvolveram nos Estados Unidos, especialmente entre um grupo de especialistas que mais tarde se reuniria no Educational Testing Service (ETS), associação sem fins lucrativos responsável pelo SAT, espécie de Enem americano, cuja realização é obrigatória para aspirantes a universidades americanas, e também pelo exame de proficiência em língua inglesa Toefl. Aos poucos, o método se consagrou. Hoje, é com a ajuda dele que a OCDE, organização que reúne as nações mais desenvolvidas do planeta, aplica o Pisa, teste internacional que avalia o sistema educacional de 65 países – incluindo o Brasil. Por aqui, a TRI foi usada pela primeira vez em larga escala na década de 1990, quando o MEC deu início às avaliações educacionais como o Saeb.

Um dos grandes trunfos do sistema é permitir a aplicação de provas diferentes, mas pedagogicamente equivalentes. Com isso o SAT pode, por exemplo, ser realizado em sete datas distintas nos Estados Unidos, e as notas dos participantes ser consideradas parte de um mesmo conjunto. Isso possibilitou também que o MEC aplicasse uma segunda prova a um grupo de apenas 9.500 estudantes quando falhas de impressão em cartões de questões e respostas prejudicaram a edição de 2010 do Enem. Como as provas tinham dificuldade idêntica, ninguém saiu prejudicado na hora de usar a nota do Enem na admissão universitária. Apoiado nisso também, o MEC planeja realizar mais de uma edição do Enem ao ano, tentativa frustrada neste ano devido à falta de planejamento técnico do ministério.

"Além de ser um sistema de seleção, o Enem é também um balizador de políticas públicas", diz Dalton Andrade, da UFSC. Apesar disso, a avaliação ainda tem pela frente a tarefa de se fazer entender. "A complexidade e as nuances da TRI dificultam sua compreensão e, portanto, suscitam dúvidas", diz Tufi Soares, da UFJF. "É um método complexo, baseados em estatísticas e cálculos que só podem ser feitos por computador."

VEJA ON LINE