AVALIAÇÕES – PARTE II: FERRAMENTAS ESTATÍSTICAS TCT E TRI

Olá, pessoal. No post da última semana comecei a falar um pouco sobre avaliações e testes com a recomendação de 3 vídeos para introduzir um pouco a temática. Esta semana gostaria de começar a me aprofundar um pouco em algumas tecnicalidades. Quando falamos de avaliação, chegamos na parte do processo educacional que muitos educadores consideram mais delicada e problemática.

Afinal, se compreendermos a avaliação como um diagnóstico do desenvolvimento cognitivo do aluno dentro do processo de aprendizagem, como podemos garantir sua eficiência? Atualmente existem diversas propostas de métodos, técnicas e ferramentas que visam auxiliar nesse processo, buscando circundar o modelo mais tradicional de teste (escrito, presencial, com perguntas e respostas e em tempo limitado), uma vez que este formato costuma ser atrelado a uma alta carga de estresse em determinados contextos.

Porém, esse formato mais tradicional de avaliação, ainda é o mais usado nos diferentes níveis de educação e em concursos. E não creio que seja apenas por inércia do sistema educacional (embora possa ser um fator), mas também porque tem eficiência considerável e permite maior objetividade e imparcialidade.

Alguns professores e pesquisadores apontam como elemento mais problemático desse tipo de avaliação, o caso das questões objetivas (de múltipla escolha) onde situações como “chute” (marcação aleatória), alternativas mal elaboradas (obviamente erradas) ou indução ao erro (pegadinhas) podem mascarar a proficiência real do aluno.

Uma forma de tentar evitar esse problema é o uso de questões discursivas, onde não há nenhum problema relacionado a alternativas, e a correção da resolução detalhada permite que o professor avalie diferentes elementos da estrutura lógica do raciocínio do aluno. Neste caso, o problema acaba sendo o volume do trabalho de correção, que pode se tornar impraticável para professores com número muito grande de turmas, muitas vezes lotadas (com 40 a 50 alunos), quadro muito frequente na realidade educacional brasileira.

E é neste cenário que entram em cena duas teorias muito usadas em testes padronizados aplicados em larga escala, a teoria Clássica dos Testes (TCT) e a Teoria de Resposta ao Item (TRI). Para quem não sabe, TRI é a modelagem estatística usada pelo INEP para medir e avaliar a proficiência acadêmica dos estudantes brasileiros, através dos testes padronizados do MEC como por exemplo, o ENEM. Já a TCT é a modelagem clássica que antecede historicamente a TRI.

Tanto a TCT quanto a TRI, são modelagens provenientes da Psicometria (área que relaciona à Psicologia e a Estatística), cuja proposta está na elaboração de instrumentos de medidas para o conhecimento e o comportamento humano. De modo resumido, podemos dizer que a TCT investiga as propriedades do conjunto de itens (questões) que constituem um teste, enquanto a TRI busca investigar individualmente as propriedades de cada item. As duas teorias possuem vantagens e desvantagens em determinados contextos, mas é fato que ambas oferecem um leque de possibilidades de análises através de testes objetivos.

Uma característica muito importante dessas metodologias é a ideia de dimensionalidade do teste. Basicamente, denomina-se a habilidade que o respondente (aluno) precisa ter para acertar a questão/item como “traço latente”. A partir daí, se um item for estatisticamente independente, ou seja, se a resposta corretar puder ser obtida a partir do domínio de apenas UMA habilidade (chamada traço latente), o item (ou teste) é chamado unidimensional. Quando a resposta correta da questão/item depende de duas ou mais habilidades (traços latentes), o teste ou questão é dito multidimensional. Deste modo, podemos estabelecer a dimensão como sendo a quantidade de habilidades que cada item avalia dentro de um teste.

Se pararmos para pensar um pouco sobre essa definição, notamos que uma unidimensionalidade restrita é impossível. De fato, como esse trabalho cita, em um teste minimamente complexo, é inviável ter apenas um traço latente para um item. Um exemplo seria um simples problema de matemática onde, a menos que haja um comando direto puramente numérico (do tipo calcule x em x+3 = 5), a habilidade de interpretar corretamente o enunciado do problema seria um traço latente secundário (além do traço latente associado a habilidade matemática) necessário para a resolução da questão.

Neste caso, o que se busca é ter um traço latente principal, que se sobreponha um pouco mais em relação aos traços menos inevitáveis. Isso é o que se chama unidimensionalidade essencial e é considerada uma aproximação realista e apropriada para situações que demanda uma análise unidimensional (uma habilidade apenas para cada item/questão). Não vou entrar em muitos detalhes sobre diferentes dimensionalidades de itens e testes, porque as principais aplicações de TCT e TRI nas avaliações de habilidades e competências aplicadas à educação básica, usam basicamente modelagens unidimensionais. Para mais detalhes a respeito recomendo essa dissertação de mestrado de 2015 da UFSC.

Assim, a grosso modo, no que tange a aplicações na educação, essas modelagens visam auxiliar o professor/avaliador a determinar a capacidade de uma dada questão para discriminar a proficiência do aluno/respondente em uma dada habilidade/competência. A ideia é que, ao utilizar essas ferramentas, o professor consiga usar uma ou mais questões para realizar um diagnóstico eficiente do desenvolvimento cognitivo do aluno para, valorar desempenho e/ou planejar ações de recuperação.

Nas últimas semanas eu tenho estudado bastante o assunto de modo que pretendo fazer aqui uma análise mais detalhada, de modo a esclarecer os principais elementos de cada teoria, suas nuances, vantagens e desvantagens. Como isso implica em mais texto e esse aqui já está ficando grande, deixo para, nas próximas publicações, apresentar de modo mais técnico, a estrutura e construção de cada modelagem, bem como alguns exemplos práticos para ilustrar melhor os principais elementos e potencialidade de cada ferramenta.

Como sempre espero ter contribuído e até semana que vem.