APRENDIZAGEM VISÍVEL – RESENHA

Olá pessoal, tem um bom tempo que não escrevo por aqui. O ano de 2020 foi bem complexo, como todos sabem e, entre os desafios de aulas durante a pandemia e o novo projeto do canal, esse espaço ficou um pouco em segundo plano. Mas, agora as coisas se ajeitaram e podemos voltar a produtividade original (assim espero).

Para esse retorno eu gostaria de falar um pouco de um livro que acabei de ler recentemente chamado “Visible Learning: A Synthesis of Over 800 Meta-Analyses Relating to Achievement” ou “Aprendizagem visível: uma síntese de mais de 800 meta-análises relacionadas à realização” em tradução livre. O livro é muito interessante e representa mais de 20 anos de pesquisa sistemática e quantificada do autor, envolvendo mais de 150 aspectos relevantes para educação e seus respectivos impactos na aprendizagem dos alunos.

Lê-lo tem me feito revisitar diversos elementos da minha prática docente e até meu olhar sobre ele e, por isso, gostaria de compartilhar uma mini resenha do mesmo aqui com vocês para, caso alguém se interesse, possa começar a leitura. Já adianto que o livro só é encontrado em inglês (infelizmente), mas que ele tem uma continuação fantástica chamado “Aprendizagem Visível para professores” disponível em português BR e que visa traduzir os resultados do primeiro livro para o contexto da prática docente. Assim, quem não tiver a prática de ler em inglês pode ler essa resenha partir direto para o segundo livro (embora o primeiro tenha muita coisa interessante).

Vou dividir a resenha em 3 partes: 1 – O contexto do livro (o que é o livro afinal?) 2 – A motivação para o livro (que advoga o porquê de sua importância) e 3 – Sua proposta metodológica e os resultados que ele traz.

1 – O CONTEXTO DO LIVRO

 O que é o livro? Bem, incentivadas pelos novos movimentos educacionais que emergiram no final do século XIX e início do século XX, além do ferramental científico que se desenvolvia, houve uma explosão nas décadas de 1950 a 1970, de estudos educacionais que se dedicaram a determinar a eficácia de determinadas práticas docentes, visando desenvolver todo um corpo científico para orientar um processo de escolarização mais eficiente. Essa explosão de trabalhos e propostas de pesquisa levaram a uma nova tendência, a partir da década de 1980, a das “meta-análises”. Meta-análises são estudos que consistem em compilar uma vasta quantidade de outros estudos de modo a sumarizar seus resultados. Assim, era comum encontrar, por exemplo, uma meta-análise sobre dever de casa que consistia em analisar 921 estudos sobre o tema, de modo a combinar o resultado de todos para compilar uma conclusão unificada acerca do impacto do dever de casa na aprendizagem dos alunos de acordo com todos esses estudos.

Assim, na década de 1980 e começo da década de 1990, foi a vez das meta-análises explodirem e se tornaram incrivelmente comuns. E nesse contexto surge a proposta do estudo de John Hattie e a criação do livro. Hattie e sua equipe estudaram e analisaram, ao longo de mais de 20 anos, cerca de mais de 800 meta-análises, compilando todo o resultado encontrado em seu livro. Assim, a proposta do livro é trazer, de modo claro e completo, o que essas mais de 800 meta-análises (que no conjunto concentram dezenas de milhares de estudos) permitem concluir sobre o impacto quantitativo que cerca de 150 elementos escolares e práticas pedagógicas podem ter na aprendizagem dos alunos.

2 – MOTIVAÇÃO

O autor apresenta como motivação principal para os estudos dois fatores acerca do cenário educacional. O primeiro é uma percepção que ele desenvolveu ao analisar por décadas trabalhos de pesquisa relacionada a educação. A percepção é de que ”Qualquer coisa parece funcionar”. O que ele sugere aqui é que, muitas vezes, as métricas comumente aplicadas no cenário educacional para definir se uma prática funciona ou não (isso é, se tem impacto significativo na aprendizagem dos alunos), são subjetivas demais e/ou praticamente inexistentes. Assim, do modo como são construídas, qualquer coisa, independente do seu real mérito, vai ser classificadas como “eficiente” ou “relevante”.

Essa percepção, segundo ele, vem da ideia equivocada de que o critério para “funcionar” são histórias belas de escolas modelo e/ou diretores inspiradores relatando trabalhos belíssimos e cheios de carga emocional, executados por alunos felizes, pais contentes e professores amorosos e dedicados. Em outras palavras, ele afirma que há um clima de “tudo funciona” porque a régua usada é muito mais subjetiva e emocional do que deveria/poderia ser.

Ele justifica que esse contexto tem origem em diversos elementos, mas destaca como um dos principais, a cultura (até bem comum no meio pedagógico) de que “estilos pedagógicos” e “independência profissional/de cátedra” se traduzam em um “Eu te deixo em paz para ensinar do seu jeito, se você me deixar para ensinar do meu”. Essa cultura, segundo ele, acaba por incentivar o uso de práticas pedagógicos de modo acrítico e elimina um fator importante para a busca por qualidade e eficiência que é a revisão, crítica e colaboração entre pares.

O segundo fator que motivou a pesquisa e complementa o primeiro é a pergunta: Porque, na vida de todas as pessoas, existem alguns professores que marcaram tanto sua trajetória e outros nem tanto? A ideia desse questionamento, no contexto do livro e da primeira provocação que ele faz, é de que, se tudo funciona e toda prática docente tem mérito e eficiência equivalente (como algumas pesquisas subjetivas dão a entender) porque o impacto dessas práticas é tão diferente nos alunos? Porque algumas são tão positivas e memoráveis, enquanto outras são tão negativas ou simplesmente irrelevantes?

Daí, ele apresenta a necessidade e relevância do trabalho vasto de curadoria e construção estatística que ele e sua equipe fizeram para buscar, dentre tantos estudos e resultados, uma forma objetiva de determinar quais elementos de fato promovem o que ele chama de “aprendizagem visível” e em que intensidade.

3 –  A METODOLOGIA DO ESTUDO

A construção teórica do livro é muito densa para deixar claro especificamente o valor estatístico das escalas que ele vai construir e utilizar, bem como suas limitações. Por isso, recomendo fortemente uma leitura cuidadosa e vasta para evitar injustiças com os resultados do livro, e/ou no uso de algumas das ferramentas apresentadas. Dito isso, vamos à metodologia.

A proposta central da metodologia do livro tem duas etapas. A primeira é estabelecer, para cerca de 150 práticas pedagógicas e/ou elementos relevantes do cenário educacional, o que é chamado de “Tamanho de Efeito”. Esse tamanho de efeito é um coeficiente numérico obtido a partir de um teste padrão aplicado à alunos antes e depois de uma determinada prática pedagógica, para averiguar justamente o impacto dessa prática no desempenho acadêmico específico dos alunos. A segunda etapa consiste em estabelecer um “tamanho de efeito” basal com o qual os demais podem/devem ser comparados para julgar sua eficiência.

Primeiro, vamos a construção do Tamanho de efeito. Imagine que você queira avaliar o tamanho de efeito de uma série aulas e estratégias que você vai adotar entre fevereiro e junho. A primeira coisa a fazer é elaborar um teste que avalie o domínio dos alunos sobre o tema segundo seus objetivos pedagógicos, e aplicá-lo em fevereiro e, posteriormente, em junho (pode ser o mesmo teste ou um teste diferente com mesmo nível de dificuldades e habilidades).

O tamanho de efeito é dado pela fórmula:

Assim, para nosso exemplo, considere uma turma fictícia com 10 alunos.

Usando essa métrica e uma série de ferramentas de extrapolação estatística para estabelecer equivalência entre diferentes trabalhos e testes, o livro calcula o “tamanho de impacto” (representado pela letra d) para os cerca de 150 elementos educacionais e práticas pedagógicas analisados nas dezenas de milhares de estudos das mais de 800 meta-análises estudadas ao longo de mais de 20 anos.

Analisando a forma como o tamanho de efeito é construída, é intuitivo imaginar que qualquer tamanho de efeito de valor positivo (d > 0) implica em aprendizagem (e quanto maior o valor, maior este efeito), qualquer tamanho de efeito negativo (d < 0), significa um efeito prejudicial da prática, onde o desempenho dos alunos caiu com o tempo, e um tamanho de efeito nulo (d = 0) implica que a prática/proposta não teve efeitos significativos, nem positivos nem negativos.

Porém, ele alerta que essa análise é muito simplista porque, a base de referência para essas 3 classificações não deveria ser d = 0 e sim d = 0,40. Isso porque, depois de compilar todos estes dados, combinando os resultados com base de dados de inúmeros levantamentos de avaliação da educação (como Programa de avaliação Nacional da Austrália de linguagem e aritmética, Estudo Internacional do progresso de leitura e linguagem, PISA, Estudo Internacional de tendências em matemática e ciência, entre outros) ele chegou a um valor médio basal de Tamanho de impacto d = 0,40 para um período de um ano escolar. Ou seja, independente da estratégia pedagógica adotada (ou até do contexto social, político, econômico e tecnológico dos alunos e professores) um ano de escolarização, vai gerar um tamanho de impacto em torno de d = 0,40.

Assim, propostas pedagógicas e/ou estratégias de elementos educacionais inovadores que produzam um tamanho de impacto d < 0,40, ainda que sejam positivas (d > 0) estariam, em tese, sendo menos eficientes do que simplesmente seguir um caminho tradicional já usada anteriormente. Com isso, ele reforça a crítica da “qualquer coisa parece funcionar” quando trabalhos usam um tamanho de impacto basal de d = 0, para argumentar que obtiveram um d > 0 e, portanto, foram eficientes. Afinal, como as médias e o estudo mostra, qualquer escolarização básica vai gerar um impacto em torno de d = 0,40 ao longo de um ano de escolarização.

Com esses dois dados, o livro sugere que, uma forma eficiente de aferir se determinada prática pedagógica e/ou proposta de alteração no contexto escolar justifica a aplicação de recursos, seria analisar se ela produz, ao longo do ano, um tamanho de impacto maior que 0,40 (ou o valor proporcional para períodos menores).

A partir daí o livro apresenta um barômetro do tamanho de impacto (como indicado nas Figuras) para cada uma das práticas e estratégias pedagógicas estudadas nas meta-analises avaliadas, discutindo cada uma dessas práticas.

Ele também apresenta críticas ao processo, possíveis erros e vícios, e cautelas que devem ser tomadas ao usar esses números e proposta de métrica de modo puro e descontextualizados. É um livro relativamente denso, mas MUITO interessante e com uma proposta que, sem dúvida, representa uma contribuição positiva na busca por métricas educacionais que visam investigar a eficiência de práticas pedagógicas e elementos educacionais na promoção de aprendizagem significativa.

O texto ficou um pouco grande, mas queria dar um panorama claro do livro que infelizmente não foi traduzido pelo português, mas tem uma continuação chamada “Aprendizagem Visível para professores” onde o autor coloca tenta traduzir estes resultados obtidos no primeiro livro para práticas docentes. Esse segundo livro tem tradução para o Brasil e também recomendo, porque é muito bom e faz um excelente serviço em trazer os resultados do primeiro livro para ações práticas que podemos tomar como professores. Futuramente posso fazer uma resenha do segundo livro assim que concluir e se desejam isso, coloquem nos comentários. Vou ficando por aqui, obrigado pela atenção e até a próxima semana.