*Reynaldo Fernandes, professor na Faculdade de Economia, Administração e Contabilidade de Ribeirão Preto da Universidade de São Paulo
A divulgação dos resultados do SAEB e do IDEB de 2021 veio acompanhada de uma série de indagações a respeito de como tais resultados deveriam ser interpretados. Isso em virtude da pandemia de coronavírus que manteve as escolas fechadas por quase dois anos. Na divulgação dos resultados, o INEP enfatizou a necessidade de cautela na interpretação dos dados. Trata-se de um aconselhamento sensato em qualquer situação, mas, evidentemente, no atual cenário ele é mais necessário.
Isso, no entanto, não significa que os resultados das avaliações de 2021 devam ser descartados, como algumas análises parecem sugerir. Dispormos do SAEB e o IDEB de 2021 é melhor do que não os tê-los. Também me pareceram exageradas (ou não cautelosas) as observações de alguns analistas sobre “resultados artificiais”, “dados inflados”, “impossibilidade de comparação” ou a necessidade de “excluir da série histórica” os dados de 2021.
Veja também: Avaliações na educação básica: materiais, análises e notícias
Veja também: Resultados do Saeb 2021 e próximos passos: destaques da transmissão
Para analisarmos os impactos da pandemia e das ações adotadas para lidar com ela sobre os indicadores educacionais (SAEB e IDEB), seria importante considerar a distinção entre os impactos sobre a precisão da medida (indicador) e os impactos sobre aquilo que a medida (indicador) busca aferir. Acredito que o termo distorção pode ser apropriado para o primeiro caso, mas não para o segundo. Análises que não fazem tal distinção acabam por considerar como distorção flutuações na medida que são decorrentes de alterações nos objetos que a medida busca aferir (aprendizado e fluxo). Por exemplo, admitindo que a pandemia tenha aumentado a desigualdade de aprendizado – em virtude de diferentes escolas adotarem diferentes estratégias e de diferentes estudantes serem diferentemente impactados – e isso tenha sido capturado pela avaliação, não haveria que se falar em distorção ou de não divulgação dos resultados. O SAEB estaria fazendo que se espera dele: retratando o ocorrido no aprendizado dos estudantes.
Quanto aos erros de medida, eles são sempre motivo de preocupação. Os exames padronizados buscam ser uma medida do aprendizado dos estudantes, mas a nota depende também de outros fatores como, por exemplo, o empenho com que os alunos realizam a prova e as condições da aplicação: barulho, calor etc. Quando os exames passam ter consequências para estudantes e escolas, um aumento das notas sem o correspondente aumento no aprendizado tem sido detectado em diversos estudos – fenômeno conhecido como “inflação de notas”. No último SAEB, a preocupação tem se concentrado no aumento da proporção de alunos que faltam à prova (de 20% para 30%). Se os que faltam possuem, em média, um desempenho inferior dos demais estudantes da escola, a maior taxa de ausência atuaria para produzir uma inflação de notas, quando se considera as notas medias das escolas. Entretanto, isso é apenas uma hipótese que precisa ser melhor investigada. Não é claro que um viés significativo tenha ocorrido e, em caso afirmativo, qual o seu sinal (inflação ou deflação de notas). A afirmação que, em virtude do aumento na taxa de ausência, o desempenho do SAEB é pior do que o apresentado pelo INEP parece um caso claro de falta de cautela na interpretação dos resultados. No caso do IDEB, temos que considerar também as taxas de aprovação dos alunos, uma vez que o indicador combina desempenho nos SAEB com a taxa de aprovação.
No entanto, a distinção entre impactos na precisão da medida e impactos no objeto da medida continua válida. Se a pandemia e as ações adotadas para lidar com ela não afetaram a medida em si, ainda que tenham reduzido as reprovações, não haveria que se falar em distorção, resultados artificiais ou coisa parecida. A medida estaria capturando o que ocorreu nas escolas durante a pandemia. Isso não significa, evidentemente, que a pandemia não tenha tornado a interpretação dos dados mais difícil.
A interpretação dos resultados do SAEB e do IDEB é sempre uma questão em aberto: para os mesmos dados, diferentes analistas podem chegar a conclusões diferentes. E a pandemia pode ter dificultado a análise. Por exemplo, a redução da repetência pode impactar as notas do SAEB, em virtude de mudar a composição dos alunos que fazem o exame. Para alguns analistas, a queda no SAEB observada entre 1995 e 1999 poderia, ao menos em parte, ser explicada pelas políticas de redução de repetência adotadas no período. De qualquer modo, a maior dificuldade de análise não é motivo para impor restrições à ampla divulgação das avaliações. O único motivo para impor tais restrições seria a existência de graves distorções na medida, o que não parece ter ocorrido.
Por fim, vale destacar que é justamente a existência e a ampla divulgação desses dados que pode nos ajudar a entender melhor os impactos da pandemia sobre o desenvolvimento educacional e sobre a melhor forma de lidar com eles.
