* Por Ernesto Martins Faria, diretor-fundador do Interdisciplinaridade e Evidências no Debate Educacional (Iede) e Lecticia Maggi, gerente de comunicação no Iede
Em setembro de 2022, o Ministério da Educação (MEC) divulgou os dados do Sistema de Avaliação da Educação Básica (Saeb) e do Índice de Desenvolvimento da Educação Básica (Ideb) 2021. No caso do Saeb, em todas as etapas de ensino (2º, 5º e 9º ano do Ensino Fundamental e 3º ano do Ensino Médio) e disciplinas avaliadas (Língua Portuguesa, Matemática e Ciências), os resultados dos estudantes foram piores do que em 2019. Muito se falou sobre a etapa de alfabetização (2º ano), em que a média dos estudantes em Língua Portuguesa passou de 750 pontos para 725,5. Mas, afinal, o que uma queda de 24,5 pontos representa? E nas demais séries, como no 5º ano, em que a queda em Língua Portuguesa foi de 7 pontos (215 para 208), isso é pouco? Muito?
Veja também: Avaliações na educação básica: materiais, análises e notícias
Veja também: Saeb e Ideb 2021: distorções de medida ou impactos no que é medido?
Responder a essas perguntas exige, primeiro, o entendimento de como funcionam as avaliações do Saeb e a sua escala de proficiência. Assim como o Exame Nacional do Ensino Médio (Enem), o Saeb utiliza-se da Teoria de Resposta ao Item (TRI), em que a pontuação final do estudante é explicada pelas características das perguntas que ele acertou e não pelo número total de acertos (Teoria Clássica dos Testes). A TRI avalia a coerência nas respostas dadas pelos participantes, aquilo que seria “esperado” que eles respondessem. Por exemplo: um aluno que acertou itens tidos como difíceis, mas errou fáceis, provavelmente “chutou”, e será penalizado por isso.
Já a escala Saeb pode ser definida como uma régua criada com base nos parâmetros estabelecidos para os itens aplicados no Saeb. Ela costuma ser apresentada como uma escala 0 a 500 pontos, mas, na prática, valores acima de 450 e abaixo de 50 são praticamente impossíveis. O Todos pela Educação criou uma interpretação para a Escala Saeb, com níveis, que ajudam a sociedade a entender quantos estudantes estão no patamar insuficiente, básico, proficiente ou avançado. Os itens das avaliações do Saeb do 5º e 9º ano do Ensino Fundamental e do 3º ano do Ensino Médio estão posicionados em uma mesma escala. Dessa forma, são comparáveis entre si. Isso quer dizer que é possível, por exemplo, afirmar que determinado estudante do 5º ano teve desempenho em algumas habilidades de Língua Portuguesa que seria esperado de alguém no 9º ano. Já os itens aplicados a alunos do 2º ano estão em outra escala e não é possível fazer comparações dessa etapa com outras (não há como dizer que um aluno do 2º ano teve desempenho esperado a alguém do 5º ano, por exemplo).
Pela escala Saeb, em Língua Portuguesa, as pontuações consideradas como de aprendizado adequado são: 200 para o 5º ano; 275 para o 9º ano; e 300 para o Ensino Médio. Uma análise crítica dos resultados do Saeb — e de como eles vêm se comportando nas últimas edições — envolve olhar a escala com essa visão de evolução e tendo em mente quais são os comportamentos esperados dos estudantes com base na TRI. Apenas para ilustrar, faz-se aqui um paralelo com a altura: digamos que a estatura média de uma criança de 10 anos é 1,40 m e de um adolescente de 14 anos é 1,60 m. Pode a criança de 11 anos ter 1,60 m? Sim, claro, mas não é o mais comum. Não é o esperado. Da mesma forma, um estudante de 5º ano pode ter desempenho equivalente ao de um estudante de 9º ano? Sim, mas não é — e não deveria ser — algo comum.
Por essa razão, chamam a atenção os gráficos abaixo, frutos de análises conduzidas do Iede, mostrando que há um número importante de alunos do 5º ano, da rede pública, com resultados extremos em Língua Portuguesa, que seriam esperados de alunos do 3º ano do Ensino Médio. O fenômeno, que não ocorre em 2005, é observado em 2015, mas fica ainda mais evidente em 2019.
Fonte: Elaboração própria do Iede
Mas quais são as implicações disso? Muitas! Esses resultados extremos no Saeb elevam a média da etapa e podem “esconder” muitos estudantes com desempenho insatisfatório. Além disso, nos levam a questionar o quanto correspondem à realidade de aprendizagem dos estudantes brasileiros ou se estão nos induzindo a acreditar que o cenário no 5º ano é mais positivo do que de fato é. São dados que mostram a necessidade de analisarmos com cuidado as informações do Saeb e de discutirmos formas de aprimorá-lo, dada a sua importância inquestionável para a educação brasileira.
Por fim, um ponto adicional a essa discussão já complexa: é preciso entender que as proficiências médias da escala Saeb em 1997 (250 pontos para LP e MAT no 9º ano, por exemplo) foram definidas de forma arbitrária porque, na ocasião, precisava-se de uma escala e de um número que a norteasse. Da mesma forma, foi definido de forma arbitrária uma média 750 para o resultado nacional do 2º ano do Ensino Fundamental em 2019. Não há uma interpretação pedagógica em relação aos 250 e aos 750. Poderia ser qualquer outro valor. Assim, as médias em si têm pouco significado, o que importa são as variações em pontos.
Nesse sentido, podemos indicar aqui que uma variação de 10 pontos ou mais é uma grande variação (0,2 desvios-padrão), enquanto quedas ou avanços inferiores a 10 pontos não apontam grandes mudanças de patamar. E aí, a partir desse entendimento, reforçamos que a queda de 24,5 pontos em Língua Portuguesa no 2º ano é brutal.
