Por Francisco Soares, professor emérito da Universidade Federal de Minas Gerais (UFMG) e membro do Conselho Nacional de Educação
Uma proposta pedagógica consiste na construção de respostas a três perguntas – o que ensinar, como ensinar e como avaliar – e no alinhamento das respectivas respostas feito pela escola e pelo sistema de ensino. O infográfico, obtido colocando-se as três perguntas nos vértices de um triângulo e o alinhamento no centro, é chamado de triângulo pedagógico, cuja introdução é atribuída a Raph Tyler na sua influente monografia de 1949.[1]
A primeira pergunta define o escopo de uma proposta pedagógica e é respondida com a especificação dos aprendizados, ou seja, dos conhecimentos e das competências que compõem o currículo em cada escola ou sistema de ensino. O conceito de conhecimento é usado aqui em um sentido lato, incluindo tanto os conteúdos disciplinares, como as habilidades (skills, saber fazer) e os saberes intra e interpessoais: atitudes, valores e cultura, essenciais para a formação humana integral. Os aprendizados adquiridos pelos estudantes formam o seu repertório, que deve ser mobilizado para a solução dos problemas que a vida lhes coloca, capacidade referida no jargão pedagógico como competência. Noutras palavras, objetivos de aprendizagem são recortes e justaposições dos conhecimentos e das competências, referidos genericamente como aprendizados. Esse modelo conceitual está hoje presente em muitos documentos, oriundos das discussões sobre a educação necessária para os estudantes no século 21. São especialmente úteis o texto “Educação em quatro dimensões”[2] e a influente proposta do Educação 2030 da OECD.[3]
No caso brasileiro, a BNCC é a referência para a especificação dos objetivos de aprendizagem que, nesse caso, constituem afirmativas de várias ordens de generalidade sobre o que os estudantes devem aprender. Os objetivos derivados da BNCC englobam desde afirmativas muito amplas, que na BNCC são referidas como competências gerais, até afirmativas específicas relacionadas a áreas do conhecimento, referidas como “habilidades”.
Fixados os objetivos, a proposta pedagógica deve produzir as respostas das outras duas perguntas: como ensinar e como avaliar. As respectivas respostas, embora distintas, têm pontos de interseção. Considerando que a finalidade última de um sistema de ensino é garantir os aprendizados dos estudantes, a resposta a ser dada à terceira pergunta – como avaliar – deve se subordinar à utilidade para a segunda pergunta – como ensinar. Este texto trata apenas do como avaliar se os estudantes adquiriram os aprendizados especificados.
Em 1997, o MEC criou um primeiro ciclo de inovação no sistema de avaliação brasileiro ao implementar o PRO-AV. Esse programa permitiu trazer a TRI para a rotina das avaliações brasileiras, sobretudo para o Saeb. A TRI é uma metodologia flexível de utilizar os dados obtidos nos testes para atribuir uma proficiência a cada estudante, pois, além de facilitar o diálogo entre a avaliação e o ensino, ao estruturar uma forma de interpretação pedagógica das proficiências, permite tornar comparáveis as proficiências obtidas em momentos de tempo diferentes. O PRO-AV mudou o cenário da avaliação educacional no Brasil ao possibilitar a formação de quadros técnicos nas universidades, que logo se multiplicaram nas secretarias, e a criação de empresas para a formulação e aplicação de testes. O PRO- AV foi seguido da instituição do IDEB e da criação de metas para escolas, municípios, estados e para o país.
A BNCC e a reforma do Ensino Médio, bem como os avanços científicos na área de avaliação, indicam que é urgente planejar um novo ciclo de inovação na avaliação educacional brasileira. Além disso, o isolamento físico entre estudantes e professores durante tantos meses e o uso emergencial de metodologias centradas no ensino remoto criaram práticas novas que serão incorporadas à nova normalidade a vir. O ensino híbrido será o modelo dominante. As avaliações devem refletir essa nova organização do ensino.
O planejamento das avaliações centrado em evidências
É necessário trazer para a rotina das avaliações brasileiras os muitos avanços gerados pela aproximação da psicologia cognitiva com os processos avaliativos. Os resultados dessas pesquisas são necessários para fundamentar o ensino adaptativo e híbrido, que serão cada vez mais comuns, depois da incorporação das novas tecnologias de comunicação no ensino induzidas ou não pela interrupção das aulas presenciais.
Uma das concretizações dessa linha de pesquisa é o modelo ECD: Evidence Centered Design[4] que, em tradução livre para o português, pode ser referido como PCE – Planejamento centrado em evidências.
O PCE consiste em um processo lógico e sistemático de criação de uma avaliação educacional. A primeira etapa do PCE é a fixação dos objetivos de aprendizagem que guiarão a construção dos instrumentos avaliativos. Por exemplo, o interesse pode ser, como no SAEB, o de medir a proficiência leitora de um estudante. Para isso é preciso definir os objetivos de aprendizagem que informam esse construto, o que no Brasil é conhecido como “matriz de avaliação”.
Em seguida explicitam-se os conhecimentos e as competências específicas exigidas para a sua aquisição de cada aprendizado considerado. A principal consequência dessa análise é a definição do que será aceito como evidência do aprendizado de cada objetivo. Por exemplo, em Leitura, para um objetivo como “Distinguir fato de opinião”, é preciso explicitar as evidências que serão aceitas para se afirmar que um estudante atingiu esse objetivo. Embora esse objetivo esteja presente em todos os anos escolares, as evidências a serem aceitas devem ser mais completas e complexas nos anos escolares mais avançados. Nesse processo, as taxonomias SOLO[5] ou a DOK[6] podem ajudar, já que classificam as evidências em níveis crescentes de complexidade.
A dissonância entre o Saeb e o Pisa, constatada nas recentes aplicações do PISA for schools[7] em escolas brasileiras, pode ser entendida pelo fato de o Saeb aceitar evidências de baixa complexidade, enquanto o Pisa exige evidências muito mais abrangentes. Ou seja, as diferenças constatadas nos escores dos estudantes brasileiros nos dois exames estão associadas mais às evidências aceitas nos dois testes do que na diferença entre as respectivas especificações.
A segunda etapa do PCE é a definição de modelos de itens ou tarefas a serem utilizados nos testes. Para que haja aprendizado, cada objetivo de aprendizagem deve ser avaliado de forma apropriada. Portanto nessa etapa é preciso responder à pergunta: Quais são os instrumentos apropriados para verificar o aprendizado de cada objetivo de aprendizagem? Seriam apenas testes padronizados? Ou testes com questões abertas? Obrigatoriamente presenciais ou poderiam ser feitos a distância?
A próxima etapa do PCE consiste na montagem do teste, quando as considerações de tempo e a escolha dos itens que serão aplicados a cada estudante são tratadas, além da metodologia de produção da medida síntese e, finalmente, o desenho do processo de devolutivas pedagógicas a ser utilizado.
A novidade do PCE não está, portanto, nas suas etapas, mas na integração lógica que o modelo constrói. Por isso foi adotado como modelo conceitual para as avaliações desenvolvidas após a introdução do Common core americano.
Ecossistema
O novo ciclo de inovação deve ocorrer em um ecossistema avaliativo muito diferente daquele de 1997. Hoje existem mais atores educacionais com estruturas e organizações capazes de implementar intervenções. Há muitas empresas, grandes, pequenas e startups que se dedicam a várias etapas do que chamamos acima de PCE. Além dessas há diversas ONGs muito ativas no debate educacional com agendas próprias e teoria de ação bem definidas. Outro conjunto de atores fundamentais são as instituições de Estado como as universidades, os conselhos e o Inep, que é, pelo menos parcialmente, um órgão de Estado. No entanto, é o governo com o seu poder de indução que deve liderar a inovação. Assim, o papel do governo continua essencial, pois é o maior demandante de avaliações educacionais. Diante disso, o governo não pode ser pautado por modelos antigos pouco aderentes ao momento. Tem de ser o líder na inovação.
O debate educacional brasileiro na área de avaliação não está formatado para buscar promover a aproximação da avaliação com sua verdadeira função, que é facilitar e informar o aprendizado. A ênfase da seleção, uma das aplicações dos testes, é, ainda, dominante. Principalmente na percepção pública, onde impera a ideia de que o teste de uma avaliação educacional é feito para classificar.
Um debate público deve ser informado por documentos que justifiquem, com base na pesquisa, nas leis e na prática, as opções feitas. Ainda que o Inep tenha divulgado alguns documentos[8] indicando mudanças, as recentes decisões não vieram acompanhadas de documentos públicos que pudessem orientar e subsidiar o debate. Esse é também um possível espaço de atuação e contribuição das ONGs e associações científicas, devidamente apoiadas pelos governos.
O papel formativo das avaliações
Depois dos esforços recentes na construção da BNCC e da reforma do ensino médio, a avaliação tem o papel importante de promover a implantação da BNCC. Para isso pode contribuir mostrando as evidências que devem ser usadas para se verificar o atingimento de objetivos de aprendizagem.
A associação da avaliação com o ensino está pouco desenvolvida. As devolutivas pedagógicas não acontecem na frequência desejada. E, infelizmente, quando ocorrem estão baseadas na duvidosa hipótese de que o acerto a um único item, associado a um objetivo de aprendizagem, é evidência completa de seu domínio pelo estudante. Como consequência dessa prática, os objetivos são considerados atingidos com evidências muito frágeis. A presença dessa prática pode ser explicada pela reduzida presença da avaliação formativa nos sistemas e nas escolas. A avaliação formativa implica a informação imediata do estudante sobre as oportunidades de melhoria. Para isso, o objetivo incluído, as rubricas para a correção dos itens devem fazer parte da rotina avaliativa. Isso não ocorre, pois as devolutivas não são planejadas como parte essencial da avaliação. Entendo que produzir essa tecnologia deveria ser também uma responsabilidade do SAEB, tomando por referência a BNCC, fazendo a ponte entre a avaliação somativa, que apoia os gestores educacionais, e uma avaliação formativa, que apoia o trabalho docente.
Uso social dos resultados
Finalmente, é preciso discutir o uso social dos resultados. O projeto educacional não pode ter como meta aumentar o aprendizado de poucos, mas facilitar o aprendizado dos estudantes enquanto estão sendo avaliados. Se essa finalidade não é colocada no modelo de planejamento, as avaliações correm o risco de verem seus resultados usados para a exclusão de estudantes.
Ou seja, o Brasil precisa, na área de avaliação, de sólida pesquisa pedagógica, não apenas de aplicação de modelos econômicos ou políticos. Isso nos leva a refletir, inclusive, sobre a adequação dos cursos de pedagogia e licenciatura atualmente oferecidos no Brasil. Estão eles formando quadros preparados para a prática avaliativa?
