Avaliar a avaliação: o caso da Prova São Paulo

Quando se fala em avaliação educacional é comum pensar nos formatos de avaliação aplicados em sala de aula, na avaliação de professores e até mesmo nas grandes avaliações, como o Sistema de Avaliação da Educação Básica (Saeb), o Sistema Nacional de Avaliação da Educação Superior (Sinaes) ou o Exame Nacional do Ensino Médio (Enem). Mas como saber se as avaliações  de desempenho ou rendimento dos estudantes estão, de fato, adequadas a seus objetivos? Como analisá-las para identificar os pontos fortes e os aspectos que precisam ser melhorados? 

A resposta a essas perguntas passa pelo processo de avaliar as avaliações, também chamado de meta-avaliação. Embora ainda pouco implementada no Brasil, essa prática tem sido desenvolvida pelo Departamento de Pesquisas Educacionais da Fundação Carlos Chagas em resposta a uma demanda da Secretaria Municipal de Educação (SME) da capital paulista. O projeto Meta-avaliação da Prova São Paulo busca caracterizar a Prova São Paulo, que compõe o Sistema de Avaliação do Aproveitamento Escolar dos Alunos dessa rede de ensino. A prova é aplicada a todos os alunos do 4º ao 9º ano do ensino fundamental e avalia as proficiências dos alunos em português, produção de texto, matemática, ciências naturais e, desde 2021, também ciências humanas. 

Segundo Adriana Bauer, pesquisadora da Fundação Carlos Chagas e coordenadora do projeto, a pesquisa surgiu da necessidade de a SME aprimorar a Prova São Paulo, o que exigia uma avaliação da política que já estava em desenvolvimento. A avaliação inclui caracterizar o modelo atual da prova e as mudanças pelas quais ela passou desde sua origem em 2007 para propor melhorias e apresentar recomendações que ajudem a implementar a versão digital da avaliação. 

A pesquisadora explica que, muitas vezes, as contingências da tomada de decisão e da execução do processo avaliativo não permitem que a reflexão sobre a prática seja feita de maneira simultânea pelos envolvidos no processo. Por isso, é fundamental reservar um momento para olhar com mais distanciamento para o próprio instrumento avaliativo: “Se eu tenho uma prova melhor, com os processos aprimorados, eu vou ter uma qualidade de dados melhor para usar na gestão pública, na proposição de currículos, na formação não só dos professores, como também dos técnicos da própria secretaria”, explica Adriana. 

Construção coletiva e necessidade de inovar

Avaliar uma avaliação que envolve todas as escolas de ensino fundamental da rede e centenas de milhares de alunos tem, por natureza, múltiplas dimensões e olhares. Por isso, no processo de caracterizar a Prova São Paulo e os aspectos a serem aprimorados, a pesquisa conta com uma revisão da literatura acadêmica para entender a perspectiva de pesquisadores que já investigaram o tema. Outra etapa importante é ouvir os potenciais usuários dos resultados dessa avaliação, o que inclui gestores públicos de diferentes setores da SME e os responsáveis pela execução da prova. 

Algumas das dimensões consideradas na proposta meta-avaliativa são viabilidade, utilidade, ética e justiça, definidas em diálogo com a Secretaria Municipal de Educação e o seu Núcleo Técnico de Avaliação.

A ideia de meta-avaliação na educação ainda está bastante ligada a projetos e programas educacionais, mas não às avaliações de desempenho de estudantes. Por essa razão, um dos desafios na execução da pesquisa é adaptar uma literatura voltada a programas para que ela possa ser aplicada a uma política pública de avaliação de rendimento como a Prova São Paulo. 

“Isso é muito inovador. A gente tem algumas indicações sobre uma prova de qualidade, mas não no sentido de meta-avaliação. Então o que a gente está tentando fazer com essa parceria [com a SME] é pensar indicadores, critérios, dimensões que a gente acha importantes que uma política de avaliação dos alunos contemple”, pontua a pesquisadora. 

Saiba mais
Avaliação Educacional
Grupo de pesquisa da Fundação Carlos Chagas que tem como meta prioritária gerar conhecimento no campo da Avaliação Educacional, a partir da produção, sistematização, análise e divulgação de pesquisas, bem como da reflexão teórico-metodológica, de forma a ampliar os referenciais que sustentam propostas de investigação na área.