Quais itens de múltipla escolha funcionam melhor: uma análise do Enade 2016

Uma indagação que sempre se coloca na elaboração de um teste de proficiência é a escolha do melhor tipo de questão e do processo cognitivo mais adequado para se aferir uma habilidade ou competência. Nem sempre quem elabora as questões leva esses pontos em consideração, mas se adequa ao conforto de fórmulas mais imediatas.

Cada questão requer um processo cognitivo para resolvê-la, como memorização, compreensão, aplicação e análise, e pode ser estruturada de maneiras diferentes. É possível que os itens que a compõem sejam de resposta única, que inclui também o tipo afirmação incompleta, quando o enunciado é uma frase incompleta e as alternativas completam a frase proposta. Outra opção são os itens de resposta múltipla, quando múltiplas afirmativas são analisadas como verdadeiras ou falsas e a resposta é o resultado da análise. E também há os itens de asserção-razão, que requerem a análise de relações entre duas afirmativas ligadas pela palavra “porque”.

As questões de todas as 18 provas do Enade 2016 – a maioria ligada à área da saúde – foram classificadas segundo o processo cognitivo utilizado para resolvê-las e segundo sua estrutura. Empregaram-se para a análise o índice de facilidade (percentual de acertos), o índice de discriminação (uma medida de separação das notas entre o grupo com maior e com menor desempenho) e a forma de anulação (pela comissão assessora ou pelo índice de discriminação).

Quase metade dos itens do Enade 2016 foi do tipo resposta múltipla, usando o processo cognitivo de memorização. Deve-se, porém, considerar que essas provas precisam cobrir um largo espectro de conhecimento (ou de falta de) e que, possivelmente, o dia a dia de profissionais das áreas analisadas baseia-se fortemente em reconhecimento de padrões e escolha de alternativas possíveis.

Em termos de facilidade e de separação entre os grupos de alto e baixo desempenho, não foram observados efeitos nem do tipo de item nem dos níveis dos processos cognitivos mobilizados pelas questões. Já em termos de anulação, as maiores taxas estão associadas com itens de resposta múltipla (17,04%) e com o processo cognitivo de análise (28,57%). Um ponto positivo foi constatar que o aumento de erros não se relaciona à ordem das questões (aí incluídas questões deixadas em branco).

A ideia é estender a análise para outras provas do Enade, possivelmente as de 2017 e 2018, assim fechando um ciclo completo. Com isso seria possível verificar se os padrões encontrados para as áreas de saúde e afins se repetem nas provas de outras áreas. É importante também analisar os conteúdos avaliados, no sentido de verificar se houve uma preocupação em contemplar uma cobertura ampla dos currículos, prescritos pelas Diretrizes Curriculares Nacionais (DCN) dos cursos, ou se houve algum tipo de concentração ou ênfase que possa ter influenciado os resultados.

Referências

Beltrão, K. I., & Mandarino, M. C. F. Análise dos itens de múltipla escolha das provas do Enade 2016. Estudos em Avaliação Educacional,  34, e07951. https://doi.org/10.18222/eae.v34.7951

Anderson, L. W. & Krathwohl, D. R. (2001). Uma taxonomia para aprender, ensinar e avaliar: Uma revisão da taxonomia de objetivos educacionais de Bloom. Longman.

Bloom, B. S. (1972). Taxionomia de objetivos educacionais 1: Domínio cognitivo. Globo.

Instituto Nacional de Pesquisas Educacionais Anísio Teixeira. (2017). Guia de elaboração e revisão de itens. Inep.

Leia o artigo em:

https://publicacoes.fcc.org.br/eae/article/view/7951

Os argumentos presentes neste post são de responsabilidade dos autores e não necessariamente expressam as opiniões da Fundação Carlos Chagas.