Renato Pedrosa: ENEM no lugar da Prova Brasil?

---

Posted: 23 Aug 2012 12:48 PM PDT, Blog ddo Simón Escreve Renato H. L. Pedrosa, Coordenador do Grupo de estudos em Educação Superior, Centro de Estudos Avançados, Unicamp (foi Coordenador Executivo do Vestibular da mesma universidade). ENEM no lugar da Prova Brasil? A proposta do Ministro da Educação, Aloizio Mercadante, anunciada recentemente (21/08/2012), de usar o ENEM no lugar da Prova Brasil para compor o IDEB (Indicador de Desenvolvimento da Educação Básica) do ensino médio não deveria prosperar. Será que alterar os indicadores utilizados traria alguma melhoria ao sistema? Nesse caso, não só não traria, como a qualidade do indicador se tornará altamente questionável. Os problemas com essa proposta são de ordem acadêmica (conteúdos), metodológica (desenho das provas) e demográfica (populações envolvidas). A Prova Brasil herdou do SAEB (Sistema de Avaliação da Educação Básica) o melhor sistema de avaliação que o Brasil já desenvolveu, com escala de proficiências bem estabelecida, um sistema amostral apropriado e eficiente, resultando em uma série histórica que permite comparações. É um sistema de avaliação exemplar, um dos melhores em existência no mundo, aplicado há mais de 15 anos, testado, validado, que deveria ser exemplo para outros sistemas desenvolvidos pelo MEC (mas infelizmente não o é). Sobre o Enem, por outro lado, três anos após a mudança de 2009, ainda não se sabe o que significam as notas, se 500 pontos indicam que a pessoa sabe alguma coisa ou não, pois a matriz de proficiências não está associada à escala utilizada. O exame não é aplicado de forma a cobrir todas as áreas da matriz nem a atingir todos os níveis de habilidade, como ocorre com a Prova Brasil. Em suma, não foi desenhado para ser instrumento de avaliação de sistema, nem de escolas, mas do nível geral de conhecimentos de indivíduos, em forma competitiva (adequada para seleção ao ensino superior, apenas isso). Além disso, a população que faz o Enem é auto-selecionada, o candidato se inscreve por opção própria. Não é uma amostra representativa de todos os segmentos da população educacional que está no último ano do EM, nem é censitário. Segundo reportagens disponíveis, o ministro Mercadante teria dito que o ENEM é “quase censitário”. Nem chega perto: em 2010, segundo dados do MEC, 221 mil alunos da rede particular e 790 mil da rede pública fizeram a prova. Como havia quase 2,2 milhões de matriculados na 3a série do EM naquele ano, apenas 46% dos alunos deles participaram do Enem. Além disso, cerca de 88% dos estudantes estavam matriculados na rede pública, sendo que, na população que fez o Enem, a proporção cai para 78%. Portanto, trata-se não só de uma população que não chega nem perto de ser censitária, mas é um grupo que não representa a população como um todo. Mais, com a proposta de haver mais de um ENEM por ano, como seria possível utilizar todos os resultados como avaliação do sistema? Com todas essas restrições, o MEC, desde a mudança 2009, vem ampliando as instâncias de utilização dos resultados do exame, sem parar para analisar se esses usos se justificam. Divulgam-se as notas médias das escolas, mesmo que ninguém tenha a menor ideia do que essas notas significam. Ou seja, é apenas um “ranking” do desempenho médio dos estudantes daquela escola que optaram por fazer o Enem. Utilizam-se os resultados das provas para dar diplomas a estudantes que nem mesmo terminaram o ensino fundamental. As notas de corte também nunca foram justificadas e recentemente o MEC anunciou alteração nos valores. Por quê? Não eram apropriados? Nada se diz sobre o tema, especialistas desconfiam que as notas de corte são pouco mais do que as notas que um estudante obteria escolhendo aleatoriamente as respostas. Desde 2011, a nota do ENEM serve para avaliar o desempenho dos estudantes nos cursos universitários, junto com o ENADE (Exame Nacional de Desempenho Escolar). Por que isso faria sentido? Como serão avaliados os cursos onde os estudantes não participaram do Enem? Talvez a razão seja de ordem econômica, mas as consequências da mudança aparentemente não foram bem estudadas e avaliadas e, mais de um ano após a adoção da medida, o MEC ainda não divulgou como a nota será utilizada. Uma pergunta fica no ar: por que o MEC propôs essa nova alteração? O ministro ouviu os técnicos do INEP, em particular a secretaria de avaliação da EB? Ouviu outros especialistas em avaliação, que usualmente prestam consultoria ao INEP? Foi mencionado que o ENEM indicaria melhora do sistema. Como poderia indicar isso, se não tem nenhuma validade para avaliar o sistema. Aliás, é de se esperar que o desempenho no ENEM melhore, cursinhos de preparação proliferam de norte a sul. Nada a ver com melhora do EM. O SAEB e seu sucedâneo (Prova Brasil) são o que de melhor o MEC já desenvolveu em termos de avaliação educacional no Brasil, com uma experiência acumulada de mais de 15 anos. Por que outra mudança? Por que não, primeiramente, estabelecer qual é a escala do ENEM, utilizando como referência escalas e matrizes do SAEB/Prova Brasil? Os especialistas em avaliações do país precisam se manifestar sobre o assunto, apontando as falhas dessa proposta, e a total falta de oportunidade da mesma. O que o ENEM precisa é se estabilizar, se desenvolver como exame a ser utilizado no acesso ao ensino superior, que já é tarefa bastante desafiadora, como sabemos. A Prova Brasil deve ser mantida e aperfeiçoada, em particular no que tange à divulgação dos dados em relatórios completos (o último relatório completo do SAEB é de 2006, sobre o exame de 2003). O ensino médio, após atingir picos de participação e de concluintes em 2003-2005, mostra uma queda preocupante nas matrículas e nos concluintes. O nível de eficiência do sistema está em torno de apenas 50% (concluintes sobre matriculados na primeira série do EM). Estudantes estão ingressando no ensino superior sem um mínimo de proficiência, não apenas nas áreas relacionadas aos seus cursos, mas mesmo na própria língua materna. É preciso que o MEC e as secretarias de educação dos estados parem para refletir sobre o que vem ocorrendo, trabalhar de forma coordenada e sistemática para melhorar o EM. Mudar, para pior, a avaliação do mesmo não vai ajuda nessa tarefa.