Posted: 30 Sep 2011
Recebi vários comentários sobre a nota que publiquei a respeito da informação misteriosa divulgada pelo O Estado de São Paulo, atribuida a Ricardo Paes e Barros, de que “dez dias a mais de aula por ano, seja pelo aumento do ano letivo, seja pelo efetivo cumprimento do calendário previsto – sem, portanto, o cancelamento de aulas por causa da falta de professores -, conseguem aumentar o aprendizado dos estudantes em 44%”, e que baseado nisto o Ministro da Educação iria propor um aumento do número obrigatório de dias letivos por ano nas escolas do país. Na minha nota, disponível aqui, eu observava que, se isto fosse verdade, a educação brasileira teria seus problemas resolvidos em poucos anos, sem precisar de melhorar a capacitação dos professores, equipar melhor as escolas, organizar e corrigir os currículos, etc – um verdadeiro milagre! De onde teria vindo este dado? O que o autor ao qual ele é atribuido tem a dizer a respeito?
O autor permanece em silêncio, mas os dados provêm de uma “meta-análise” feita há tempos para a Fundação Ayrton Senna, que procura consolidar os resultados de um grande número de pesquisas sobre educação feitas no Brasil e no exterior.
Ruben Klein, um dos principais pesquisadores brasileiros na área de educação, enviou o seguinte comentário sobre esta estimativa:
“Entrei no site do Instituto Ayrton Senna e olhei os comentários sobre calendário escolar e não achei essa afirmativa dos 44%. Realmente, é preciso cobrar de onde veio isso.
Mas no site, sobre calendário escolar, vem destacado: “Impacto esperado: Aumentar em 29% o aprendizado anual”, tipo os 44%.
Resultados de estudos de fora ou daqui, cheios de contextos explícitos e não explícitos, dependentes do modelo de análise utilizado, não podem ser transpostos para outros lugares e situações e transformados em percentuais de desvios padrão de outras avaliações, etc. Para mim, essas extrapolações não tem base científica.
Um erro metodológico comum que se vê a toda hora é falar em aumento percentual de desempenho, como os 44% de aumento. Não dá. O percentual depende da escala considerada e dos valores arbitrados para a média.
Na escala de 0 a 100, um aumento de 44% para um aluno com nota 80 ou 100, ultrapassa o 100, obviamente um absurdo. Outros exemplos, um aumento de 20 para 40 é 100% de aumento. Um aumento dos mesmos 20 pontos de 80 para 100 é um aumento de 25%.
Outro exemplo, o SAEB tem uma escala única para as séries. Um aumento de 44% para a média dos alunos do 5º ano, em matemática, em 2009, cerca de 200, leva a média para 288, um aumento de 88 pontos, ultrapassando a atual média da 3ª série do EM. Para o EM, média em cerca de 275, um aumento de 44% dá um crescimento de 121 para 396. Observem que o aumento no EM é muito maior que o do 5º ano. Vejam o milagre como bem o Simon observou. Teríamos alcançado as metas do Todos pela Educação e as metas do IDEB.
Outro exemplo, na escala do PISA. o Brasil tem uma média em torno de 400. Um aumento de 44% leva a 576. Outro milagre. Passamos a Finlândia. Observem que 176 pontos equivalem a um aumento de 1,76 desvios padrão do PISA.
Os 29% dão números menores, mas não muda o quadro.
Outra afirmação que apareceu na imprensa foi sobre a redução do número de alunos na turma, que também dá um percentual extraordinário de ganho no desempenho. Essa afirmação é sobre um estudo no Tennessee, EUA. Transposto para a Califórnia, em escala global, foi um desastre.”
Esta história ilustra bem um problema muito comum que ocorre quando pesquisadores chegam a determinados números aparentemente simples, mas estimados de forma precária e duvidosa, e passam depois a querer adotá-los como base de políticas públicas de grande alcance. O raciocínio parece ser que números permitem estabelecer metas e avaliar políticas, e isto seria mais importante do que a qualidade e validade do número em si. É por isto que muitos insistem em definir uma linha de pobreza oficial para o Brasil, ou obrigar todas as escolas a colocar os resultados do IDEB nas portas, ou publicar nos jornais as avaliações das escolas, cursos superiores e universidades baseadas nas médias do ENEM ou no “conceito preliminar de cursos” calculado pelo INEP.
Estes abusos no uso de números alimentam os argumentos de muitos que dizem que a educação é importante demais para ser reduzida a números, e acabam se opondo a qualquer tipo de avaliação e mensuração de resultados. Eu certamente não penso assim, mas é importante que os números sejam utilizados como instrumentos de apoio para o entendimento da realidade, e não como seu substituto, um feitiche que esconde e deforma, mais do que revela e nos ajuda a entender
O autor permanece em silêncio, mas os dados provêm de uma “meta-análise” feita há tempos para a Fundação Ayrton Senna, que procura consolidar os resultados de um grande número de pesquisas sobre educação feitas no Brasil e no exterior.
Ruben Klein, um dos principais pesquisadores brasileiros na área de educação, enviou o seguinte comentário sobre esta estimativa:
“Entrei no site do Instituto Ayrton Senna e olhei os comentários sobre calendário escolar e não achei essa afirmativa dos 44%. Realmente, é preciso cobrar de onde veio isso.
Mas no site, sobre calendário escolar, vem destacado: “Impacto esperado: Aumentar em 29% o aprendizado anual”, tipo os 44%.
Resultados de estudos de fora ou daqui, cheios de contextos explícitos e não explícitos, dependentes do modelo de análise utilizado, não podem ser transpostos para outros lugares e situações e transformados em percentuais de desvios padrão de outras avaliações, etc. Para mim, essas extrapolações não tem base científica.
Um erro metodológico comum que se vê a toda hora é falar em aumento percentual de desempenho, como os 44% de aumento. Não dá. O percentual depende da escala considerada e dos valores arbitrados para a média.
Na escala de 0 a 100, um aumento de 44% para um aluno com nota 80 ou 100, ultrapassa o 100, obviamente um absurdo. Outros exemplos, um aumento de 20 para 40 é 100% de aumento. Um aumento dos mesmos 20 pontos de 80 para 100 é um aumento de 25%.
Outro exemplo, o SAEB tem uma escala única para as séries. Um aumento de 44% para a média dos alunos do 5º ano, em matemática, em 2009, cerca de 200, leva a média para 288, um aumento de 88 pontos, ultrapassando a atual média da 3ª série do EM. Para o EM, média em cerca de 275, um aumento de 44% dá um crescimento de 121 para 396. Observem que o aumento no EM é muito maior que o do 5º ano. Vejam o milagre como bem o Simon observou. Teríamos alcançado as metas do Todos pela Educação e as metas do IDEB.
Outro exemplo, na escala do PISA. o Brasil tem uma média em torno de 400. Um aumento de 44% leva a 576. Outro milagre. Passamos a Finlândia. Observem que 176 pontos equivalem a um aumento de 1,76 desvios padrão do PISA.
Os 29% dão números menores, mas não muda o quadro.
Outra afirmação que apareceu na imprensa foi sobre a redução do número de alunos na turma, que também dá um percentual extraordinário de ganho no desempenho. Essa afirmação é sobre um estudo no Tennessee, EUA. Transposto para a Califórnia, em escala global, foi um desastre.”
Esta história ilustra bem um problema muito comum que ocorre quando pesquisadores chegam a determinados números aparentemente simples, mas estimados de forma precária e duvidosa, e passam depois a querer adotá-los como base de políticas públicas de grande alcance. O raciocínio parece ser que números permitem estabelecer metas e avaliar políticas, e isto seria mais importante do que a qualidade e validade do número em si. É por isto que muitos insistem em definir uma linha de pobreza oficial para o Brasil, ou obrigar todas as escolas a colocar os resultados do IDEB nas portas, ou publicar nos jornais as avaliações das escolas, cursos superiores e universidades baseadas nas médias do ENEM ou no “conceito preliminar de cursos” calculado pelo INEP.
Estes abusos no uso de números alimentam os argumentos de muitos que dizem que a educação é importante demais para ser reduzida a números, e acabam se opondo a qualquer tipo de avaliação e mensuração de resultados. Eu certamente não penso assim, mas é importante que os números sejam utilizados como instrumentos de apoio para o entendimento da realidade, e não como seu substituto, um feitiche que esconde e deforma, mais do que revela e nos ajuda a entender
Nenhum comentário:
Postar um comentário