Pisa admite falhas em dados sobre o Brasil

Muitas respostas foram deixadas em branco e outras foram interpretadas de maneiras equivocadas

por: 

MS

 

Marcelo Soares

01 de Fevereiro 2017 - 

Imprimir

Os organizadores do Programa Internacional de Avaliação de Alunos (Pisa, na sigla em inglês), aplicado em 65 países, reconheceram falhas no preenchimento do questionário por escolas brasileiras em 2015 e prometeram corrigir o sistema antes de aplicar o teste em 2018. Os resultados das provas feitas pelos alunos não têm problemas.

Isso significa que é impossível tirar conclusões a respeito de como características da escola ou dos professores impactam no aprendizado dos estudantes. Em alguns Estados, por exemplo, a maioria das instituições sequer informou se era pública ou particular ou quantos computadores estavam à disposição das turmas; em outros, há muitas respostas deixadas em branco (leia sobre outros motivos para desconfiar do Pisa aqui).

“A não-resposta é uma ameaça severa à validade dos dados de pesquisas e, quando isso ocorre, deve-se redobrar o cuidado sobre as inferências realizadas”, escreveu Francesco Awisati, analista-chefe do Pisa na Organização para Cooperação e Desenvolvimento Econômico (OCDE), em resposta a um questionamento encaminhado por NOVA ESCOLA.

Por falhas como essas, é impossível tirar conclusões, por exemplo, sobre a diferença de desempenho entre alunos de escolas públicas e particulares e o papel do acesso à tecnologia no aprendizado ou relacionar o mau desempenho dos alunos à baixa qualificação dos professores.

Além da falta de preenchimento, algumas questões foram interpretadas de maneiras diferentes, o que causa muitas incongruências. Em uma das perguntas, a escola deveria informar quantos professores atuam nela e, entre eles, quantos têm graduação, quantos têm mestrado e quantos têm doutorado. “Nós percebemos, como vocês, que alguns diretores contaram os professores em duas categorias, enquanto outros podem ter colocado os docentes apenas na ‘mais alta’ qualificação, conforme as instruções”, disse Francesco.

Digamos que duas instituições que responderam ao questionário tenham 20 professores, dos quais dez têm mestrado e outros dez têm apenas graduação. Uma pode ter decidido responder 10 na pergunta sobre o mestrado e 10 na pergunta sobre graduação – conforme o pedido no enunciado. Outra respondeu 10 na pergunta sobre o mestrado e 20 na pergunta sobre graduação, visto que todos os professores com mestrado fizeram graduação. Assim, as respostas brasileiras ficaram muito comprometidas.

Isso fez com que os organizadores do Pisa descartassem os dados dessa pergunta no relatório internacional, segundo Francesco. “O problema com a questão deveria ter sido detectado nos testes de campo”, avalia. “Vamos melhorar o questionário para 2018, para evitar o mesmo problema”. O analista ainda acrescentou que a OCDE sempre leva em conta todas as críticas recebidas para que o teste evolua ao longo do tempo.