Grupo usa tecnologia para evitar que alunos 'colem' em provas

13/01/2011 

Empresa analisa folhas de respostas em computador.

Fiscais não conseguiam controlar mais de 100 mil 

alunos em exames.

Do New York Times

John Fremer, da Caveon Test Security, especializou
em pegar trapaceiros nas provas.
(Foto: Drew Angerer/The New York Times)

O estado do Mississipi tinha um problema envolvendo o crescente número de testes escolares e a tecnologia digital. Alunos do colegial, nos exames do fim de ano, estavam usando telefones celulares para trocar mensagens com as respostas.
Com mais de cem mil estudantes nos exames, os fiscais não conseguiam controlar a todos - principalmente quando alguns adolescentes conseguem digitar mensagens mesmo com os celulares dentro do bolso.
Assim, o estado contratou uma empresa que usa a própria tecnologia contra os trapaceiros: ela analisa folhas de respostas em computador, e identifica aquelas com combinações tão iguais de respostas certas ou erradas que as chances de casualidade seriam astronômicas. A cópia seria uma explicação praticamente assegurada.
Desde que essa empresa, a Caveon Test Security, começou a trabalhar para o Mississipi em 2006, a "cola" - nome popular da trapaça em provas e exames - foi reduzida em cerca de 70%, segundo James Mason, diretor do Gabinete de Avaliação Estudantil do Departamento de Educação do Estado. "Os estudantes sabem que, ao colar, há uma chance extremamente alta de serem pegos", disse Mason.
Como os testes têm se tornado cada vez mais importantes na educação - para determinar a graduação, a admissão em faculdades e, recentemente, pagamento por mérito e estabilidade para os professores -, os negócios têm sido bons para a Caveon, uma empresa que usa "análises forenses" para identificar trapaceiros e se autoproclama o único grupo independente de segurança de testes no país.
Seus clientes já incluíram a Comissão de Faculdades, o Conselho de Admissão das Faculdades de Direito e mais de uma dúzia de distritos escolares estaduais e municipais - entre eles, Flórida, Texas, Washington e Atlanta, geralmente depois de algum constrangedor escândalo.
"A cada ano que trabalho com testes houve mais cola que no ano anterior", disse John Fremer, de 71 anos, co-fundador da Caveon que já foi o principal desenvolvedor do exame do SAT (tipo de vestibular unificado nos Estados Unidos).
Expor trapaceiros usando anomalias estatísticas é uma prática de mais um século. O método mostrou que James Michael Curley, considerado o rei da malandragem na política de Massachusetts, e um conhecido haviam colado em seus exames do serviço civil em 1902 - pois tinham 12 respostas erradas idênticas.
A ciência da probabilidade evoluiu muito desde então, e a Caveon diz que sua análise de folhas de respostas é a mais sofisticada até hoje. Além de procurar por cópias, seus computadores - que são instalados num escritório em American Fork, no Utah, e conseguem processar mais de um milhão de registros - buscam por padrões ilógicos, como alunos que se saíram melhor em questões difíceis do que nas fáceis. Isso pode ser um sinal de conhecimento antecipado de parte do exame.
Os computadores também procuram por aumentos grandes demais na nota em relação a testes anteriores de alunos ou classes. Eles também contam o número de rasuras nas folhas de respostas, o que, em alguns casos, pode indicar que um professor ou administrador adulterou um exame.
Quando as anomalias são altamente improváveis - com ocorrência aleatória de, por exemplo, uma em um milhão -, a Caveon marca os testes para investigações adicionais por administradores escolares.
Embora sua análise forense de dados seja esotérica e a empresa opere no reservado mundo dos testes e exames, os métodos da Caveon não passam ilesos de críticas. Walter M. Haney, professor de pesquisa e mensuração da educação na Faculdade de Boston, afirmou que os métodos de análise de dados da empresa eram suspeitos - por não terem sido publicados em literatura acadêmica.
"É impossível saber a precisão dos métodos e até onde eles podem gerar falsos-positivos ou falsos-negativos", disse Haney, que em 1990 pressionou o Serviço de Testes Educacionais, criador do SAT, a apresentar suas próprias fórmulas de identificação de trapaceiros a um quadro externo de revisão.
David Foster, principal executivo da Caveon, disse que a empresa não publicou seus métodos porque estava ocupada demais servindo aos clientes. E acrescentou que o estatístico responsável da empresa estava disponível para explicar os algoritmos da Caveon a qualquer cliente curioso.
Outros meios usados pela empresa para acabar com a cola não se baseiam em estatísticas.
Para o Conselho de Admissão das Faculdades de Direito, que administra o LSAT (o SAT do curso de Direito) quatro vezes por ano a mais de 140 mil pessoas, a Caveon patrulha a internet em busca de questões vazadas em sites que chama de "lixeiras cerebrais", onde estudantes discutem abertamente um exame que acabaram de realizar.
"Depois dos testes, aparece todo tipo de coisa nos blogs, numa tentativa de adivinhar o que virá no futuro; existe toda uma indústria da cola", disse Wendy Margolis, porta-voz do conselho. A Caveon, que se recusou a revelar quanto cobra dos clientes, envia cartas às pessoas que operam esses sites, exigindo que retirem do ar os materiais sob a Lei de Direitos Autorais Digitais dos EUA.
Os testes padronizados são controversos frente a alguns pais e educadores, mas não para Fremer, presidente da Caveon, que abandonou recentemente os deveres administrativos. Ele sustenta que os testes o ajudaram a escapar de um passado braçal. Filho de um bombeiro de Nova York, ele obteve um Ph.D. da Columbia, em psicologia e mensuração educacional, e foi trabalhar para o Serviço de Testes Educacionais. Começou no departamento de aptidão verbal, e depois passou sete anos comandando uma grande reforma do SAT em 1994.
Fremer tem pouca paciência com críticos que afirmam que os testes padronizados não mensuram com precisão o talento acadêmico.
"Fundamentalmente", disse ele, "o teste é uma forma de verificar o que você sabe e o que não sabe e desenvolver níveis, e os críticos vão direto para os níveis. Bem, o teste os classifica, mas com base no conhecimento do aluno. E se você pensa que isso não é importante, há algo de inadequado em sua forma de pensar".
Embora seja interesse da Caveon dramatizar ou até mesmo inflar a incidência da cola, em 2010 um governador estadual criticou a empresa por subestimar a prática.
Contratada para analisar testes de Inglês e Matemática de alunos de Atlanta depois que uma auditoria identificou dúzias de escolas onde poderia ter ocorrido cola, a Caveon encontrou um problema muito menor. Ela identificou doze escolas primárias e ginasiais onde provavelmente a cola havia ocorrido, mas basicamente exonerou 33 outras da lista de escolas suspeitas do estado.
O governador Sonny Perdue criticou a conclusão e nomeou seus próprios investigadores em agosto.Numa entrevista ao " Atlanta Journal-Constitution", ele acusou a Caveon de tentar "confinar e restringir o problema", e sugeriu que empresa estaria tentando proteger possíveis contratos com outros distritos escolares.
Fremer negou essa alegação. Segundo ele, a análise forense de dados da Caveon em folhas de respostas era mais sofisticada.
O estado havia examinado somente uma métrica: o número de vezes em que respostas erradas haviam sido alteradas para as certas. As escolas identificadas como suspeitas tinham uma taxa estatisticamente mais alta de rasuras errado-para-certo frente à média estadual. Deduziu-se que adultos haviam alterado os testes.
A Caveon insiste que contar as rasuras errado-para-certo é apenas uma das diversas maneiras de garimpar os dados de respostas, e pode gerar acusações falsas. Fremer disse ser comum, por exemplo, os estudantes se perderem num exame e apagarem uma série de respostas assim que o erro é percebido.
"Nossa análise foi melhor", disse Fremer. "Foi mais abrangente. Nós não inflamos pequenas diferenças e fazemos uma tempestade com elas".
A filosofia da Caveon diz que não é necessário capturar cada trapaceiro para reduzir a cola no geral. Como os trapaceiros raramente confessam, mesmo quando confrontados com provas irrefutáveis, o melhor é identificar os casos mais graves e ignorar os mais incertos.
"Seu objetivo não é pegar um grupo de pessoas e enforcá-las", disse Fremer. "A meta é ter um sistema de testes válido e justo".
"O objetivo é a prevenção", afirmou ele, prático como poucos. "A detecção é um passo. Nós detectamos e prevenimos".