Ranking incorpora novidades como a avaliação da qualidade de ensino nas 30 carreiras com maior número de matriculados
A s regiões Sul-Sudeste concentram 19 das 25 melhores universidades do país. São Paulo aparece à frente, com cinco instituições, seguido por Rio de Janeiro (quatro), Minas Gerais, Paraná e Rio Grande do Sul (três cada) e Santa Catarina (uma). O Nordeste tem quatro (Bahia, Ceará, Paraíba e Pernambuco) e o Centro-Oeste, duas (Goiás e Distrito Federal).
USP, UFRJ e UFMG encabeçam o ranking. A região Norte não aparece no grupo principal.
A título de comparação, a nota média do grupo de elite do RUF (86,79) é 27% superior à média das 25 instituições que vêm a seguir no ranking de universidades (68,40).
Essa radiografia regionalizada do ensino superior brasileiro emerge da edição 2013 do RUF, cujo ranking geral, publicado integralmente nesse suplemento, classifica as 192 instituições reconhecidas como universidades pelo Ministério da Educação.
Em sua segunda edição, o RUF manteve a filosofia e aperfeiçoou a metodologia para contemplar duas grandes áreas de interesse: a produção científica -aferida com base em indicadores de pesquisa, inserção internacional e inovação- e a graduação, calcada na avaliação da qualidade de ensino e na ressonância da instituição no mercado de trabalho.
No total, são avaliados 5 indicadores, subdivididos em 16 subindicadores, que geram rankings independentes e podem ser consultados separadamente (veja a metodologia na pág. ao lado).
É na área de graduação que está a maior novidade deste ano: o ranking de ensino, uma análise extensiva inédita dos indicadores dos cursos ministrados em 2.358 instituições.
A avaliação contempla as 30 carreiras com maior número de estudantes matriculados em 2011 (último dado disponível no instituto de pesquisa do MEC, o Inep).
Conduzido pelo Datafolha, o levantamento usa basicamente os mesmos critérios de ensino e mercado do ranking geral de universidades, mas com adaptações metodológicas para atender às diferenças de propósitos das instituições -que nesse caso incluem também os centros universitários e faculdades (veja quadro na pág. 19).
Dada a extensão do universo pesquisado, o ranking de cursos é publicado em versão limitada aos dez primeiros colocados. As tabelas completas podem ser consultadas no site do RUF.
RESULTADOS
A USP aparece com destaque nesse levantamento pormenorizado, com o maior número de cursos no top 10 das 30 carreiras analisadas. A maior universidade estadual paulista só não pontua em serviço social porque não tem essa graduação.
A ampliação da avaliação do ensino por curso permitiu ainda identificar destaques entre instituições que não são classificadas como universidades. As faculdades Insper e a FGV-SP, por exemplo, ficaram entre as dez melhores nas duas carreiras de seus portfólios analisadas pelo RUF.
Outra novidades do RUF 2013 é a criação do ranking de internacionalização, liderado na estreia pela Universidade Federal do ABC. Criada em 2005 e com um modelo inovador de ensino, a instituição tem 100% de docentes com doutorado e desponta no 21º lugar do ranking de pesquisa científica do RUF.
Colaboraram BRUNO FÁVERO e BRUNO LEE, colaboração para a Folha
ANÁLISE
Fazer ranking implica estar aberto à ideia de retoques constantes
Mudança nos indicadores permitiu avaliar não só as instituições, mas cursos oferecidos por universidades, faculdades e centros universitários
Rankings universitários, principalmente em suas primeiras edições, são uma obra em construção. Se a própria ideia de traduzir num único indicador numérico a enorme teia de complexidades que caracterizam as atividades universitárias já é problemática, definir quais indicadores utilizar e qual peso atribuir-lhes apenas amplia o leque de dúvidas e questionamentos.
A única certeza que desponta do exercício de elaborar um ranking é a de que haveria outros caminhos igualmente válidos, o que na prática implica aceitar a ideia de que esse tipo de empreitada deve estar aberta a constantes aperfeiçoamentos.
Essa, aliás, é a regra nos rankings internacionais. Um dos mais reputados, o THE (Times Higher Education), criado em 2004, promoveu mudanças em todas as versões exceto a de 2012.
À primeira edição do RUF, em 2012, seguiu-se a esperada chuva de críticas, que foram debatidas em âmbito externo e interno. Muitas delas foram incorporadas pela equipe, outras, descartadas e houve ainda problemas que foram considerados momentaneamente insolúveis.
Tudo isso resultou numa série de mudanças que aparecem agora no RUF 2013.
A mais notável delas é a reformulação do indicador de ensino. No RUF 2012, para tentar capturar essa dimensão, o Datafolha havia entrevistado 597 pesquisadores cadastrados no CNPq que opinaram sobre quais eram as melhores graduações.
Havia, contudo, um problema e ele estava no fato de a base ser composta por pesquisadores que não necessariamente estavam familiarizados com questões de ensino. Na versão 2013, após entendimentos com o Inep, o Datafolha passou a utilizar como base os professores universitários que fazem a avaliação de graduações para o MEC. De um total de 4.354 especialistas, 464 foram entrevistados e deram sua opinião sobre os melhores cursos do país, em suas áreas.
Também se agregou ao módulo de ensino três indicadores objetivos: o percentual de professores com doutorado, com dedicação integral e a nota dos cursos de graduação no Enade. Este último recebeu, entretanto, uma pontuação baixa (2% do total da nota de cada universidade, contra 4% para os anteriores). A ideia aqui é que esse é um exame promissor, mas que ainda apresenta problemas, notadamente os boicotes organizados por alunos e as retenções de formandos, de que algumas escolas se utilizam para melhorar suas notas.
Tão logo as dificuldades sejam resolvidas, espera-se aumentar o peso do Enade no RUF.
A mudança da base de entrevistados e a inclusão de indicadores objetivos permitiram ao RUF 2013 avaliar não apenas universidades, como em 2012, mas também cursos individuais oferecidos não só por universidades mas também por centros universitários e faculdades. Foram ranqueadas 2.358 escolas que disponibilizam graduação nos 30 cursos com mais matrículas. Essa é a grande novidade do RUF 2013.
Outro módulo que mereceu críticas em 2012 foi o do mercado de trabalho. Para definir quais eram as melhores instituições aos olhos do mercado, o Datafolha entrevistou responsáveis pela área de recursos humanos de empresas. Um dos problemas aqui é que os resultados carregam muito do tamanho das instituições. Uma universidade grande, que forme muita gente, tende a receber mais menções do que uma escola menor, mesmo que esta seja de melhor qualidade.
Infelizmente, não foi encontrada uma fórmula para eliminar ou ao menos reduzir esse efeito (se alguém tiver uma sugestão, procure o blog do RUF). Decidiu-se, entretanto, por manter a avaliação, com um peso um pouco menor (18% contra 20% em 2012), já que o mesmo viés provavelmente aparece também nas contratações, fazendo assim parte do mundo real.
Diferentemente de 2012, quando foi avaliada a inserção de egressos dos 20 cursos que mais formam, neste ano foram considerados os 30 cursos com mais matrículas no ano de 2011.
Os blocos que praticamente não sofreram alterações foram o de inovação e de pesquisa, visto que são áreas nas quais existem indicadores objetivos à profusão e que já foram bastante discutidas na literatura internacional. As mudanças aqui se limitaram a pequenas alterações no peso dos subindicadores de pesquisa.
Vale ainda mencionar a internacionalização, que aparecia de forma embrionária no bloco de pesquisa em 2012 e se tornou um módulo independente com mais subindicadores em 2013.
A justificativa é que o grau de inserção internacional de uma universidade é um item que vem recebendo cada vez mais atenção em todo o mundo.
Uma descrição mais detalhada da metodologia empregada no RUF 2013, bem como as diferenças em relação à edição de 2012, pode ser encontrada no site do ranking. Embora seja possível conferir a evolução de uma universidade de um ano para o outro, vale lembrar que as mudanças metodológicas não recomendam que se dê muita atenção a essa comparação.
PESQUISA
São Paulo tem 5 das 10 líderes em produção científica
Estabilidade no financiamento e recursos garantidos fazem estado predominar no indicador; união tenta desconcentrar a produção
O RUF 2013 confirma: apesar dos esforços do governo federal para disseminar a produção científica por outras regiões do país, a maior parte da pesquisa nacional de qualidade continua concentrada no Estado de São Paulo.
Das dez primeiras colocadas nesse indicador, cinco são paulistas -todas as universidades estaduais (USP, Unicamp e Unesp) e duas federais em São Paulo (Unifesp e UFSCar).
Pesquisadores de outros Estados não vacilam ao apontar o fator que anaboliza esse desempenho: a estabilidade na política de financiamento. Desde a década de 1960, São Paulo tem sua agência de fomento específica, a Fundação de Amparo à Pesquisa.
Mantida com dinheiro do governo estadual, ela financia trabalhos de qualquer faculdade paulista, incluindo as privadas.
"Todos gostariam de ser uma Fapesp", afirma Sergio Gargioni, presidente da contraparte catarinense, a Fapesc, e do Confap (Conselho Nacional das Fundações de Amparo à Pesquisa).
A agência paulista recebe, por lei, 1% da arrecadação estadual, livre de contingenciamentos do Executivo. É algo em torno de R$ 1 bilhão, equivalente a todo o orçamento da Federal da Bahia.
As estaduais paulistas ainda dividem 9,57% do ICMS, livres de contenção. Só a USP deve receber neste ano R$ 4,3 bilhões, valor equivalente à soma dos recursos das federais do Rio (UFRJ), Minas (UFMG) e Bahia (UFBa).
Com verba garantida, a USP consegue manter um programa próprio de financiamento de pesquisas, que contou com R$ 200 milhões entre 2010 e 2012.
Há, ainda, dinheiro de empresas. Para o diretor-científico da Fapesp, Carlos Henrique de Brito Cruz, a intensa atividade de pesquisa no setor produtivo paulista também influencia os resultados acadêmicos de São Paulo.
"O percentual de recursos para pesquisa que vem de empresas para as estaduais paulistas supera a média dos EUA", diz.
DESCONCENTRAÇÃO
A concentração já foi pior.
"Em 1993, 70% dos grupos de pesquisa cadastrados no CNPq eram paulistas. O número de grupos aumentou [hoje são quase 28 mil], mas a concentração diminuiu. São Paulo tem agora 46%", afirma Glaucius Oliva, presidente do CNPq, principal agência de fomento do governo federal.
Colaborou para a mudança, diz Oliva, uma lei de 2001 que destina 30% dos recursos dos fundos setoriais para pesquisa no Norte, Nordeste e Centro-Oeste. "Fazíamos um esforço para receber pedidos de financiamento de pesquisa nessas regiões. Hoje há propostas competitivas."
Segundo Oliva, já há polos de pesquisa em Natal (neurociência) e Campina Grande (tecnologia).
Colaboraram FÁBIO TAKAHASHI e SABINE RIGHETTI
Maioria das instituições não deveria receber título de universidade
ROGÉRIO MENEGHINIESTÊVÃO GAMBA
A classificação de uma instituição de ensino superior como UP (Universidade de Pesquisa) foi introduzida nos EUA em 1970, pela Fundação Carnegie, para diferenciar as instituições extensivamente engajadas em atividades de pesquisa. A ideia é que as UPs fossem responsáveis pela produção de parte significativa da ciência de ponta americana.
Entre as 7.300 instituições de ensino superior dos EUA, o total de UPs variou entre 50 e 100.
Em 2005, novo modelo de classificação foi instituído, bem mais amplo, que destaca as áreas de ensino, mas o termo universidade de pesquisa ainda é utilizado.
A importância delas no Brasil é maior do que em países avançados, pois aqui a pesquisa realizada pelo setor empresarial ainda é pouco numerosa. Nessa linha, é importante estimular a atuação das UPs na área de inovação, ainda incipiente.
O sistema brasileiro de distribuição de verbas públicas para pesquisa é satisfatório em volume. São cerca de 0,6% do PIB (US$ 15 bilhões). A distribuição é razoavelmente criteriosa, com avaliação de qualidade. O dispêndio envolve as agências federais CNPq e Capes e as FAPs (Fundações Estaduais de Amparo a Pesquisa), que empregam recursos significativos, comparáveis aos aplicados em países como Inglaterra e Espanha.
UPS NACIONAIS
No RUF de 2013, é possível notar 36 universidades que captaram um mínimo de R$ 20 milhões para pesquisa, um montante significativo. São 26 federais, sete estaduais e três privadas.
Elas são responsáveis por 70% de toda a produção científica brasileira em 2009-2010 e podem ser consideradas UPs, na medida em que grande parte de seus docentes está envolvida nesta atividade e na formação de doutores.
No outro extremo estão cerca de dois terços das universidades brasileiras, com uma fração baixa de docentes envolvida em produção científica. Pelos critérios do MEC, são reconhecidas como universidades, mas seriam mais propriamente consideradas Instituições de Ensino Superior.
Embora tenhamos universidades de alta qualidade, elas ainda não fazem parte do time de "world class" nos rankings internacionais. A USP, melhor universidade do Brasil de acordo com o RUF, está em 158º lugar na lista do THE (Times Higher Education), muito longe das líderes Caltech (EUA) e Oxford (Reino Unido). Faltam-lhe dois ingredientes importantes: a internacionalização mais pujante do corpo docente e um investimento maior voltado à atração do alunato internacional.
Rogerio Meneghini é coordenador científico do Programa SciELO (base que reúne 323 periódicos científicos nacionais com acesso aberto), professor aposentado da USP e responsável pela medição científica do RUF.
Estêvão Gamba é doutorando da Unifesp e corresponsável pela medição científica do RUF.
Enade tira USP do topo da graduação
Única escola do país que não participa do exame federal, a Universidade de São Paulo perde pontos e fica atrás das federais UFRGS e UFMG
Primeira colocada no ranking geral do RUF e dona de alguns dos cursos mais cobiçados do país, a USP perdeu para as federais UFRGS e UFMG no indicador de ensino.
A desvantagem da universidade estadual paulista pode ser explicada por uma decisão metodológica desta edição 2013: a inclusão do Enade, exame nacional do MEC, como critério para avaliar cursos de graduação.
A USP é a única escola do país que até este ano se recusava a participar da prova, escorada no argumento das deficiências do exame, que não permite, por exemplo, identificar se uma nota baixa é reflexo de boicote do aluno.
Parte da sociedade, porém, encarava a decisão como uma recusa da universidade a se submeter a avaliações comparativas.
Sem o Enade, a USP perdeu de largada dois pontos. Como sua diferença em relação à líder de ensino, UFRGS, foi de 1,07 ponto, ela provavelmente assumiria a ponta também nesse indicador, caso tivesse feito a prova.
Um dado reforça essa possibilidade. A estadual paulista ficou à frente das duas federais nos outros três subindicadores de ensino (opinião dos avaliadores do Inep-MEC, docentes com doutorado e com dedicação integral).
A inclusão do Enade no RUF atende o objetivo de valorizar a participação das universidades numa avaliação nacional e padronizada dos estudantes.
O entendimento é que a prova federal, criada em 2004 e feita anualmente por cerca de 500 mil formandos, pode dar informações pertinentes sobre a qualidade da formação nas instituições.
No mês passado, a USP anunciou a adesão em caráter experimental, mas suas notas não serão divulgadas ao menos nos próximos três anos. Os alunos também poderão faltar ao teste, sem qualquer punição -nas federais e particulares obrigadas por lei a fazer o exame, os ausentes não conseguem tirar o diploma.
A pró-reitoria de graduação diz que "reconhece o Enade como indicador de qualidade", mas aguarda aprimoramentos para aderir a ele integralmente.
A entrada tardia no exame federal atrapalhou também a Unicamp, que começou a participar apenas em 2010 e não tem notas em todos os cursos. A escola de Campinas ficou em 7º no ensino.
DISCREPÂNCIA
A complexidade do RUF traz uma situação que pode parecer contraditória. A USP é 3ª colocada no indicador geral de ensino, mas é a universidade com o maior número de cursos em primeiro lugar (sete).
Para o Datafolha, que tabulou dos dados, isso pode ocorrer porque a nota geral leva em conta todos os cursos das 192 universidades, e não apenas as 30 carreiras avaliadas individualmente no RUF. Assim, alguns dos outros 219 cursos oferecidos pela USP podem perder pontos para concorrentes, como as federais de Minas e do Rio Grande do Sul.
AS LÍDERES
Primeira colocada no ranking das graduações, a UFRGS afirma que a universidade foi impulsionada pela contratação, nos últimos cinco anos, de 750 professores, que se somaram aos então 2.000 docentes, como parte do programa de expansão das universidades federais, iniciado em 2007 -95% dos novos educadores têm titulação de doutor.
"Ganhamos em vitalidade e em novas ideias. Os recém-contratados se aliaram a um corpo docente já consolidado", afirma o reitor Carlos Alexandre Netto.
A UFMG diz que seu ponto forte é a integração de ensino e pesquisa. O reitor Clélio Campolina Diniz cita como exemplo um acordo recém-fechado com a Fiat para desenvolvimento dos motores a álcool usados nos veículos da montadora. Os estudantes poderão participar do projeto.
Perfil dos professores influencia ranking de ensino
Variáveis como docentes com doutorado e dedicação integral podem influir mais na qualidade do curso do que a infraestrutura
A partir desta edição, o RUF passa a adotar dois subindicadores para avaliar a qualidade dos docentes na graduação: número de doutores e de professores que trabalham em regime de dedicação integral.
A inclusão do primeiro se baseia na aceitação mundial do critério, adotado pelos principais rankings internacionais e consenso de qualidade entre especialistas.
Já o segundo contempla uma peculiaridade do cenário nacional -o predomínio de instituições com professores que apenas dão aulas, sem tempo remunerado para atender alunos e fazer pesquisas.
Esses fatores podem ser mais efetivos do que a infraestrutura da escola, avalia o professor de economia da USP Reynaldo Fernandes, que estudou as variáveis que influenciam a qualidade do ensino quando era presidente do Inep, entre 2005 e 2009.
"Testamos todos os dados disponíveis. Doutorado e dedicação integral apareceram como os mais significativos", diz. Em 2008, os dois quesitos passaram a integrar a lista oficial que o MEC adota na fiscalização dos cursos.
O pesquisador pondera, porém, que esses subindicadores podem não ter tanto impacto em cursos que exigem uma ligação mais estreita com o mercado.
A área de publicidade é um caso exemplar. Nela, a ESPM é considerada a melhor tanto pelos avaliadores do MEC quanto pelos executivos de RH. Mas, como a escola aparece na 116ª posição da lista de docentes com doutorado, cai para o terceiro no ranking de ensino. A ESPM tem 31% de doutores; a USP conta com 99%.
"Buscamos professores que sejam atuantes no mercado de trabalho, e dificilmente eles têm doutorado", afirma o pró-reitor de graduação da ESPM, Marcelo D'Emídio. "Mas à medida que haja mais profissionais com titulação, vamos atrás deles. É o perfil que buscamos."
Os dois subindicadores foram usados em conjunto apenas no ranking geral de universidades. Na análise dos 30 cursos que mais formam, o item dedicação integral deixou de ser adotado por falta de dados do Inep-MEC.
É essencial desenvolver informações melhores da universidade
Ensinar e aprender são mais difíceis de quantificar. Faltam ferramentas para comparar a qualidade do ensino de diferentes disciplinas
Há muito em jogo no ensino superior. Governos e público esperam, com razão, que as universidades elevem o nível nacional de capacitação, fomentando a modernização continuada e o avanço da prosperidade.
Pesquisas produzidas em universidades enfrentam grandes problemas humanos, como saúde pública, projeto urbano, segurança de alimentos e água e mudança do clima. Ao mesmo tempo, a pesquisa tem papel cada vez mais central nas economias propelidas pelas inovações em produtos e marketing -e a ciência e o estudo se tornaram grandes instrumentos de desenvolvimento regional e de melhoria da vida urbana.
O surgimento de ensino e pesquisa de classe mundial é um dos traços principais nas duas grandes zonas de desenvolvimento acelerado do século 21, a América Latina e o leste da Ásia. A crescente força das universidades do Brasil é tanto sintoma quanto causa da crescente força do Brasil no cenário mundial.
A USP é uma instituição de primeira linha em termos de ciência e desempenho acadêmico. Outras universidades brasileiras também estão começando a ganhar importância internacional. As escolas de primeira linha são poderosas concentrações de talento, criatividade, percepção, ideias e desenvolvimento de produtos.
É crucial que o Brasil desenvolva mais instituições como essas. Os países sem universidades de classe mundial se verão cada vez mais sujeitos a agendas determinadas fora de suas fronteiras. A fraqueza na educação e na ciência significa neocolonização e dependência.
Mais e mais famílias desejam saber quais as melhores universidades para seus filhos. Público, governo e empresas querem saber quais devem ser foco de investimento e como as instituições brasileiras se comparam às universidades de outros países, e umas às outras.
Tudo isso torna essencial o desenvolvimento de informações melhores sobre as universidades. Trata-se de instituições complexas, com muitos papéis e muitas formas de produção. Uma maneira de enquadrar as informações é classificá-las em comparação direta, com critérios determinados pelos diferentes elementos da atividade universitária: ensino e aprendizado, pesquisa, inclusão social, conexões internacionais e assim por diante.
Com seu ranking de universidades brasileiras, a Folha fez exatamente isso. O ranking resume um problema complexo em termos claros e simples.
Mas esse processo também tem seus limites e pontos fracos, e é importante tê-los em mente.
Muitas vezes, os rankings combinam dados objetivos -fatos observáveis, tais como o número de alunos e de estudos publicados ou as verbas investidas- a fatores subjetivos, baseados em pesquisas. Pesquisas de opinião, quer entre leigos, quer entre especialistas, sempre se baseiam em informações parciais, distorcidas e imprecisas. Não podemos depender delas para oferecer comparações precisas entre instituições. Dados sólidos e observáveis são muito mais úteis.
ENSINAR E APRENDER
Os rankings medem algumas formas de produção universitária de maneira mais completa e precisa que outras. Os indicadores de pesquisa em termos de número de estudos publicados, e do impacto desses estudos com base no número médio de citações acadêmicas, são relevantes e têm base sólida. Mas esses indicadores não nos dizem tudo sobre a relevância social e econômica e o impacto das pesquisas.
Ensinar e aprender são muito mais difíceis de quantificar. Faltam-nos ferramentas para comparar precisamente a qualidade do ensino de diferentes disciplinas universitárias, quanto mais para comparar uma universidade à outra, ou países inteiros. Podemos medir os recursos materiais investidos, mas não a qualidade das aulas e seus efeitos a longo prazo sobre o avanço na capacitação dos estudantes.
Indicadores de internacionalização e de contribuições das universidades à inovação capturam apenas pequena porção das ricas atividades que essas rubricas abarcam. Isso não significa que sejam inválidos, mas que os rankings devem ser tratados como uma dentre diversas fontes possíveis de informação.
Surgem outros problemas quando esses diferentes elementos são combinados em um índice e tabela de classificação únicos. Para combinar os diferentes elementos, é preciso desenvolver um sistema de ponderação. Ponderar é um processo estimativo, e o ranking combinado resultante tem pouco valor objetivo. Essa é uma área na qual o processo de ranking envolve simplificação excessiva. É melhor classificar universidades em termos de indicadores únicos do que de indicadores combinados.
A despeito desses problemas, as comparações e rankings universitários são um setor em crescimento. O debate sobre a precisão e validade dos indicadores fomenta uma cultura de melhora na mensuração. No futuro, devemos ter novas formas de rankings universitários, bem como melhora continuada na qualidade das comparações.
SIMON MARGINSON é professor de educação superior no Centro de Estudos do Ensino Superior da Universidade de Melbourne.
Tradução de PAULO MIGLIACCI
Tradução de PAULO MIGLIACCI
Nenhum comentário:
Postar um comentário