Compartilho com vocês artigo de Otávio Augusto S. Carpinteiro publicado no Portal Democracia e Transparencia em C&T, divulgado pelo JC e-mail 4746, de 13 de Junho de 2013. O debate sobre as métricas de produtividade tem sido objeto de muita discussão no universo da pós-graduação.
Um abraço,
Zé Maria
Para que serve a avaliação trienal da CAPES?
A Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) realiza, de três em três anos, uma avaliação de todos os programas de pós-graduação nacionais. Para este ano de 2013, está programada uma destas avaliações.
Para avaliar trienalmente os programas, a CAPES utiliza os chamados "documentos de área", documentos estes que contêm as métricas pelas quais são avaliados os programas. As métricas contidas nos documentos de área são, exclusivamente, métricas que medem a produtividade dos programas. Portanto, ao final de cada avaliação trienal, a CAPES obtém uma classificação dos programas de pós-graduação segundo suas produtividades. A classificação varia do nível três (para os programas menos produtivos) até o nível sete (para os programas mais produtivos).
Assim, a CAPES conclui, de três em três anos, que os programas classificados nos mais altos níveis são os programas de pós-graduação das universidades situadas nas capitais e nos grandes municípios. Embora esta conclusão da CAPES traduza-se em uma completa, total obviedade para os professores (e pesquisadores) dos pequenos programas situados nos pequenos municípios, não se pode, com isto, afirmar que as avaliações trienais não sejam relevantes para outros professores (e pesquisadores).
Para ilustrar, como exemplo, pode-se citar a oligarquia científica [1] que comanda e define as políticas para a ciência e tecnologia nacionais, oligarquia esta composta pelos pesquisadores bolsistas de produtividade (mas não de competência [2]) em pesquisa de nível 1 do CNPq. Para nossa oligarquia, as avaliações trienais são muito relevantes. De fato, são relevantes, pois nossa oligarquia encontra sérias dificuldades em compreender que a quantidade e qualidade dos recursos disponíveis aos professores (e pesquisadores) afetam fortemente a produtividade destes [3].
Assim, nossa oligarquia encontra sérias dificuldades em compreender que programas de pós-graduação situados em municípios com população de milhões de habitantes têm muito mais alunos que programas de pós-graduação situados em municípios com população de apenas algumas dezenas de milhar de habitantes. Igualmente, nossa oligarquia encontra sérias dificuldades em compreender que programas com mais de 450 alunos (dentre alunos de mestrado e doutorado), localizados em grandes municípios, devem obrigatoriamente possuir maior produtividade que programas com pouco mais de 30 alunos de mestrado, situados em pequenos municípios do interior. Para nossa oligarquia, portanto, é relevante que a CAPES conclua, de três em três anos, que seus programas de pós-graduação, com os maiores e melhores recursos, são, de fato, os mais produtivos.
Maior produtividade não indica, porém, maior competência, ou excelência, quando os recursos disponíveis são desiguais. De fato, na área de computação, quando se divide a produtividade dos programas, medida por meio de suas publicações científicas, pelo número de alunos e professores que possuem, mesmo considerando-se um aluno de mestrado como sendo igual a um de doutorado, percebe-se nitidamente que os programas classificados pela CAPES nos mais altos níveis não são os programas de maior competência, ou excelência.
O artigo "Competência segundo métricas de produtividade: Uma análise e consequências" [2] constata o fato de que pequenos programas classificados pela CAPES nos mais baixos níveis na área de computação (e provavelmente, também em outras áreas do conhecimento) são, verdadeiramente, programas de excelência. É bem natural que assim o sejam. Devido às políticas predatórias das agências de fomento nacionais e estaduais para com os professores (e pesquisadores) destes pequenos programas e para com estes próprios programas, tanto estes professores como seus programas aprenderam a ser altamente competentes. É a "seleção natural". Para compensar a falta de recursos humanos e de infra-estrutura de pesquisa, os pequenos programas ou são mais competentes que os programas classificados em mais alto nível e sobrevivem, ou possuem competência igual ou inferior aos de mais alto nível e são extintos.
O artigo "Um novo modelo de avaliação dos programas de pós-graduação a ser enviado à CAPES" [4] propõe um novo modelo para avaliação dos programas, de forma a que estes possam ser avaliados e classificados por competência, por excelência, e não por produtividade. Este modelo foi enviado ao presidente da CAPES no dia 22 de abril de 2013. Os professores que o construíram ainda aguardam a resposta da CAPES.
Em uma reunião recente dos coordenadores de pós-graduação da área de computação, na CAPES, foram convidados quatro renomados professores de universidades da Europa e dos Estados Unidos da América (EUA) para ouvir os coordenadores dos programas de níveis 5, 6 e 7 falarem de seus números, para fazer uma análise e dar parecer. Todos estes quatro professores ressaltaram o fato de que o único padrão que realmente importa para os programas de pós-graduação é a qualidade, a excelência do ensino e da pesquisa, e não a produtividade. O professor John Hopcroft da Cornell University, EUA, detentor do prêmio Alan Turing [5], por exemplo, mencionou:
"USA universities focus on quality and not on quantity";
"USA universities focus on excelence in quality of research";
"USA universities focus on excelence in teaching";
"Brazilian universities spend too much time on counting numbers, and not on doing research";
"you get what you measure: if you focus on the number of papers you end up doing that";
nos EUA, não há avaliações externas das universidades. Cada universidade faz a sua;
nos EUA, há 200 instituições de alta qualidade em ciência da computação;
perguntado sobre o índice H: "I would laught at H-index!".
Já o professor Eli Upfal, da Brown University, EUA, mencionou:
nos EUA, há uma alta interação universidade-empresa;
não importa a quantidade de doutores formados, mas sim a qualidade deles!;
comparou o tamanho do programa de computação da universidade de Berkeley com o da universidade de Princeton, enfatizando o fato de que o programa de computação de Berkeley tem muito mais professores, muito mais alunos de doutorado, forma muito mais doutores e produz muito mais pesquisas e publicações que o programa de computação de Princeton. Apesar disto, mencionou que, se precisar contratar um excelente recém-doutor em computação, vai procurá-lo não só em Berkeley, mas também em Princeton, pois tanto o programa de computação de Berkeley quanto o de Princeton são de alto padrão.
Seria bem interessante, pois, imaginar a CAPES mudando-se para os EUA. Em sua primeira avaliação trienal das universidades norte-americanas, fazendo uso de suas métricas de produtividade, classificaria o programa de pós-graduação de computação de Berkeley no nível 7. Já o de Princeton, por sua baixa produtividade em relação a Berkeley, seria classificado no nível 3. Além disto, naturalmente, a CAPES descredenciaria o curso de doutorado de Princeton.
Sinto apreço pela universidade de Princeton por ter abrigado, em suas fileiras, verdadeiramente grandes cientistas. Sinto-me muito satisfeito, portanto, pela sorte que Princeton tem de situar-se nos EUA, a mais de sete mil quilômetros de distância da CAPES.
Referências
[1] Portal Democracia e Transparência em C&T, O CNPq e sua oligarquia, disponível em http://democracia-e-transparencia-em-ct.blogspot.com.br/2009/08/o-cnpq-e-sua-oligarquia.html (ou também em http://www.jornaldaciencia.org.br/Detalhe.jsp?id=57758).
[2] Carpinteiro, O. A. S., Competência segundo métricas de produtividade: Uma análise e consequências, disponível em http://democracia-e-transparencia-em-ct.blogspot.com.br/2011/09/competencia-segundo-metricas-de.html.
[3] Carpinteiro, O. A. S., Entrevista ao Programa Interconexão Brasil, da TV BHNews, do dia 1 de maio de 2013, disponível emhttp://www.youtube.com/watch?v=cjA1tQzxe9o (ou também em http://bhnews.tv.br/videos.php).
[4] Carpinteiro, O. A. S., Um novo modelo de avaliação dos programas de pós-graduação a ser enviado à CAPES, disponível emhttp://democracia-e-transparencia-em-ct.blogspot.com.br/2013/03/um-novo-modelo-de-avaliacao-dos.html.
[5] Association for Computing Machinery (ACM), disponível em http://amturing.acm.org/award_winners/hopcroft_1053917.cfm.
Postado por democraciaetransparencia
Otávio Augusto S. Carpinteiro é professor na Universidade Federal de Itajubá, MG
http://www.jornaldaciencia.org.br/Detalhe.jsp?id=87544 JC e-mail 4746, de 13 de Junho de 2013