O que está acontecendo com a revisão por pares?

No número de 28 de abril da Nature deste ano o Prof. Hidde Ploegh, da Whitehead Institute of the Massashussets Institute of Technology em Cambridge (EUA), manifestou sua indignação contra a tirania de revisores de artigos que atuam para revistas de altíssimo fator de impacto – como Nature e Science, por exemplo, mas também a Proceedings of the National Academy of Sciences of the USA (famosa PNAS), dentre outras.

Ploegh manifesta sua indignação contra a exigência de revisores em realizar experimentos adicionais para obter dados que, segundo seu ponto de vista, acrescentam muito pouco ao resultado geral do estudo apresentado em um manuscrito. Estaria tudo muito bem se isso não atrasasse o andamento da pesquisa de grupos formados por estudantes de doutorado e de pós-doutorado, que acabam por postergar a publicação destes artigos e a obtenção de seus títulos de doutorado (no caso dos primeiros) ou conseguir uma vaga na academia (no caso dos segundos). Ploegh ressalta o enorme custo associado a uma simples revisão de um artigo, que pode resultar em até 1 ano de trabalho adicional por parte dos estudantes (nos EUA quem paga a bolsas de doutorado e de pós-doutorado é o coordenador do projeto, com parte do dinheiro destinado ao projeto geral). O resultado é que, embora as revistas estejam publicando artigos cada vez melhores, e seus fatores de impacto estejam aumentando, as verbas destinadas para a pesquisa não aumentam como o fator de impacto, e isso causa uma insatisfação na comunidade científica (segundo Ploegh).

Ploegh argumenta que buscar eventuais “omissões experimentais” nos trabalhos submetidos está além do escopo destes. Para Ploegh, ao que tudo indica os revisores dos artigos buscam apenas propagar um conceito de se buscar ser um revisor “crica” em vez de ser um revisor crítico. O mais irônico é que revisores destes artigos são também autores e, portanto, estão sujeitos a sofrerem o mesmo tipo de revisão.

Paralelamente, segundo Ploegh os editores das revistas entraram na mesma onda, e, buscando formas de apresentar uma “avaliação crítica” dos manuscritos, acabam por requerer revisões de quatro e até cinco revisores para um mesmo manuscrito. Como os próprios editores parecem não (ou não poder) avaliar os manuscritos, passaram a adotar tais práticas de maneira não questionável.

Plough então sugere que os editores deveriam considerar os seguintes pontos quando avaliações exacerbadas são apresentadas por revisores de manuscritos:

a) que os revisores forneçam indicativos dos custos e esforços adicionais para se realizar novos experimentos que estão sendo solicitados;

b) que as revistas contratem editores com a experiência acadêmica necessária para avaliar se as exigências apresentadas pelos revisores são pertinentes ou não;

c) que antes de mais nada os revisores avaliem o mérito do manuscrito sob análise.

Desta forma os editores poderão considerar que, se determinado manuscrito é digno de ser publicado na revista a qual editam, o manuscrito deve ser avaliado em termos de rigor científico e qualidade dos dados obtidos. Ploegh adverte que múltiplas revisões raramente resultam em mudanças substanciais nas conclusões de uma determinada investigação. Porém, segundo Ploegh, a implementação de uma mudança na filosofia da avaliação dos manuscritos, de forma a ser mais objetiva e meritocrática, resultaria em uma redução substancial dos custos associados à realização de experimentos adicionais para comprovar o que já está provado.

Tudo estaria muito bem, se Eric L. Altschuler não tivesse rebatido os argumentos de Ploegh, dizendo que experimentos adicionais são sempre bem vindos para melhorar a qualidade do trabalho em avaliação. Altschuler afirma que a boa ciência é aquela que pode ser reproduzida por outros, e, para isso, deve ser possível de ser reproduzida de diferentes maneiras. Altschuler argumenta que é melhor que os autores gastem mais tempo desenvolvendo experimentos adicionais porque isso será mais barato do que outros grupos tentarem reproduzir experimentos não reproduzíveis. Já Daniel Mietchen exorta aos editores (?) ou aos autores (?) tornarem públicos os pareceres dos revisores. Desta forma  leitores dos pareceres poderão avaliar se estes são razoáveis ou não. Desta forma a análise pública dos pareceres poderá contribuir ainda mais para a reputação dos periódicos.

Particularmente, considero a observação de Daniel Mietchen muito interessante. E você, leitor, o que acha desta discussão?

ResearchBlogging.orgPloegh, H. (2011). End the wasteful tyranny of reviewer experiments Nature, 472 (7344), 391-391 DOI: 10.1038/472391a
ResearchBlogging.orgAltschuler, E. (2011). Peer reviews: in praise of referees Nature, 473 (7348), 452-452 DOI: 10.1038/473452a
ResearchBlogging.orgMietchen, D. (2011). Peer reviews: make them public Nature, 473 (7348), 452-452 DOI: 10.1038/473452b



Categorias:publicações científicas

Tags:, , , ,

8 respostas

  1. Excelente e necessária discussão!

    E acrescento mais uma questão à revisão por pares: a morosidade desse processo – muitas vezes inaceitável, fazendo um artigo submetido demorar um ano ou mais para ser publicado.

    Num momento em que se alcançou rapidez e grande dinâmica na publicação de revistas científicas, proporcionadas pelas tecnologias digitais, é insustentável essa demora no sistema de peer review.

    • Ah, é verdade, Sibele.

      Tem mais este aspecto também: a morosidade da avaliação. Ninguém gosta. Pretendo abordar este aspecto da revisão por pares muito brevemente.

      Tudo de bom,
      Roberto

  2. A preocupação com a credibilidade de cada artigo científico é fundamental, mas não pode se tornar um estorvo para o desenvolvimento da ciência.

    A solução seria, uma vez avaliado o mérito do artigo, publicá-lo juntamente com as críticas e sugestões dos revisores.

    Desta forma, todos ganhariam: os autores teriam o rápido reconhecimento pelo mérito de seu trabalho, e a comunidade científica teria rápido acesso àquele conhecimento, com as devidas ressalvas. A credibilidade estaria preservada, sem prejuízo da agilidade.

    Dependendo da relevância do artigo, as sugestões dos revisores poderiam, então, ser executadas pelos seus autores, ou por qualquer outro grupo interessado, gerando publicações futuras. Não é exatamente isso que esperamos do processo científico?

    • Caro Fábio,

      Muito obrigado por seu comentário. Já existem revistas que fazem isso, como o The EMBO Journal. Aqui mesmo, neste blog, discuti sobre esta prática desta revista. Veja aqui.

      cordialmente,
      Roberto

  3. Roberto

    O problema é que há quarenta ou cinqüenta anos as principais fontes de renda dos professores e pesquisadores era seu salário. Uma boa publicação era uma satisfação pessoal para o pesquisador, dava-lhe reconhecimento e talvez facilitasse alguma promoção.

    Hoje uma boa publicação, ou melhor o seu nome como autor numa revista de renome, significa muito dinheiro, significa a possibilidade de migrar para outra universidade que paga mais (não esqueça que no USA, não se tem o mesmo salário para professores da Califórnia para os do Alabama).

    Ou seja, as pessoas perderam o gosto por escrever, virou um enorme negócio.

  4. Roberto, é como falam da democracia: revisão por pares é a pior estratégia fora todas as outras que ja tentamos. O processado ser lento é produto de seu caráter altruísta, mas que acho que deve permanecer assim. Receber para revisar seria prejudicial e dificultaria ainda mais o acesso aos artigos por tornar as revistas mais caras. Falta de noção de revisores vai acontecer sempre, seja o parecer público ou não. Mas que algumas sugestões de experimentos extras são abusivas não resta dúvida. Acho a análise por pares primordial. Uma proposta como a do Fábio me parece precária, basta ver que a sessão de comentários de periódicos como a Nature pouco é utilizada, conforme texto dessa mesma série que você citou. As pessoas leiam o artigo e utilizariam as críticas.

    • Caro Eduardo,

      Concordo com você. A revisão por pares é essencial. Por isso mesmo que eu acho que é necessário que seja bem feita. Obviamente que isso vai depender muito do revisor, com todas as nuances individuais de cada um. Porém, o que o Dr. Ploegh propõe é uma avaliação de como a exigência de novos experimentos deveria ser considerada. E isso é realmente importante. Estes experimentos são absolutamente essenciais? Perfeito. São apenas para complementar o que já foi comprovado? Bom, aí seria de se levar em conta se são absolutamente necessários. De qualquer forma, acho esta discussão pertinente e interessante, justamente para levantar tais pontos: até que ponto os experimentos adicionais exigidos são realmente necessários?

      abraço,Roberto

Trackbacks

  1. O que está acontecendo com a revisão por pares? (via Química de Produtos Naturais) « Crônicas da Ciência

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s

%d blogueiros gostam disto: