Avaliar a avaliação por pares?

Esta é a ideia muito original de um grupo de pesquisadores finlandeses que resolveram criar uma rede social de avaliação por pares.

A proposta foi divulgada no blog da revista Chemistry World, editada pela Royal Society of Chemistry (veja aqui). No blog da RSC, o autor do texto, PhilR, lembra que a avaliação por pares sempre foi objeto de críticas, apesar de ser absolutamente necessária para a pesquisa científica. Isso porque é uma atividade que exige critério e é difícil de ser avaliada.

O grupo de pesquisadores, da Universidade de Jyväskylä (alguém sabe como se pronuncia?), na Finlandia, resolveu criar uma iniciativa para melhorar o processo de avaliação por pares, que pode ser lento, pelo qual os revisores não recebem crédito ou reconhecimento, e que pode ter como resultado uma análise mal feita. Além disso, diz o texto de PhilR que a avaliação por pares frequentemente sofre acusações de ser feita sob vieses, e que a rejeição de artigos atrasa a publicação destes, que podem ficar circulando entre revistas.

O site Peerage of Science (PoS, veja aqui) foi criado para discutir os problemas da avaliação por pares, de forma a mudar o sistema atual e resguardar a importância da ciência e seu progresso. No site os artigos são submetidos para uma avaliação por pares, coordenada pelos organizadores. Os revisores podem se apresentar desde que já tenham publicado artigos científicos. Escolhem artigos para revisar e propõem datas para a análise dos manuscritos. Após as avaliações de um manuscrito serem enviadas para o site, as próprias avaliações são avaliadas! Os avaliadores dão notas para as avaliações do mesmo manuscrito. Desta forma, os avaliadores são classificados por um processo chamado de “qualidade da avaliação por pares” (peer essay quality), tendo por base a avaliação por outros revisores. Esta classificação tem por objetivo melhorar a qualidade das avaliações. Como resultado, para cada manuscrito avaliado os autores do artigo têm que avaliar dois artigos do PoS.

Todo o processo é anônimo, embora os revisores possam querer que sejam identificados. E, se assim desejarem, podem publicar suas análises de manuscritos em uma revista criada pelos autores do site, chamada de Proceedings of the Peerage of Science. Uma revista de relatórios de avaliação de manuscritos. Uma forma que os revisores têm de mostrar sua expertise sobre o assunto que avaliaram, e serem reconhecidos por isso.

O objetivo final deste processo é que os artigos avaliados sejam publicados em revistas científicas. Por isso, os organizadores do PoS encorajam os editores de revistas a participarem. Se o editor de alguma revista gostar de algum manuscrito que foi avaliado, pode convidar os autores do artigo a publicarem na revista que editam – caso que já aconteceu com a única revista que está participando, a Ecography. Também é possível que os autores de um manuscrito que tenha sido avaliado pelo PoS utilizem a avaliação para submeter seu artigo para publicação. O que é essencial para o PoS, para saberem se seu processo realmente funciona.

Os idealizadores do PoS pretendem realmente levar sua proposta adiante, e muitas instituições de excelência já estão participando da iniciativa. Mesmo assim, PhilR pergunta se os editores dos periódicos científicos irão considerar o processo do PoS como sendo realmente uma revisão por pares, se está menos vulnerável a abusos do que o sistema tradicional de avaliação por pares, se a anonimidade do PoS é realmente efetiva, e o que acontece se ninguém avalia um manuscrito submetido ao PoS. Estas e muitas outras questões foram levantadas em outros blogs, como o de Mike Foster, “Theoretically Speaking” (na Nature.com; veja aqui), que, por sua vez, menciona as críticas de David Crotty ao PoS no blog “Scholarly Kitchen blog”.

A dúvida é se a iniciativa dos finlandeses vai vingar.

E você, leitor(a)? Abriria mão de um pouco de seu tempo para participar da iniciativa do PoS?



Categorias:publicações científicas

Tags:,

2 respostas

  1. Plus for young researchers (since they have a publication in a peer-reviewed journal) this could be a real opportunity to initiate themselves with the peer-review process.
    In the classical peer review system I have no idea when a researcher starts to review peers publications … but the sooner the better !
    And since all the reviews are themselves subjected to review and rated, the quality is assured.
    Nice system.

  2. Puxa, não sei responder a sua pergunta… talvez se não fosse na área de química 🙂 A iniciativa parece muito boa, faço isso numa disciplina de metodologia de pesquisa, mas sou eu quem avalio os avaliadores, além dos próprios artigos (uns 10), é… não vai sobrar tempo este semestre, infelizmente.
    abraços,
    ana claudia

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

w

Conectando a %s

%d blogueiros gostam disto: