A avaliação por pares… transparente

A revista científica The EMBO Journal (EMBO é sigla de European Molecular Biology Organization, Organização Européia de Biologia Molecular) implementou, há dois anos, uma prática realmente inusitada: publicar artigos acompanhados das cartas trocadas entre os autores e os revisores como parte do processo de avaliação dos artigos. A surpresa foi geral, principalmente por parte dos autores, e, se no início tal iniciativa causou certa apreensão, atualmente a EMBO está implementando a mesma política em todas suas revistas: The EMBO Journal, EMBO Reports, Molecular Systems Biology and EMBO Molecular Medicine. A principal motivação dos editores das publicações foi a constante preocupação e manifestações sobre as limitações do processo de avaliação por pares – que talvez pudesse estar cheio de vícios.

Os editores passaram a fazer um minuncioso trabalho de avaliação dos trabalhos publicados e rejeitados pela revista. E verificaram que os artigos rejeitados dificilmente eram publicados em revistas com maior fator de impacto do que o do The EMBO Journal. Além disso, a preocupação em valorizar o trabalho dos revisores dos artigos submetidos passou a ser considerada realmente importante. Afinal, os revisores são muitas vezes responsáveis por melhorar significativamente a qualidade de um trabalho científico. E o trabalho dos revisores fica muitas vezes totalmente escondido neste processo, e é esquecido depois que os artigos são publicados, a não ser que os autores agradeçam explicitamente aos revisores nos agradecimentos.

Porém, muitas vezes os revisores fazem muito mais do que avaliar a pertinência e o peso científico de um artigo: contribuem significativamente para melhorar a apresentação e a redação do texto. Resultado: os editores pensaram que seria realmente interessante publicar as avaliações apresentadas pelos revisores, como forma de mostrar as discussões através de ideias construtivas, e a sugestão da realização de experimentos adicionais relevantes, de maneira a que tudo se tornasse muito transparente. Motivações paralelas: mostrar para outros pesquisadores como se faz uma boa avaliação por pares, ainda que anônima, baseada em argumentos científicos e questionamentos válidos. As cartas de decisão dos editores também seria publicada.

Os autores poderiam escolher por publicar todo o processo de avaliação ou não. Os avaliadores estariam, assim, cientes de que suas avaliações seriam publicadas juntamente com os artigos avaliados. Em setembro deste ano (2010), a editoria das revistas EMBO aboliu a comunicação privilegiada e confidencial entre revisores e editores. Outras revistas científicas, como Biology Direct e revistas do grupo BioMed Central já adotavam tais práticas.

Mesmo assim, os editores do grupo EMBO consideraram várias possibilidades de que uma tal transparência pudesse, na verdade, atrapalhar o processo de avaliação, além de aumentar os custos de publicação. Porém, apenas 5,3% dos autores não quiseram participar da nova iniciativa, alegando princípios filosóficos, ou ainda que a publicação das avaliações poderia roubar o brilho do artigo. A grande maioria dos revisores aceitou em participar da avaliação transparente dos artigos, mas passaram a ter muito mais cuidado na redação de suas avaliações. Embora o processo de avaliação seja disponibilizado on-line em separado do artigo, a leitura dos arquivos de avaliação é elevada, sendo de 10% do total dos artigos. O mais interessante é que os artigos considerados mais “quentes” são também aqueles que têm suas avaliações mais lidas.

O sistema têm uma falha, porém, segundo os próprios editores: a revista não publica as avaliações dos artigos que são rejeitados, embora os editores considerem que estas avaliações sejam talvez as mais interessantes.

Em decorrência da iniciativa do grupo EMBO, outras revistas científicas passaram a adotar práticas que estimulam a avaliação transparente, ou participativa. As revistas Nature e PLoS One, por exemplo, permitem que os leitores comentem os artigos depois de publicados. Porém, em nenhuma destas revistas a identidade dos revisores é revelada para os autores, ao contrário da revista British Medical Journal, na qual os revisores assinam suas avaliações, e estas são enviadas assinadas aos autores. Os editores do grupo EMBO pensam que talvez tal prática possa interferir em outras tomadas de decisões (como quando da avaliação de projetos de pesquisa, por exemplo).

Mais recentemente os editores do grupo EMBO adotaram novas práticas: a) que os avaliadores avaliem as avaliações, caso estas sejam muito “radicais”, e, neste caso, a decisão do aceite ou recusa da publicação é feita de maneira conjunta entre os editores e os revisores; b) que os avaliadores avisem se passaram a atribuição da avaliação para outros pesquisadores do grupo, em geral pesquisadores de pós-doutorado, para que os editores fiquem cientes. Estes consideram tal prática bem vinda, pois deve ser estimulada para o aprendizado da boa revisão por pares.

Finalmente, os editores do grupo EMBO consideram que muitos cientistas notórios investem boa parte do seu tempo revisando artigos, e que este trabalho deveria ser mais valorizado. Assim, estão buscando formas de passar tal informação para agências de fomento, para que estas levem tal fato em conta quando da avaliação de solicitação de verbas para pesquisa. Segundo os editores do grupo EMBO, a revisão por pares é parte essencial do fazer científico, e é um reflexo do extremamente forte espírito colaborativo que existe entre pesquisadores, para que a ciência se torne cada vez melhor.

E você, leitor, o que acha de tais iniciativas? Se você é pesquisador, estaria disposto a aceitar tal desafio, seja na forma de avaliador ou de autor?

Agradeço a meu colega Hamilton Varela, do Instituto de Química de São Carlos (USP), a sugestão de leitura deste artigo que motivou esta postagem.

ResearchBlogging.orgPulverer, B. (2010). Transparency showcases strength of peer review Nature, 468 (7320), 29-31 DOI: 10.1038/468029a

Leia mais sobre este assunto neste blog.

Avaliar quem, quando e como?

Ciência profissional

A avaliação por pares



Categorias:ciência

Tags:, , ,

4 respostas

  1. Eppur si muove!

    Um avanço!

  2. Oi, Roberto!

    Comentando um pouco mais esse excelente post, como expressei antes, considero mesmo um avanço essa atitude do EMBO Journal, principalmente pela sua editoria abolir “a comunicação privilegiada e confidencial entre revisores e editores” (grifos meus). Isso porque a revisão por pares afastou-se de seus pressupostos iniciais (já explico mais à frente), e hoje tal processo relega o(s) autor(es) do manuscrito submetido a um limbo, alijando-o(s) da discussão travada sobre o aceite ou não de sua pesquisa, não contribuindo de forma decisiva para uma maior aprendizagem pelo(s) mesmo(s) com esse processo.

    Você deu alguns exemplos de revistas que já adotaram tal prática, como a Biology Direct e as revistas do grupo BioMed Central. Portanto, essa decisão da EMBO Journal, embora louvável (principalmente pela categoria desse periódico), não é de forma alguma inédita. Inclusive, lembro aqui de um periódico eletrônico internacional e interdisciplinar, cobrindo as ciências cognitivas e do comportamento, editado com o apoio da American Psychological Association (APA) – o Psycoloquy, que antecipou essa prática em pelo menos 15 anos: além dos artigos serem referendados por pares, os comentários dos avaliadores sobre os artigos e as respostas dos autores aos comentários são todas publicadas.

    É certo que o contexto tecnológico facilita essas mudanças, promovendo uma maior, digamos, “interação” entre as partes envolvidas – avaliado(s) e avaliadores, bem como a transparência e o feedback, lembrado pelo Vinícius M. Kern no comentário ao post A avaliação por pares.

    Lembro também que uma forma ainda mais radical de transparência em revisões por pares é a que acontece no ArXiv, repositório de pré-prints da área de Física. Bem, essa área tem suas especificidades, que facilitam esse tipo de discussão aberta sobre um texto depositado no ArXiv, mas sem dúvida é uma forma vanguardista de discutir-se Ciência.

    E voltando à questão da revisão por pares ter se afastado de seus pressupostos iniciais, ao retomarmos a história das sociedades científicas, em seus primórdios (séc. 17), as comunicações entre pares eram através de cartas, que eram enviadas pelos cientistas a essas sociedades, que por sua vez as faziam circular entre seus associados, e esses acrescentavam adendos em forma de comentários, dúvidas e sugestões, numa espécie de revisão informal do texto original, e do qual o autor participava. As revistas científicas surgiram como um prolongamento dessas cartas, e seu contínuo desenvolvimento chegou ao que conhecemos hoje como periódicos eletrônicos. Mas aquela discussão fomentada pela troca de cartas inicial perdeu-se, dando lugar ao peer review atual: sigiloso, anônimo e privilegiado. E agora, o que anda acontecendo no sistema de revisão por pares parece bem uma tentativa de volta às origens, não parece? 🙂

    Mas a coisa vai longe. Sugiro o texto de Stevan Harnad (de 1996, mas preditivo em muitos aspectos): Implementing Peer Review on the Net: Scientific Quality Control in Scholarly Electronic Journals.

    • Oi Sibele,

      Obrigado pelo seu longo e construtivo comentário. Concordo com você em muitos pontos, menos um – o de que “o que anda acontecendo no sistema de revisão por pares parece bem uma tentativa de volta às origens”. Antes fosse.

      Na verdade, antes das “letters” (cartas) comunicadas em sessões das sociedades científicas, os trabalhos eram apresentados oral e pessoalmente, e a revisão por pares era, na verdade, um verdadeiro debate, após a apresentação dos trabalhos. Tudo isso era transcrito. Esta prática pode ainda ser (raramente) encontrada em anais de congressos, quando autores apresentam e, em seguida, as perguntas e respostas são anotadas. Eu possuo pelo menos 1 livro neste formato, que eu considero o máximo, pois observa-se que a discussão se aprofunda depois da apresentação do “paper”.

      Seria muito bom se estivessemos, de certa forma, voltando às origens, mas acho que não. Por enquanto estas iniciativas ainda são pontuais, e não gerais. Quando forem gerais, ou seja, amplamente adotadas, aí sim poderemos dizer que estamos voltando às origens…

      Tudo de bom,
      Roberto

  3. Pois é, Roberto. E por isso mesmo, eu disse que eppur si muove. Acompanhemos. 🙂

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s

%d blogueiros gostam disto: