Revisión por expertos

Nos medios académicos, a revisión ou avaliación por expertos^[1] (peer review en inglés), tamén coñecida como arbitraxe é un método usado para avaliar traballos escritos e solicitudes de financiamento co fin de medir a súa calidade, factibilidade, rigor científico etc.

Este método deixa aberto o traballo ao escrutinio e, frecuentemente, á anotación ou edición, por un número de autores iguais en rango ao autor do escrito. Normalmente só se considera válida unha publicación científica cando pasou por un proceso de revisión por pares como o de admisión para publicación nunha revista arbitrada.

Algún autores opinan que esta expresión é unha mera tradución literal dos termo inglés, e que sería máis apropiado falar de revisión comunitaria ou de comúns, pois é a comunidade humana a que crea e recrea o coñecemento.

Desde esta perspectiva, o pensamento é un proceso social, e non individual, e do mesmo xeito, o coñecemento é un proceso de ampliación e revisión da información por parte dos comúns ou da intelixencia colectiva ou xeral, que coopera nunha sociedade-rede.

A revisión por pares somete un traballo ou idea proposta polo autor (ou autores) ao escrutinio dun ou máis expertos na área correspondente. Estes árbitros responden cunha avaliación do traballo que inclúe suxestións sobre como melloralo, a cal se envía ao editor ou outro intermediario (tipicamente, a maioría dos comentarios dos árbitros reenvíanse tamén aos autores).

As avaliacións normalmente inclúen unha recomendación explícita sobre o que debe facerse coa proposta do manuscrito, a cal escóllese entre varias opcións propostas polo editor representa unha revista, unha conferencia arbitrada ou unha axencia de financiamento de programas de investigación. As opcións propostas son xeralmente as seguintes:

• Aceptación incondicional do manuscrito ou da proposta,
• Aceptación suxeita ás melloras propostas polo árbitro,
• Rexeitamento, animando aos autores a revisar o documento e sometelo de novo a revisión, e
• Rexeitamento incondicional.

Durante o proceso de revisión, o papel dos árbitros é soamente consultivo, e o editor non ten obriga formal de seguir a opinión dos árbitros. Máis aínda, nas publicacións científicas os árbitros non actúan como grupo, non se comunican entre eles, e xeralmente non teñen coñecemento nin da identidade do autor, nin da identidade nin dos resultados dos outros árbitros. En xeral no hai necesidade de acadar consenso. Por iso a dinámica do grupo é ben diferente á dun xurado.

Tradicionalmente o traballo dos árbitros é anónimo, pero isto é algo que pouco a pouco vai cambiando, aínda que nalgunhas áreas moitas das revistas arbitradas ofrecen agora ao árbitro a posibilidade de manterse anónimo, se non queren darse a coñecer. E por iso, algúns traballos poden incluír unha sección de agradecementos onde se nomean os árbitros en función da súa contribución a mellorar o artigo.

Xeralmente evítase escoller árbitros entre os investigadores próximos ou relacionados cos autores. Espérase que os autores informen aos editores sobre calquera conflito de interese que poida existir para realizar a avaliación. Algunhas publicacións ou editores solicitan aos autores unha lista de posíbeis árbitros, así como unha lista de persoas que eles consideran que son inapropiados para arbitrar o seu traballo, incluíndo unha xustificación da súa elección. A razón disto é que pode ocorrer que o tema dun traballo sexa tan especializado que os editores non poidan por eles mesmos encontrar especialistas dese campo.

O proceso seguido polas publicacións científicas é case sempre o mesmo: escóllense dous ou tres árbitros que envían ao editor a súa avaliación do artigo e as súas suxestións sobre como melloralo. O editor reúne os comentarios e llos envía ao autor (algúns comentarios poden estar marcados como confidenciais para o autor). Baseándose nos comentarios dos árbitros, o editor decide se se publica o manuscrito.

Algunhas publicacións en medicina adoptaron recentemente un modelo de acceso libre e publican en Internet o historial dos artigos incluíndo o manuscrito orixinalmente enviado, a avaliación dos árbitros e os sucesivos cambios até a publicación definitiva do traballo.

A selección e recrutamento de árbitros é unha arte política, debido a que xeralmente os árbitros non reciben remuneración, quitando tempo das súas actividades principais, tales como os seus propios traballos de investigación. Unha vantaxe para convencer aos árbitros potenciais é que eles mesmos son tamén autores ou, polo menos, lectores, que saben que o sistema de publicacións require que os expertos doen parte do seu tempo.

Os editores teñen en conta que os autores que publican nunha revista por unha parte demostraron o seu nivel ao publicar artigos nela e, por outra, coñecen a importancia do sistema de arbitraxe, de maneira que representan unha fonte de árbitros potenciais. Igualmente as axencias de financiamento tenden a solicitar a participación como árbitros de investigadores que foran financiados anteriormente. Ademais, o ter servido como árbitro é un elemento adicional no currículo dun investigador.

Un problema que se presenta para que un editor logre unha arbitraxe adecuada é a pouca dispoñibilidade de árbitros realmente cualificados nalgunhas áreas. Nestes casos é difícil manter o anonimato dos árbitros, e tamén dificulta o evitar conflitos de interese. Tamén aumenta as posibilidades de que un editor non logre recrutar verdadeiros expertos nesa materia, xente que realizara traballos de nivel e do tema do avaliado, e que poida ler entre liñas.

Outra dificultade é o anonimato dos árbitros. Nos medios científicos resulta importante dar crédito aos traballos realizados, e aínda que se considera honorífico servir de árbitro para unha publicación prestixiosa, non é posíbel acreditarse na arbitraxe dunha publicación en particular.

Afortunadamente, é a publicación de traballos o medio máis importante de obter reputación nos medios científicos.

Aínda cando a revisión por pares pode ser moi rigorosa en termos das calidades dun traballo, a decisión de publicar ou de financiar un traballo recae á final sobre o editor, e está sometida a algunhas restricións. Por exemplo, se o espazo para publicar os traballos é limitado (como, por exemplo, ocorre nos congresos e simposios científicos) ou se hai moitas solicitudes de financiamento, pode ocorrer que traballos coa calidade necesaria non sexan aceptados ou que proxectos ben fundamentados non sexan financiados. Inversamente, pode ocorrer que unha publicación non recibira suficientes traballos claramente publicábeis e decida aceptar un maior número de traballos con aceptación condicionada.

Algunhas publicacións como Science e Nature teñen un sistema de arbitraxe moi restritivo (de aí o seu prestixio), de maneira que ás veces ocorre que rexeiten traballos de boa calidade científica cando senten que non representan un avance significativo na área á que pertencen. Outras, como o Astrophysical Journal e a Physical Review utilizan a revisión por pares para eliminar traballos con erros obvios ou sen sentido. A taxa de artigos aceptados reflicten este tipo de criterios. Por exemplo, Nature acepta só o 5 % dos artigos que recibe, mentres que Astrophysical Journal publica cerca do 70 % dos traballos recibidos. As diferentes taxas de aceptación tamén se reflicten no número de páxinas da publicación.

Co fin de preservar a integridade do proceso de revisión por pares, nalgunhas publicacións a identidade dos autores non se coñece polos árbitros. Espérase que desta forma o prestixio dos autores non interveña na decisión. Nesta forma de revisión, a versión enviada a arbitraxe non debe conter referencias que revelen aos árbitros a identidade dos autores. A razón pola cal non todas as publicacións utilizan este estilo de arbitraxe é que existen moitos indicios que poden revelar de todas formas a identidade dos autores, tales como o uso dunha notación particular, estilo de escritura, aplicación de métodos particulares etc.

Unha das maiores críticas ao proceso de revisión por pares á súa lentitude. Polo xeral, pasan varios meses e, nalgunhas áreas, varios anos entre a recepción do artigo e a súa publicación. Na práctica, boa parte da comunicación de novos resultados nalgunhas áreas (como na astronomía) xa non se realiza por artigos revisados por pares senón por prepublicacións enviadas a servidores electrónicos tales como ArXiv.org. Outro grave erro da revisión por pares foi a contraditoria e pseudocientífica explicación de Eliyahu Rips sobre a existencia de códigos na Biblia.

Adicionalmente, algúns estudos en Socioloxía da Ciencia e a Tecnoloxía argumentan que a revisión por pares pode exercer control sobre o que se publica ás elites e, ademais, poden estaren influídas por intereses persoais.

Drummond Rennie, redactor xefe adxunto do Journal of the American Medical Association e organizador do Congreso internacional sobre a avaliación por pares e a publicación biomédica (International Congress on Peer Review and Biomedical Publication), que ten lugar cada catro anos desde 1986 ^[2] declara, a propósito do control do proceso editorial do que se publica:

"Semella que non hai estudos demasiado fragmentados, hipóteses demasiado triviais, própositos demasiado parciais ou demasiado egoístas, protocolos de estudos demasiado deformados, metodoloxías demasiado chafalleiras, presentacións de resultados demasiado imprecisas, escuras e contradictorias, ningunha análise demasiado compracente, ningún argumento demasiado circular, ningunha conclusión demasiado mediocre ou demasiado inxustificada, e nada de gramática ou de sintaxe demasiado ofensivas."^[3]

Pola súa parte, Richard Horton, redactor xefe da revista médica británica The Lancet, declarou que:

"O erro, seguramente, está en pensar que a avaliación por pares é algo máis que un medio groseiro de descubrir a aceptabilidade —non a validez— dun novo descubrimento. Os editores e os científicos insisten na importancia crucial da avaliación par pares. Nós describímola ao público coma se fora un proceso case-sagrado que axuda a facer da ciencia o noso acceso máis obxectivo á verdade. Pero sabemos que o sistema de avaliación por pares é sesgado, inxusto, non fiábel, incompleto, facilmente falsificábel, frecuentemente insultante, a miúdo ignaro, ás veces estúpido, e frecuentemente erróneo." ^[4]

Os árbitros tenden a ser especialmente críticos coas conclusións cando estas contradín os seus propios puntos de vista, e máis condescendentes con aquelas que están en correspondencia coas súas propias ideas. Ao mesmo tempo, os científicos máis coñecidos teñen maior probabilidade de seren escollidos como árbitros, particularmente nas revistas máis prestixiosas, o que pode resultar no establecemento dunha especie de liña editorial que podería considerarse non neutral. Unha consecuencia disto é que os artigos máis revolucionarios nalgunhas áreas tenden a non ser publicados en grandes revistas, senón en revistas máis abertas a traballos e ideas novas, segundo as observacións de Thomas Kuhn sobre as revolucióneas científicas.^[5]

Non obstante, outros sinalan que o número de publicacións científicas é suficientemente amplo como para dificultar que unha elite poida ter o control sobre o que se publica nunha área do coñecemento. Ademais, o proceso de toma de decisión, fundamentado na revisión por pares, no que cada árbitro dá a súa opinión sen coñecer aos outros, axuda a evitar estes problemas.

A revisión por pares é parte integral do proceso de publicación de traballos científicos só desde mediados do século XX [1]. Anteriormente a súa aplicación era opcional. Por exemplo, o artigos revolucionario de Albert Einstein "Annus Mirabilis" no número de 1905 de Annalen der Physik non foi arbitrado. Max Planck, xefe do consello editorial da publicación (e pai da teoría cuántica), recoñeceu a importancia do manuscrito recibido e individualmente mandouno publicar. A decisión de publicalo tomouna directamente el ou seu coeditor Wilhelm Wien, ambos os dous certamente ‘pares’ (que posteriormente gañaron o Premio Nobel de Física). Non obstante, este proceso abreviado non corresponde co método de revisión por pares actualmente en vigor. Naquela época existían políticas máis abertas cara a autores que xa publicaran traballos. Nun editorial recente na revista Nature, dise que nas revistas actuais o peso da proba lévano os opoñentes, en lugar dos propoñentes, de novas ideas.

Dado que a revisión por pares é de recente adopción, moitos dos máis importantes traballos científicos non pasaron polo proceso de revisión por pares, como vimos no caso antecitado. Non obstante, tamén existen traballos moi importantes e máis recentes que non pasaron por este proceso.

Entre eles están a publicación en Nature do famosísimo artigo de Watson e Crick de 1951 sobre a estrutura do ADN. Este traballo non foi arbitrado. Os editores aceptaron o artigo ao recibir unha carta de presentación suxerindo que se publicara de parte do influente físico William Lawrence Bragg.

Por outra parte, John Maddox afirmou que "o artigo de Watson e Crick non foi arbitrado en Nature (...) o artigo non tiña que ser arbitrado: a súa corrección era auto-evidente. Ningún árbitro que traballara nesa área podería manter a confidencialidade unha vez que vira a estrutura" ^[6]

O proceso de arbitraxe das publicacións científicas asume que o artigo en revisión foi escrito honestamente, de maneira que o proceso non está deseñado para detectar fraudes. Os árbitros usualmente non teñen acceso completo aos datos a partir dos cales se obtiveron os resultados do traballo e deben aceptar como certos algúns resultados (salvo quizais nalgúns temas como as matemáticas).

Non se coñece o número nin a proporción de artigos fraudulentos que chegaron a ser publicados. Nalgúns casos as fraudes só se descubriron cando outros grupos de investigadores con iguais medios non lograron reproducir os resultados de traballos publicados.

Un exemplo disto é o caso de Jan Hendrik Schön no cal un total de quince artigos foron aceptados para a súa publicación nas prestixiosas revistas Nature e Science seguindo o proceso de arbitraxe. Os quince artigos resultaron ser fraudulentos e foron posteriormente retirados. A fraude descubriuse despois de seren publicados, cando outros grupos de investigadores non lograron reproducir os resultados.

Un exemplo do que pode ocorrer cando unha revista non posúe un proceso de arbitraxe adecuado é o caso da publicación do traballo titulado Transgressing the Boundaries: Toward a Transformative Hermeneutics of Quantum Gravity, do profesor de física Alan Sokal da Universidade de Nova York na revista Social Text. O artigo resultou ser unha broma agora coñecida como o Escándalo Sokal.

• Juan Miguel Campanario: Peer review for journals as it stands today - Part 1. Science Communication 19 (3) : 181-211, 1998 (en inglés).
• Juan Miguel Campanario: Peer review for journals as it stands today - Part 2. Science Communication 19 (4) : 277-306, 1998 (en inglés).
• Juan Miguel Campanario:El sistema de revisión por expertos (peer review): muchos problemas y pocas soluciones. Revista Española de Documentación Científica, 25 (3), 166-184, 2002 (en castelán).

• Revista “Peer Review” Arquivado 05 de maio de 2011 en Wayback Machine. (en inglés)
• Revisión por pares e a aceptación de novas ideas científicas (Arquivo PDF voluminoso) (en inglés).
• Proceso de revisión por pares, perspectivas e o próximo paso (en inglés).