[Este artigo foi escrito em colaboração com Michael R. Jenkins, professor assistente de Marketing na Universidade Estadual do Mississippi.]
No meio acadêmico, parece haver um consenso crescente de que o sistema de revisão por pares — outrora a espinha dorsal da produção acadêmica — está falido. Mas será que está irremediavelmente falido? Talvez. No mínimo, vale a pena explorar a falha em seu formato atual. Contudo, em vez de abandonar completamente o sistema, acreditamos ter uma solução inovadora. Primeiramente, porém, vamos examinar onde o sistema falhou.
Na Idade Média, a maior parte da pesquisa científica era autopublicada, com os estudiosos compartilhando suas descobertas entre si. Mas, com o crescimento da profissão, isso se tornou impraticável, e o periódico científico surgiu como forma de disseminar informações. Um estudioso tinha uma ideia, investigava, resumia suas conclusões e submetia o manuscrito resultante a um periódico. Lá, o(s) editor(es) o analisavam e decidiam se publicavam o trabalho como estava, solicitavam revisões ou o rejeitavam completamente. Com o tempo, à medida que o número de estudiosos continuava a proliferar, todos sob crescente pressão para publicar, publicar e publicar — para serem contratados, obterem estabilidade no emprego e se qualificarem para bolsas de pesquisa —, a tarefa dos editores de periódicos tornou-se avassaladora. Havia simplesmente submissões demais para que todas pudessem ser analisadas de forma justa.
Assim, surgiu a ideia de terceirizar a avaliação dos artigos submetidos para equipes de revisores não remunerados, outros acadêmicos da mesma área ou de uma área relacionada que (pelo menos em teoria) eram qualificados para julgar a qualidade da pesquisa em questão. Isso aliviaria parte da carga dos editores, ao mesmo tempo que conferiria um selo adicional de legitimidade ao produto final. A decisão sobre se um determinado trabalho acadêmico era digno de publicação passaria a ser tomada não apenas por uma ou duas pessoas, mas sim por um grupo de especialistas “independentes”. Dessa forma, o termo “revisado por pares” tornou-se o padrão ouro para a pesquisa acadêmica. Uma publicação em um “periódico revisado por pares” é considerada há muito tempo essencialmente inatacável, a ponto de políticos e jornalistas parecerem convencidos de que podem vencer qualquer discussão simplesmente citando um artigo de “pesquisa revisada por pares”.
Inicialmente, era um sistema bastante bom e funcionou razoavelmente bem por um longo tempo. Mas parece ter chegado ao fim de sua vida útil. Os requisitos para a obtenção de cargo permanente tornaram-se mais quantitativos. A internet diminuiu as barreiras à submissão, incentivando mais pesquisadores a submeterem mais artigos a mais periódicos. O número de submissões de universidades asiáticas, africanas e do Oriente Médio explodiu. Mesmo com mais periódicos e mais revisores, o sistema entrou em colapso, como todos os sistemas grandes e complexos acabam fazendo. Sabemos disso por causa de um problema identificado pela primeira vez há 20 anos pelo cientista de Stanford, John Ioannidis, que desde então ficou conhecido como a “crise da replicação”.
Uma das características da boa ciência é que um experimento pode ser replicado — ou seja, outro pesquisador usando a mesma metodologia chegará ao mesmo resultado, o que significa que as descobertas são válidas e consistentes. Mas o que Ioannidis argumentou em seu artigo seminal de 2005, “Por que a maioria das descobertas de pesquisas publicadas são falsas(atualizado em 2022) era que, bem, a maioria das descobertas de pesquisas publicadas são falhas. Os experimentos não podem ser replicados, o que coloca sua validade em questão.
Outros estudiosos contestaram a tese de Ioannidis, especialmente o uso da palavra "maioria". Cientistas sociais, em particular, argumentam que experimentos com seres humanos muitas vezes não podem ser replicados justamente porque as pessoas são inconsistentes. No entanto, os estudiosos geralmente concordam que a crise de replicação é real, ainda que não tão disseminada quanto Ioannidis sugere.
O que isso tem a ver com revisão por pares? Obviamente, se o sistema estivesse funcionando como deveria, com equipes de especialistas genuínos verificando e revisando o trabalho uns dos outros, poderíamos esperar que pouquíssimos estudos falhos passassem despercebidos. Em outras palavras, não haveria uma crise de replicação se a revisão por pares realmente funcionasse.
Infelizmente, a precisão do sistema nem sequer é o maior problema. Como muitas instituições, ele se degenerou em uma câmara de eco altamente politizada. Em vez de um mecanismo para determinar e disseminar a verdade por meio de um sistema de freios e contrapesos acadêmicos, a revisão por pares tornou-se um instrumento para promover e impor a ortodoxia. Não mais uma comunidade de acadêmicos que testam rigorosamente, mas colegiadamente, as hipóteses uns dos outros, os editores e revisores de periódicos se autoproclamaram guardiões. Somente aqueles que recitam as senhas corretas são admitidos.
Tomemos como exemplo o campo da pesquisa climática. Há pelo menos duas décadas, o consenso científico é de que a mudança climática antropogênica representa uma ameaça existencial para a humanidade. Qualquer pessoa que desafie essa ortodoxia, independentemente da qualidade de sua pesquisa ou da lógica de seus argumentos, encontra grande dificuldade em publicar suas descobertas em periódicos de renome. Os guardiões da informação (ou seja, os revisores) simplesmente não permitem.
Ou que tal a ideologia transgênero? Mesmo antes de descobrirmos que a Associação Mundial Profissional para a Saúde Transgênero (WPATH) estava ocultando e manipulando seus dados, por que tão poucos acadêmicos questionaram a afirmação de que a transição social, médica ou cirúrgica para menores reduzia seu sofrimento? Você sabe a resposta: eles sabiam que não podiam fazer isso sem prejudicar suas carreiras. Mesmo agora, corremos um risco profissional apenas ao apontar isso. Isso não é ciência, que impulsiona a busca pela verdade; é política, que a impede.
Para ser justo, é fácil entender por que isso acontece. Nem sequer estamos afirmando que seja algo totalmente nefasto. É apenas da natureza humana. Ideias que desafiam a forma de pensar prescrita sempre foram impopulares entre aqueles que a prescrevem, desde os tempos de Copérnico e Martinho Lutero. Novas descobertas e as teorias que delas derivam ameaçam desacreditar as teorias da geração anterior de estudiosos — e adivinhe quem serve principalmente como revisor? Quando dizemos "política", não nos referimos necessariamente ao sentido partidário, mas sim ao sentido pessoal: a quem se destina o benefício da dúvida?
Mas, é claro, a política partidária — e a ideologia, especificamente — também costumam entrar na equação. Mesmo em disciplinas que não são tão politicamente carregadas quanto a climatologia ou os "estudos de gênero" — como contabilidade ou marketing — jovens pesquisadores ainda precisam se curvar aos deuses ideológicos de seus superiores. Eles precisam prestar a devida homenagem a conceitos como "diversidade, equidade e inclusão", "branquitude" e "populações marginalizadas", mesmo que esses conceitos não tenham absolutamente nada a ver com suas pesquisas ou, pior, não sejam sustentados por suas descobertas. E, é claro, se eles realmente querem ser publicados, encontrarão alguma maneira de vincular essas descobertas à tendência política do momento. Daí surgem artigos com títulos como "Como o branding para a branquitude prejudica os consumidores BIPOC" ou "Abordando populações marginalizadas na pesquisa em gestão". (Um deles é real; o outro, inventamos. Você consegue dizer qual é qual?)
E agora? Acreditamos que é hora de retornar ao modelo medieval de “comunidade de estudiosos” — com um toque do século XXI. É claro que, na maioria das disciplinas, é quase impossível reunir todos os estudiosos para compartilhar manuscritos (como qualquer pessoa que já participou de uma conferência pode atestar), mas, com a tecnologia moderna, os estudiosos podem sim “compartilhar” seus manuscritos, compartilhando seus trabalhos em andamento com colegas de todo o país e do mundo todo.
Nossa ideia envolve a criação de fóruns online oficiais para cada disciplina, onde pesquisadores possam publicar ensaios sobre suas ideias em qualquer estágio, apresentando o embasamento teórico, propondo hipóteses, divulgando resultados de pesquisa (incluindo a metodologia) e extrapolando para implicações ou previsões. Outros pesquisadores da comunidade podem comentar esses ensaios, oferecendo críticas, fornecendo informações faltantes e sugerindo novas direções para a pesquisa. Eles também podem realizar os experimentos para verificar se obtêm resultados iguais ou semelhantes e compartilhar os resultados com o grupo. Assim, os autores originais podem utilizar essas informações em suas pesquisas futuras.
Uma vantagem dessa abordagem é que ela é iterativa, com cada pesquisador construindo sobre os esforços daqueles que o precederam. Outra é que os pesquisadores podem "publicar" independentemente de seus resultados. Uma crítica comum ao atual sistema de revisão por pares é que os pesquisadores só podem publicar se obtiverem resultados positivos. No entanto, resultados negativos também são resultados e ajudam, à sua maneira, a avançar o conhecimento. Assim como os pesquisadores precisam saber o que foi comprovado como verdadeiro para construir sobre esse progresso, eles também precisam saber o que foi comprovado como falso para evitar as mesmas armadilhas.
As contribuições para os fóruns seriam registradas com data e hora, para que os autores pudessem comprovar facilmente a autoria das ideias. As postagens poderiam conter hiperlinks para facilitar e agilizar pesquisas e citações posteriores. Para desencorajar ações maliciosas, não haveria anonimato para colaboradores e comentaristas. Além disso, os fóruns seriam moderados de forma leve para garantir que as postagens atendessem aos padrões acadêmicos, com decoro, civilidade e atribuição adequados. Mas todas as ideias seriam bem-vindas. Não haveria controle de acesso. Em vez disso, a comunidade se autorregularia, "avaliando" (para usar o termo das redes sociais) em vez de censurar ideias "ruins".
Obviamente, para que esse sistema venha a substituir o atual sistema de revisão por pares, as universidades precisariam adotá-lo e descobrir como avaliar a produtividade dos acadêmicos para fins de concessão de estabilidade no emprego e outros benefícios — talvez com base no número de publicações e na reação da comunidade a elas.
Mas acreditamos que é para lá que as coisas estão caminhando, e universidades, disciplinas e sociedades científicas fariam bem em embarcar nessa jornada. O sistema atual perdeu sua utilidade, tornando-se um obstáculo à busca da verdade em vez de um meio de apoiá-la.
Participe da conversa:
Publicado sob um Licença Internacional Creative Commons Attribution 4.0
Para reimpressões, defina o link canônico de volta ao original Instituto Brownstone Artigo e Autor.
