Verificação de fatos da Cochrane com resultados absurdos

Em 17 de fevereiro, verificador de fatos Iria Carballo Carbajal, um neurocientista por formação, mas aparentemente sem qualquer formação em epidemiologia, publicou um “fact-check” artigo no site Health Feedback. Em sua manchete, Carballo-Carbajal faz a seguinte declaração: “Vários estudos mostram que as máscaras reduzem a propagação do COVID-19; uma revisão da Cochrane não demonstra o contrário.”

Este artigo agora está sendo usado por empresas de mídia social para suprimir todas as referências ao estudo da Cochrane. Fiquei sabendo disso em 10 de março, quando recebi uma notificação de que uma postagem de um membro de um grupo do Facebook que administro continha “informações falsas”.

A postagem se referia a um opinião artigo sobre a revisão Cochrane no New York Times, publicado em 10 de fevereiro. O recurso de “verificação de fatos independente” mencionado foi o artigo mencionado anteriormente por Carballo-Carbajal. Conseguir um selo de checagem de fatos pode ser um problema sério para um jornal, não menos para uma instituição científica. Portanto, não foi surpresa que já no dia 10 de março a editora da Cochrane, Karla Soares-Weiser, tenha publicado uma declaração tentando minimizar os resultados do estudo, alegando incorretamente que o estudo visava apenas avaliar a eficácia de intervenções para a promover uso de máscara, enquanto o claramente declarado objetivo do estudo é avaliar a eficácia das próprias intervenções físicas, não apenas a eficácia de sua promoção.

No mesmo dia o New York Times publicaram um peça afirmando na manchete que as máscaras certamente funcionam, mas na maior parte dedicada a difamar o autor do estudo Cochrane, Dr. Tom Jefferson. Por exemplo, o artigo afirma que Jefferson afirmou em um entrevista que não há evidências de que o vírus SARS-CoV-2 seja transmitido pelo ar, enquanto o que ele realmente diz é que existem muitas rotas de transmissão e são necessárias mais evidências para determinar com precisão como a transmissão ocorre.

Essa cadeia de eventos é um exemplo chocantemente claro de como funciona a indústria da censura. É ainda mais chocante, considerando como o artigo de “verificação de fatos” de Carballo-Carbajal é seriamente falho, factual, lógica e eticamente.

1. O espantalho

Carballo-Carbajal começa por criar um espantalho, neste caso uma reivindicação atribuída ao Dr. Robert Malone, referindo-se a um recente postar em seu blog. Sob o título “Reivindicação”, a alegação pretendida é declarada da seguinte forma: “Máscaras faciais são ineficazes na redução da propagação do COVID-19 e outras doenças respiratórias, demonstra uma revisão da Cochrane”. Esta afirmação, citada além de uma foto do Dr. Malone, não pode ser encontrada em seu blog.

Como se isso não bastasse, continua Carballo-Carbajal, apresentando o que ela chama de “reivindicação completa:” A revisão “não conseguiu encontrar nem mesmo um 'efeito modesto' na taxa de infecção ou doença:” “o CDC exagerou grosseiramente as evidências que apóiam os mandatos de máscara .”

O problema com isso é que, embora o Dr. Malone seja citado corretamente na primeira parte do parágrafo, a segunda é algo que ele simplesmente não diz em seu blog.

2. O ad hominem

Carballo-Carbajal então se encarrega de atacar o Dr. Malone, alegando que ele espalhou “desinformação sobre as vacinas contra a Covid-19”, referindo-se a outro artigo, também publicado pela Health Feedback. Agora, em que consiste a suposta desinformação, de acordo com aquele artigo? O artigo é uma “verificação de fatos” de um Washington Times artigo de opinião do Dr. Malone e do Dr. Primeiro, que a vacinação universal pode erradicar o vírus, segundo que as vacinas são altamente eficazes, terceiro que são seguras e quarto que a imunidade mediada pela vacina é durável.

Carballo-Carbajal dificilmente poderia ter tido menos sorte com sua referência. Agora está bastante claro que a vacinação universal não pode erradicar o vírus, que a imunidade mediada pela vacina diminui muito rapidamente, a ponto de se tornar negativa, pois a infecção caso e reinfecção caso já mostraram. O fato de que as vacinas não são “(quase) perfeitamente eficazes”, citando o artigo de Malone e Navarro, é óbvio há muito tempo; é de fato a razão pela qual eles não podem erradicar o vírus.

Quanto ao terceiro ponto, é o que Malone e Navarro dizem em seu artigo: “A terceira suposição é que as vacinas são seguras. No entanto, cientistas, médicos e autoridades de saúde pública agora reconhecem os riscos que são raros, mas de forma alguma triviais. Os efeitos colaterais conhecidos incluem condições cardíacas e trombóticas graves, interrupções do ciclo menstrual, paralisia de Bell, síndrome de Guillain-Barre e anafilaxia. Em outras palavras, eles não são seguros, eles têm muitos conhecido efeitos colaterais raros, e isso realmente se torna mais claro conforme o tempo passa.

Em suma, Carballo-Carbajal tenta desqualificar o Dr. Malone acusando-o de “desinformação” sobre outra coisa que não o assunto de seu artigo. Esta é a clássica tática ad hominem quase universal em peças de “verificação de fatos”. Seu fracasso é espetacular, pois todas as supostas “desinformações” já são fatos verificados.

3. A argumentação

O resumo principal de Carballo-Carbajal (incluindo “Detalhes” e “Principais retiradas”) é o seguinte:

As alegações de que as máscaras faciais são ineficazes na redução da disseminação do COVID-19 com base em uma revisão da Cochrane não levaram em consideração as limitações da revisão. Embora muitos usuários tenham apresentado esta revisão como a evidência de mais alta qualidade, os estudos individuais avaliados variaram muito em termos de qualidade, desenho do estudo, populações estudadas e resultados observados, o que impediu os autores de tirar conclusões definitivas. 

Ensaios clínicos randomizados são considerados o padrão-ouro ao avaliar a eficácia de uma intervenção. No entanto, esse tipo de estudo pode variar muito em qualidade, principalmente em intervenções complexas, como máscaras faciais, afetando a confiabilidade dos resultados. Nesse contexto, muitos cientistas consideram que os ensaios clínicos randomizados devem ser vistos como parte de evidências mais amplas, incluindo outros desenhos de estudo. Ao levar esses estudos em consideração, as evidências sugerem que o uso generalizado de máscaras pode reduzir a transmissão comunitária de SARS-CoV-2, especialmente quando combinado com outras intervenções, como lavagem frequente das mãos e distanciamento físico.

Vou agora dividir esta declaração em partes e, em seguida, verificar a validade de cada parte. Devemos ter em mente que a fonte citada é a postagem do blog do Dr. Malone, portanto, qualquer referência a “reivindicações” deve ser à postagem do blog de Malone, que é a única fonte citada. Referências a fontes não identificadas, como “muitos sites e postagens de mídia social” devem ser desconsideradas pelo motivo óbvio de que nenhuma referência é fornecida:

1. Declaração: Dr. Malone afirma que a revisão Cochrane mostra que as máscaras são ineficazes na redução da propagação do Covid-19.

Discussão: Como mostrado acima, o Dr. Malone não faz essa afirmação. Em vez disso, ele afirma que o estudo “não conseguiu encontrar nem mesmo um 'efeito modesto' na taxa de infecção ou doença.” Há uma distinção crítica entre afirmar que A não funciona e afirmar que não foi comprovado que A funciona. Os dois não têm o mesmo significado.

Veredicto: A afirmação de Carballo-Carbajal é falsa.

2. Declaração: Dr. Malone não leva em conta as limitações da revisão ao fazer esta afirmação.

Discussão: Para começar, o Dr. Malone nunca faz a alegação referida, mas uma afirmação diferente. Não obstante, em sua postagem no blog, ele cita claramente a isenção de responsabilidade dos autores do estudo sobre a incerteza sobre os efeitos das máscaras faciais: “A certeza baixa a moderada da evidência significa que nossa confiança na estimativa do efeito é limitada e que o verdadeiro efeito pode ser diferente da estimativa observada do efeito.”... “[o] alto risco de viés nos ensaios, variação na medição dos resultados e adesão relativamente baixa às intervenções durante os estudos dificultam tirar conclusões firmes e generalizar as descobertas para a atual pandemia de COVID-19.  Portanto, não é verdade que o Dr. Malone “não levou em conta as limitações da revisão."

Veredicto: A afirmação de Carballo-Carbajal é falsa.

3. Declaração: “[Os] estudos individuais [...] avaliados [na revisão] variaram muito em termos de qualidade, desenho do estudo, populações estudadas e resultados observados, [...] [impedindo] que os autores tirassem quaisquer conclusões definitivas .”

Discussão: O estudo os resultados são claros: “Há evidências de baixa certeza de nove ensaios (3,507 participantes) de que usar uma máscara pode fazer pouca ou nenhuma diferença no resultado de doença semelhante à influenza (ILI) em comparação com o não uso de uma máscara (taxa de risco (RR) 0.99, 95 por cento intervalo de confiança (CI) 0.82 a 1.18. Há evidências de certeza moderada de que o uso de máscara provavelmente faz pouca ou nenhuma diferença no resultado da gripe confirmada em laboratório em comparação com o não uso de máscara (RR 0.91, IC de 95 por cento 0.66 a 1.26; 6 ensaios clínicos; 3,005 participantes). … O uso de um respirador N95/P2 em comparação com uma máscara médica/cirúrgica provavelmente faz pouca ou nenhuma diferença para o resultado objetivo e mais preciso da infecção por influenza confirmada em laboratório (RR 1.10, IC 95 por cento 0.90 a 1.34; evidência de certeza moderada; 5 ensaios; 8,407 participantes).

Esses resultados são repetidos nas conclusões dos autores, acrescentando o aviso de que “[o] alto risco de viés nos ensaios, variação na medição dos resultados e adesão relativamente baixa às intervenções durante os estudos dificultam tirar conclusões firmes e generalizar as descobertas para a atual pandemia de COVID-19.”

Este aviso é a palha na qual Carballo-Carbajal se agarra com todas as suas forças. Mas, como explicou o principal autor do estudo, isso não altera os resultados do estudo, apenas afirma que os resultados podem ser afetados por incertezas decorrentes das limitações dos estudos utilizados. Em suas próprias palavras:

“Isso se chama cautela e se chama ser honesto com as evidências que encontramos. Esta é a melhor evidência que temos” (ver referência abaixo).

Parece que Carballo-Carbajal não entende o significado de um aviso em um artigo científico; em vez disso, ela tenta usar isso para invalidar os resultados do estudo e apoiar sua afirmação de que as máscaras funcionam, apesar das evidências. Uma isenção de responsabilidade em um estudo não invalida seus resultados.

Veredicto: A declaração de Carballo-Carbajal é enganosa.

4. Declaração: Ensaios controlados randomizados são considerados o padrão-ouro ao avaliar a eficácia de uma intervenção.

Discussão: A referência na qual esta afirmação se baseia é o blog do Dr. Malone. Embora essa afirmação possa ser verdadeira, inferir que algo é geralmente “considerado o padrão-ouro” com base na opinião de um cientista é um grave erro lógico.

Veredicto: declaração de Carballo-Carbajal logicamente inválida.

5. Declaração: Os estudos padrão-ouro variam muito em qualidade.

Discussão: Esta afirmação não é apoiada por nenhuma evidência. Pode ser verdade, ou não.

Veredicto: A declaração de Carballo-Carbajal não é apoiada por evidências.

6. Declaração: Muitos cientistas consideram que os ensaios controlados randomizados devem ser vistos como parte de uma evidência mais ampla.

Discussão: A fonte para isso é um artigo no The Conversa de três epidemiologistas e um especialista em cuidados de saúde primários. Os autores certamente fazem essa afirmação, mas sem citar nenhuma referência. Assim, a afirmação de que se baseia na opinião de “muitos epidemiologistas” é simplesmente falsa. Esta é uma afirmação feita por três epidemiologistas e, considerando o grande número de pessoas com esse treinamento, a palavra “muitos” certamente não é justificada. Deve-se acrescentar que apelar para números (argumentum ad populum) é um erro lógico.

Veredicto: A declaração de Carballo-Carbajal não é apoiada por evidências. Sua suposta relevância é baseada em argumentum ad populum, um erro lógico.

7. Declaração: Quando os estudos que não atendem aos requisitos da pesquisa padrão-ouro são levados em consideração, eles mostram que o uso generalizado de máscaras pode reduzir a transmissão comunitária.

Discussão: É verdade que, ao diminuir o padrão, você pode obter resultados diferentes, mas essa afirmação é problemática, pois Carballo-Carbajal parece tirar dela a conclusão de que, apesar do resultado da revisão Cochrane, as máscaras de fato impedem a transmissão . Isso fica evidente nesta passagem, no final do artigo: “Um crescente corpo de evidências de RCTs e estudos observacionais sugere que o uso consistente de máscaras pode efetivamente reduzir a propagação de vírus respiratórios como o SARS-CoV-2, tanto na área da saúde quanto na comunidade. … Por enquanto, as máscaras faciais são outra camada de proteção, além da vacinação, lavagem frequente das mãos e distanciamento físico quando a circulação de vírus respiratórios é alta.”

Isso significa que a afirmação de Carballo-Carbajal não é apenas que estudos de baixa qualidade sugerem algo; a declaração final mostra que ela afirma claramente que o que eles sugerem é realmente verdade. Esta afirmação é ainda mais clara em seu título: “Vários estudos mostram que as máscaras reduzem a propagação do COVID-19.” Uma diferença sutil na superfície, mas muito importante. Isso significa que é justificado reformular a declaração original como: “Quando estudos que não atendem aos requisitos da pesquisa padrão-ouro são levados em consideração, eles mostram que o uso generalizado de máscaras pode reduzir a transmissão comunitária e esta é uma conclusão válida. "

Isso nos leva à questão de por que os estudos de baixa qualidade citados por Carballo-Carbajal não foram incluídos na revisão Cochrane. Felizmente temos um cópia de uma entrevista detalhada entre o principal autor do estudo, Dr. Tom Jefferson (JF) e Dr. Carl Heneghan (CH), onde isso é discutido em detalhes:

CH. Agora olhe, eu vou levá-lo para a tarefa aqui. Nas conclusões do autor, as pessoas vão ler esta revisão e começar a olhar para isso e dizer, olhe, temos evidências de alta qualidade, temos ensaios clínicos randomizados e, particularmente, no nível da máscara, eles dirão , olha, você está mostrando na comunidade essa falta de efeito, mas começa com o alto risco de viés no estudo, variação na medição do resultado e adesão relativamente baixa à intervenção durante os estudos, o que nos impede de tirar conclusões firmes . Agora eu enfatizo esse ponto porque a resposta óbvia então é ir a todos os estudos observacionais onde as pessoas fizeram revisões sistemáticas e certamente tiraram conclusões firmes sobre o que fazer. Então, você poderia elaborar sobre o que isso significa no contexto de 78 ensaios - isso é um monte de evidências de ensaios clínicos randomizados - você pode elaborar sobre o que isso significa?

TJ. Isso se chama cautela e se chama ser honesto com as evidências que encontramos. Esta é a melhor evidência que temos, mas ao contrário de alguns dos ideólogos que defendem a ideia de que estudos não randomizados, estudos observacionais poderiam dar respostas, alguns deles apresentam respostas abrangentes, afirmações abrangentes, certezas, que simplesmente não pertencem a Ciência. A ciência não é sobre certeza, a ciência é sobre incerteza, trata-se de tentar avançar na agenda e acumular conhecimento. O uso de estudos não randomizados na avaliação de vírus respiratórios de intervenções com vírus respiratórios significa que as pessoas não entendem, aqueles que fizeram esses estudos não entendem o jogo de vários fatores. Por exemplo a sazonalidade, por exemplo as idas e vindas caprichosas desses agentes, eles estão aqui um dia e vão embora no outro. Se você observar o comportamento do SARS-CoV-2 na vigilância do Reino Unido nos últimos 12 meses, ele aumenta e diminui, e é completamente independente de qualquer intervenção, e também aumenta e diminui muito rapidamente. Estudos observacionais não podem explicar isso. Além disso, uma proporção muito grande de estudos observacionais é retrospectiva e, portanto, está sujeita a um viés de memória impiedoso; os pesquisadores tiram conclusões a partir dos dados que obtiveram ao fazer perguntas como “Você se lembra há um mês quantas vezes você usou uma máscara” ou “O que você fez neste ou no outro dia” sem manter um diário. Isso simplesmente não é ciência. Inferindo métrica, distanciando, quando os estudos originais não faziam isso. Portanto, esta é apenas uma lista interminável de vieses que não podem ser levados em consideração por estudos observacionais. E a única maneira que temos de responder a perguntas é realizar grandes estudos prospectivos randomizados de controle para responder a uma pergunta específica em uma população específica”.

Como Jefferson explica aqui, as limitações dos estudos observacionais tornam virtualmente impossível tirar deles a conclusão que Carballo-Carbajal faz. Carballo-Carbajal cita uma série de estudos observacionais para apoiar sua afirmação. Não vou passar por todos eles aqui, mas examinar alguns exemplos deve ser suficiente para fornecer evidências para alguns dos problemas que Jefferson discute, bem como refutar algumas das conclusões infundadas de Carballo-Carbajal.

Por exemplo, um dos estudos citados, Wang e cols., conclui que o uso de máscara facial pelo caso primário e contatos familiares antes do caso primário desenvolver sintomas foi 79% eficaz na redução da transmissão. Este é um estudo observacional retrospectivo em que a evidência para o uso da máscara é puramente baseada no próprio auto-relato do participante após o fato. 

Outro, Mello e outros. mostra como as partículas virais se acumulam nas máscaras, mas Carballo-Carbajal considera isso uma evidência de que “[a]dados disponíveis indicam que o uso de máscara é mais eficaz quando combinado com outras medidas de controle, como distanciamento físico e lavagem frequente das mãos”.

Resumindo, Carballo-Carbajal afirma que, uma vez que estudos de alta qualidade não comprovam a eficácia das máscaras contra a transmissão, estudos observacionais não confiáveis, que são excluídos da meta-revisão do “padrão ouro”, justamente por sua falta de confiabilidade, provam o que a alta estudos de qualidade falham em provar.

Veredicto: A afirmação (reformulada) de Carballo-Carbajal é falsa. Sem reformular, é irrelevante.

8. Declaração: O efeito do uso da máscara é maior quando combinado com outras intervenções.

Discussão: Esta afirmação é problemática. Já está claro pelas evidências de alta qualidade fornecidas pela revisão da Cochrane que a alegação de que as máscaras reduzem a transmissão não é comprovada. Isso significa que alegar que eles aumentam a proteção fornecida por outras intervenções deve estar incorreto.

Veredicto: A afirmação de Carballo-Carbajal é falsa.

Carballo-Carbajal começa atribuindo falsamente ao Dr. Robert Malone duas afirmações que ele nunca fez. Essas alegações falsas se tornam a base de sua "verificação de fatos".

Ela então acusa erroneamente o Dr. Malone de fazer declarações falsas sobre um assunto diferente, um argumento ad hominem irrelevante para o assunto do artigo.

Das oito afirmações feitas por Carballo-Carbajal em seu resumo, apoiadas por seu texto principal, quatro são claramente falsas, uma é logicamente inválida, uma é enganosa e duas não são apoiadas por nenhuma evidência, das quais uma é baseada em um erro lógico também.

Considerando como este artigo seriamente falho agora é aparentemente usado para suprimir a disseminação de um importante artigo científico, para pressionar o editor-chefe da Cochrane a fazer falsas alegações sobre o objetivo do artigo e minimizar seus resultados, e para censurar uma revisão de Segundo as conclusões de um importante jornal tradicional, há claramente uma necessidade urgente de agir fortemente contra a chamada indústria de “verificação de fatos”. O nível a que essa censura chegou é uma ameaça clara e presente à pesquisa e ao desenvolvimento científico.