Nos anos em que atuei como editor associado (para O Jornal Americano de Epidemiologia), já vi todo o espectro de "revisões por pares" — desde críticas meticulosas e ponderadas, cujos autores evidentemente investiram várias horas na tarefa, até revisões superficiais que refletiam descuido e incompetência. Li revisões amigáveis de admiradores dos autores e revisões hostis de seus inimigos. (Não é difícil perceber pelo tom.) Na prática da ciência, os seres humanos ainda se comportam como seres humanos.
A situação piorou durante a pandemia. Estudos que elogiavam as vacinas contra a Covid foram rapidamente certificados como "revisados por pares", enquanto a revisão crítica por pares pós-publicação foi suprimido. Como resultado, agora temos uma coleção histórica de ciência ruim publicada. Ela não pode ser apagada, mas é hora de começar a corrigir o registro.
Periódicos biomédicos não são a plataforma. Primeiro, não há uma seção formal para revisão aberta por pares de artigos publicados há muito tempo. Segundo, os editores não têm interesse em expor falsidades publicadas em seus periódicos. Terceiro, censura a máquina ainda está no lugar. Até agora, só consegui quebrá-la uma vez, e não foi fácil.
Então, como podemos tentar corrigir o registro e onde?
Permitam-me fazer uma sugestão aos meus colegas em epidemiologia, bioestatística e áreas metodológicas relacionadas que preservaram seu pensamento crítico durante a pandemia. Escolham um ou mais artigos sobre as vacinas contra a Covid e enviem sua revisão por pares para Diário Brownstone. Se for interessante e bem escrito, há uma boa chance de ser publicado. Aconselho a fazer uma seleção criteriosa: encontre os artigos revisados por pares que mais o irritaram, seja por serem puramente absurdo ou porque a inferência correta foi surpreendentemente diferente. E se você publicou críticas curtas no Twitter (agora X) ou análises completas em outras plataformas, expanda, revise e envie-as para a Brownstone. Talvez possamos criar lentamente um inventário de análises críticas, restaurando alguma confiança no método científico e na ciência biomédica.
Aqui está um exemplo.
Uma revisão e uma reanálise de um estudo em Ontário, Canadá
Publicado no British Medical Journal em agosto de 2021, o papel relataram a eficácia das vacinas de mRNA no início de 2021, logo após sua autorização.
Esta pesquisa foi típica dos estudos de vacinas da época. A eficácia foi estimada em um cenário "real"; ou seja, um estudo observacional durante uma campanha de vacinação. O período do estudo (meados de dezembro de 2020 a meados de abril de 2021) incluiu o pico de uma onda de Covid-19 no inverno, no início de janeiro. Discutiremos mais adiante um forte viés chamado de confusão por risco de infecção de fundo.
O delineamento foi uma variação do estudo caso-controle, o delineamento com teste negativo. Os indivíduos elegíveis foram submetidos a um teste de PCR devido a sintomas semelhantes aos da Covid. Os casos apresentaram resultado positivo; os controles, negativo. Como de costume, foram calculadas razões de chances, e a eficácia foi calculada como 1 menos a razão de chances (expressa em porcentagem). O tamanho da amostra foi grande: 53,270 casos e 270,763 controles.
Os autores relataram os seguintes resultados principais (itálico meu):
"A eficácia da vacina contra a infecção sintomática observada ≥ 14 dias após uma dose foi de 60% (intervalo de confiança de 95%: 57% a 64%), aumentando de 48% (41% a 54%) em 14 a 20 dias após uma dose para 71% (63% a 78%) em 35 a 41 dias. A eficácia da vacina observada ≥ 7 dias após duas doses foi de 91% (89% a 93%)."
Como em quase todos os estudos de eficácia, os autores descartaram os eventos iniciais. Conforme explicado em outro lugar, essa prática introduz um viés chamado tempo imortal, ou viés da janela de contagem de casos. Não só obscurece possíveis efeitos nocivos precoces, como também conduz efetivamente a uma sobrestimação da eficácia. RFK, Jr. aludiu a este enviesamento em termos não técnicos (ver clip de vídeo).
O abordagem correta é simples. Devemos estimar a eficácia desde a administração da primeira dose para pontos temporais posteriores (imunidade desenvolvida). Minha tabela abaixo mostra os dados do estudo e os resultados da nova análise. Cada linha mostra o cálculo da eficácia até o dia indicado.
A eficácia foi negativa ao final das duas primeiras semanas após a primeira dose e atingiu cerca de 30% antes da segunda dose, não 70%. Atingiu apenas cerca de 50% no momento da imunidade total, não 90%. Embora minhas estimativas não sejam ajustadas, a Tabela 2 (material suplementar) indica que o ajuste dificilmente alterou as estimativas dos autores.
No entanto, meus resultados ainda são tendenciosos pelo que chamei anteriormente de “confusão por risco de infecção de fundo”.
A figura abaixo foi retirada do site da Saúde Pública OntárioA linha preta mostra a média móvel de novos casos em 7 dias. Adicionei linhas vermelhas que mostram o período do estudo, dividido em dois intervalos. Também adicionei estimativas do número de pessoas vacinadas em cada intervalo.
O primeiro intervalo, que continha o pico da onda de inverno, foi um período de início lento da campanha de vacinação. Naquela época, a distribuição do status vacinal era enviesada para a não vacinação, o que significa que o estado de não vacinação coincidiu com uma alta probabilidade de infecçãoEm contraste, a taxa de infecção de base foi menor em grande parte do segundo período, quando vários milhões de pessoas receberam a primeira dose. Somente em meados de março o número de novos casos ultrapassou a linha tracejada. Em suma, a associação inversa entre vacinação e infecção foi fortemente distorcida pelas tendências temporais do risco de infecção. Até mesmo uma injeção de placebo teria parecido eficaz.
Não consigo remover o viés, e ele é forte. A verdadeira eficácia, se houver, é muito menor do que as estimativas que calculei após a remoção do viés temporal imortal. Não importa se é de 10% em seis semanas ou 20%. Isso não é uma vacina.
Os autores utilizaram outro grupo de casos: hospitalização ou óbito. Esses dados estão sujeitos não apenas aos vieses anteriores, mas também aos preconceito de vacinados saudáveis. No entanto, não posso oferecer uma correção. A maioria dos dados de casos foi suprimida devido ao pequeno número de casos, e o grupo de controle estava errado. Eles usaram "o mesmo grupo de controle da primeira análise de desfecho primário (ou seja, indivíduos com sintomas que testaram negativo para SARS-CoV-2)". Isso viola um princípio básico do modelo de teste negativo. Os controles deveriam ter sido pessoas hospitalizadas ou falecidas que testaram negativo.
A frase a seguir reflete um mal-entendido sobre o modelo de regressão que eles ajustaram. Eles escrevem: “Usamos modelos de regressão logística multivariável para estimar a razão de chances, comparando as probabilidades de vacinação (itálico meu) entre casos positivos e controles negativos (com pessoas não vacinadas como grupo de referência). A variável dependente era o status caso-controle (probabilidades logarítmicas de ser um caso). Tecnicamente, as probabilidades de ser um caso (versus ser um controle) são comparadas, não as probabilidades de vacinação.
Estranhamente, o postado material suplementar ainda traz o título “CONFIDENCIAL — PROIBIDA A DISTRIBUIÇÃO, 5 DE AGOSTO DE 2021”. Só na era da Covid é possível encontrar tamanho desleixo. Observamos aqui o tratamento tendencioso (descuido) de um artigo que serviu à narrativa.
Encerrarei minha análise com um dos meus tópicos favoritos: resultados sem sentido.
A figura abaixo mostra as estimativas de eficácia, conforme calculadas pelos autores. A seta aponta para um resultado que não faz sentido. Não esperamos nenhum benefício adicional da segunda dose dentro de 6 dias após a injeção, mas a eficácia aumentou, quase alcançando a estimativa para o intervalo subsequente (7+ dias). Se a estimativa para 0 a 6 dias for claramente tendenciosa, por que confiaríamos na próxima?
Epílogo
Como escrevi no início, devemos tentar corrigir o registro histórico. É um longo caminho pela frente, mas, como diz o provérbio, "Uma jornada de mil milhas começa com um único passo". Faço um apelo especial aos metodologistas de alto escalão que costumavam desmontar estudos ruins e criticar métodos duvidosos. A maioria deles permaneceu em silêncio durante a pandemia, provavelmente temendo as consequências de desafiar a narrativa "segura e eficaz".
Vamos começar a ler análises destemidas de estudos que relataram a notável eficácia das vacinas contra a Covid, mas que se provaram falsos. Não faltam problemas para detectar, destacar e corrigir, se possível, com dados reais ou simulações:
Se não fizermos esse trabalho, continuaremos a ler estimativas falsas baseadas na eficácia de vidas salvas. Foi perto de 2.5 milhões, como alguns alegaram, ou indetectável nas estatísticas de mortalidade, ou possivelmente cerca de zero? E alguma vez obteremos algumas respostas de ensaios relevantes?
Republicada a partir de Médio
Participe da conversa:
Publicado sob um Licença Internacional Creative Commons Attribution 4.0
Para reimpressões, defina o link canônico de volta ao original Instituto Brownstone Artigo e Autor.
