FIOCRUZ / IPEC ENSAIOS CLÍNICOS E META-ANÁLISE Revisão sistemática / Meta-análise Fundamentos

1. FIOCRUZ / IPEC ENSAIOS CLÍNICOS E META-ANÁLISE Revisão sistemática / Meta-análise Fundamentos Carlos de Andradecarlosandrade07@gmail.com

2. Introdução • Justificativa • Conceitos • Etapas • Viés • Heterogeneidade • Exemplos • Considerações finais

4. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais Introdução Como é construído o conhecimento científico?

5. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais • Introdução • acúmulo de informações • síntese dos achados

6. The Medical Review Article. State of the Science - C. Mulrow - 1987 Avaliação de 50 artigos de revisão publicados no Ann Int Med, Arch Int Med, JAMA, NEJM (1985-86) Ann Intern Med 1987; 106:485-8

7. “Embora atualmente a utilidade de várias intervenções seja testada repetidamente, persiste o costume de buscar evidências em estudos isolados, ao invés de olhar para o corpo de evidências produzidas” Chalmers I. The scandalous failure of scientists to cumulate scientifically. Abstract to paper presented at: Ninth World Congress on Health Information and Libraries; 2005 Sep 20–23; Salvador, Brazil. http://www.icml9.org/program/public/documents/Chalmers-131623.pdf

8. Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais necessária melhor síntese possível das informações disponíveis para tomada de decisões na área de saúde

9. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais • produção científica crescente na área de saúde • sínteses realizadas de forma simplista

10. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais • baixa qualidade das revisões narrativas • não são fontes confiáveis de informações

11. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais • revisões narrativas ou tradicionais: • sem critérios de seleção explícitos • e • sem integração dos resultados

12. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais • O que é uma revisão “tradicional” da literatura?

13. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais • Revisão “tradicional” da literatura • resumos qualitativos • modo de obtenção dos estudos não explicitado • uso das expressões: • “nenhuma evidência de uma tendência” • “uma associação fraca”

14. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais • Introdução • O que é uma revisão sistemática? • (síntese quantitativa, overview, pooling)

15. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais • Revisão sistemática • “uma revisão que é preparada utilizando uma abordagem sistemática para minimizar viéses e erros aleatórios que é documentada em uma seção de “Material e Métodos”” • Chalmers e Altman • Systematic Reviews in Health Care, 1995

16. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais Revisão sistemática decisões em relação à identificação, seleção e inclusão dos estudos devem ser transparentes e estabelecidas antes de iniciar a revisão

17. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais O que torna uma revisão “sistemática”?

18. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais • baseada em uma questão claramente formulada • todos os estudos relevantes são identificados • avalia a qualidade dos estudos • resume a evidência pelo uso de critérios definidos • comentários baseados na evidência recolhida

19. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais O que é uma meta-análise?

20. meta-análise? • Modo de calcular uma média • Estimativa de uma “média” ou “efeito comum” • Melhora a precisão de uma estimativa pelo uso de TODOS dados disponíveis

21. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais Meta-análise “análise estatística de uma coleção de estudos independentes, contrastando e combinando seus resultados, buscando-se identificar padrões consistentes e fontes de discordância entre os achados” (Greenland, 1988)

22. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais meta-análise ≠ ??? revisão sistemática

23. O que é uma meta-análise? Parte opcional de uma revisão sistemática Revisões sistemáticas Meta-análises

24. Karl Pearson, British Medical Journal, 1904

25. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais Evolução da meta-análise • 1976 - termo “meta-análise” • Gene Glass e Mary Lee Smith: • “Primary, Secondary and Meta-Analysis Research” • efetividade da psicoterapia para neuroses - 375 estudos

26. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais Evolução da meta-análise Motivação para o estudo de Glass e Lee-Smith “The Effects of Psychotherapy: an evaluation” (H J Eysenck, 1952) 2/3 dos indivíduos neuróticos melhoravam em dois anos, independente de serem ou não submetidos à psicoterapia. Conclusão baseada em 19 estudos,7293 pacientes. Em resposta ao artigo de Glass, Eysenck publica: “An Exercise of Mega-Silliness”

27. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução /Justificativa/ Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais • 2.300 revistas biomédicas em 1940 • 25.000 revistas biomédicas em 1990 • 4.000 fascículos de revistas biomédicas / mês • 2 milhões de artigos médicos / ano • 10-15% dos artigos com valor científico duradouro

28. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução /Justificativa/ Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais Como responder uma pergunta sobre um assunto controverso?

29. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais Solução 1 Artigos de revisão “tradicionais” “Algumas comparações entre psicoterapia e tratamento medicamentoso sugeriram que o tratamento combinado pode apresentar vantagens sobre tratamentos isolados (ref). Outros estudos mostraram não haver diferenças entre psicoterapia e psicoterapia associada a medicamentose terapia comportamental......”

30. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais Solução 1 Artigos de revisão “tradicionais” É adequada? Por que?

31. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais • Solução inadequada 1 • pouca integração do conhecimento produzido pelos estudos • conclusões obtidas mais associadas ao revisor do que aos dados • utilização de métodos subjetivos • ausência de critérios explícitos da

32. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais • Revisões narrativas • apropriadas para: • descrever a história e o manejo de um problema • descrever avanços mais recentes quando os estudos são raros, preliminares ou apresentam metodologia insuficiente • discutir dados a partir de uma teoria ou contexto. • integrar conceitualmente dois campos de pesquisa

33. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais • Revisões narrativas • inapropriadas para avaliar a eficácia de: • intervenções clínicas • intervenções populacionais

34. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais Solução 2 vote-counting ou box score É adequada? Por que?

35. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais • Solução inadequada 2 • vote-counting ou box score • baseada em afirmações do tipo “a maioria dos estudos encontrou uma associação ...” • tamanho amostral e magnitude do efeito dos estudos não considerados

36. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais Solução 3 inclusão seletiva de estudos É adequada? Por que?

37. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade /Exemplos / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais • Solução inadequada 3 • inclusão seletiva de estudos • autor estabelece a “verdade” • esta é defendida sem que o leitor tenha acesso a todas possibilidades

38. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade /Exemplos / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais Solução 4 utilização de uma abordagem sistemática para seleção dos estudos e, caso possível, combinação dos resultados obtidos em uma medida-sumário É adequada? Por que?

39. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade /Exemplos / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais Solução adequada 4 ???? realização combinação dos resultados obtidos em uma medida-sumário

40. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade /Exemplos / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais

41. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade /Exemplos / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais Justificativa Anticoagulantes e IAM • Thomas Chalmers - National Health Institute • 1959-1985: mais de 20 ensaios clínicos efetividade de 22% • 1959-1988: 33 ensaios clínicos • Meta-análise cumulativa: efetividade passível de ser detectada desde 1973, com 8 ensaios clínicos

42. Anticoagulantes e IAM meta-análise cumulativa – Lou et al, 1992

43. Anticoagulantes e IAM

44. Há um rótulo para dizer qual a comparação e qual o desfecho de interesse

45. Linha horizontal embaixo é a escala de efeito do tratamento

46. Linha vertical no meio: tratamento e controle tem o mesmo efeito

48. A análise combinada é dada em forma de diamante Meio – estimativa pontual Largura horizontal – intervalo de confiança Se o intervalo de confiança CRUZA a linha de ausência de efeito, não foram encontradas diferenças estatisticamente significativas entre as duas intervenções

50. Introdução / Justificativa / Conceitos / Etapas / Exemplos / Heterogeneidade / Viés / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade /Exemplos / Considerações finais Introdução / Justificativa / Conceitos / Etapas / Viés / Heterogeneidade / Exemplos / Considerações finais • Justificativa • Limitações dos estudos individuais • dificuldade de detectar (ou excluir)diferenças discretas entre efeitos de duas terapias • dificuldade logística e custos elevados para recrutar número adequado de pacientes • pouca aplicabilidade e dificuldade de generalização dos resultados