Por Douglas S. Soares
Diariamente somos bombardeados por (des)informações nas redes sociais. Diversos gurus acabam apenas reproduzindo títulos e conclusões de papers (que confirmam aquilo que acreditam e convém) sem mesmo avaliar a robustez das evidências. Este tipo de atitude acaba sendo um desserviço à sociedade.
É importante desenvolvermos nossa independência intelectual aprendendo a avaliar a qualidade das evidências científicas. Como podemos fazer isso?! A resposta é muito simples: aprender a ler criticamente!!! Artigos científicos não são como um romance, não precisamos começar pela introdução e ir até a conclusão de forma linear e engessada.
SEJA UM LEITOR ATIVO! LEIA O CERTO E O NECESSÁRIO.
É, isso dá trabalho!
Passo a passo para você consumir ciência (faça um teste!)
Vou compartilhar a estratégia que utilizo para consumir literatura científica. Enfatizo que não existe uma única forma de leitura de artigos científicos, cada pessoa vai descobrindo a sua própria e a desenvolvendo com o passar do tempo.
Quando estou com um artigo em mãos, primeiramente, pergunto:
- Será que a questão de pesquisa é relevante?
- O que já existe na literatura sobre o assunto?
- Qual o racional teórico por trás desta questão?
- Qual a probabilidade destes resultados serem verdadeiros tendo como base achados prévios?
Respondidas estas questões, sigo. Em ensaios clínicos, por exemplo, meu ponto de partida é a conclusão: vejo a direção do resultado, ou seja, se ele é positivo ou negativo. Ressalto que estudos positivos são mais fáceis de serem publicados, esta é uma das variáveis que compõem o que chamamos de viés de publicação. Tal problema pode comprometer uma futura sumarização dos dados disponíveis na literatura.
Em seguida, vou para a metodologia e procuro por possíveis erros sistemáticos e aleatórios. Se a conclusão do estudo diz que o resultado é positivo analiso quatro pontos principais: (I) randomização, (II) cegamento, (III) tipo de análise e (IV) probabilidade de um erro tipo I. Vou explicar cada ponto.
Randomização
No primeiro item existem certas questões que podem ser levantadas: os grupos foram randomizados? E a randomização foi mantida em sigilo? A randomização é importante para termos grupos comparáveis, ou seja, tanto o grupo intervenção como o grupo controle tem que ter o mesmo prognóstico no início do estudo. O lugar ideal para obtermos tais informações é na tabela 1 do artigo. Ela contém as principais características da população do estudo e pode nos dar ideia do equilíbrio entre as possíveis variáveis confundidoras, as quais podem influenciar no desfecho de interesse. Cabe ao leitor avaliar isto, e também, questionar se não existem outras variáveis que podem influenciar no desfecho de interesse que não foram consideradas pelos autores.
Cegamento
No cegamento, temos que ver em qual extensão o estudo foi cegado. O cegamento é quando alguns pontos importantes da pesquisa são omitidos dos participantes e dos pesquisadores. Imagine que você vai dar cafeina e placebo para dois grupos sendo que eles sabem o que estão tomando. Podemos ter grupos equilibrados no início do estudo, mas este equilíbrio pode ser perdido durante o estudo pela falta ou baixa extensão do cegamento. Por exemplo, os pesquisadores que irão realizar o tratamento podem oferecer maiores cuidados a estes pacientes (que não estão previstos) e, por consequência desequilibrar o valor prognóstico por meio desta co-intervenção. Por isso, é importante que o cegamento seja mais abrangente, cegando pacientes, pesquisadores, coletadores de dados, adjudicadores de desfechos, e também, os analistas de dados. Quanto maior for a extensão do cegamento, menor vai ser o risco de viés do estudo.
Tipo da análise
E outro ponto muito importante é o tipo de análise, que pode ser dividido em análise por intenção de tratar ou análise por protocolo. No primeiro, os dados de todos os indivíduos randomizados serão analisados independente da adesão. Já o segundo, os indivíduos que por algum motivo não aderiram ao estudo são excluídos da análise. Caso o estudo em questão tenha realizado a análise por protocolo, é importante que os pesquisadores verifiquem se os grupos ainda continuam homogêneos, e por consequência comparáveis. Entre os dois tipos, a mais robusta é a análise por intenção de tratar, por ser o método que melhor reflete a realidade.
Erro tipo I ou erro alfa
E o último ponto é considerar a probabilidade do erro tipo I ou erro alfa. Neste caso temos de ir para os resultados do estudo e avaliar o valor de p, que conceitualmente é a probabilidade de se obter uma estatística de testes igual ou mais extrema que aquela observada em uma amostra, sob a hipótese nula. Em linhas gerais, avaliamos o valor de p de acordo com o nível de significância fixado previamente (normalmente 5%). Se o valor de p é menor que o nível de significância escolhido, rejeitamos a hipótese nula. Importante pontuar que o valor de p avaliado de forma isolada não nos diz muita coisa sobre o resultado.
Mas se eu estou lendo um estudo com o resultado negativo?
Agora, se o resultado do estudo é negativo? Bom, nesta situação temos que voltar a nossa atenção para outros pontos: (I) erro de tratamento, (II) crossover e (III) perda de segmento. Cabe salientar que a randomização também é importante em estudos com resultado negativo. Lembrando que um resultado negativo não significa que o estudo “foi ruim” ou “deu errado”. Resultado é resultado!
Erro de Tratamento: Imagine a seguinte situação: um estudo vai avaliar o efeito do exercício físico sobre a fração de encurtamento em pacientes com insuficiência cardíaca e o grupo exercício não executa o tratamento de forma adequada, por quaisquer motivos. Esta situação pode favorecer a um resultado negativo, pela redução da efetividade do tratamento.
Crossover: No excesso de crossover, os pacientes randomizados trocam de grupo por diferentes motivos e acabam por contaminar e desequilibrar os grupos.
Perda de segmento: Estudos com grande perda de segmento podem favorecer a resultado negativo devido a redução do poder amostral e aumento da imprecisão dos resultados, contribuindo para um resultado falso negativo.
Feito isso o próximo passo é ver os resultados…
Depois de avaliar os possíveis erros sistemáticos e aleatórios, sigo para os resultados. Nesta parte, questiono: qual a magnitude do efeito da intervenção? Qual a precisão da estimativa do efeito?
Aqui temos que parar e refletir um pouco. Supondo que tenhamos um grande tamanho de efeito do tratamento. Será que este grande tamanho de efeito é devido aos erros que abordamos nos parágrafos acima? Normalmente, estudos não-randomizados e não-cegados têm uma maior probabilidade de superestimar o efeito do tratamento. Em relação a precisão da estimativa do efeito, tamanhos amostrais muito pequenos geram um intervalo de confiança muito amplo, aumentando a imprecisão dos resultados.
Dificilmente leio a discussão. Nesta parte do artigo os autores apenas querem te convencer que os achados da sua pesquisa são os melhores resultados da história da ciência mundial.
Só leio a introdução se desconheço o assunto, caso contrário passo reto.
Podemos ver que somente ler o título do artigo, sua conclusão e ter o selo de aprovação do guru da moda não são suficientes. Cada um destes pontos abordados são de extrema relevância para acreditarmos ou desacreditarmos das conclusões do estudo. O leitor de um artigo científico tem que ter uma postura cética. Somente depois de se certificar que o risco de viés do estudo é baixa é que podemos confiar (até certo ponto) na sua conclusão.
Leia um artigo científico de forma ativa. Exercite a leitura crítica e desenvolva a sua independência intelectual. Tente encontrar todo o tipo de erro possível antes de aceitar os resultados, principalmente se eles estão de acordo com o que você acredita. E, CUIDADO com a disseminação de (des)informação científica. Na dúvida, NÃO COMPARTILHE!
Grande abraço!
Douglas S. Soares
Professor de Educação Física
Especialista em Medicina do Esporte
Mestre e Doutorando em Cardiologia e Ciências Cardiovasculares
Instagram @dsoares1981