Hace unos años, dos investigadores seleccionaron los 50 ingredientes más utilizados en un libro de cocina y analizaron cuántos de ellos se habían asociado con un riesgo o beneficio frente al cáncer en diversos estudios publicados en revistas científicas.
La respuesta fue: 40 de 50, una lista que incluye sal, harina, perejil y azúcar. "¿Todo lo que comemos está relacionado con el cáncer?", se preguntaron luego —irónicamente— en un artículo publicado en 2013.
- Te recomendamos ¿Cómo sería la vida ideal? Muy modesta, dice la ciencia Ciencia y Salud
Su pregunta se relaciona con un problema conocido pero persistente en el mundo de la investigación: muchos estudios utilizan muestrasdemasiado pequeñas para llegar a conclusiones generalizables.
Pero la presión sobre los investigadores, la competencia entre las revistas y el apetito insaciable de los medios por estudios que anuncien revoluciones o grandes descubrimientos hace que estos artículos continúen publicándose.
"La mayoría de los artículos publicados, incluso en revistas serias, son flojos", asegura John Ioannidis, profesor de medicina en Stanford, especializado en el estudio de estudios.
Este detractor de la mala investigación científica demostró en un artículo de 2005 "por qué la mayoría de los estudios publicados son falsos".
Poco progreso
Algunas revistas solicitan que los autores proporcionen sus datos brutos y publiquen previamente su protocolo. Esta transparencia evita que los investigadores tuerzan sus métodos y datos para encontrar un resultado, cualquiera que sea. También permite que otros verifiquen o "repliquen" el estudio.
Cuando se vuelven a hacer, los experimentos raramente conducen a los mismos resultados. Sólo un tercio de los 100 estudios publicados en las tres revistas de psicología más prestigiosas pudieron ser reproducidos por investigadores, en un análisis publicado en 2015.
La medicina, la epidemiología, los ensayos clínicos de medicamentos y los estudios de nutrición no funcionan mucho mejor, insiste Ioannidis, especialmente durante las repeticiones.
"En las ciencias biomédicas y en otros lugares, los científicos no se forman lo suficiente en estadística y metodología".
Demasiados estudios se centran en unos pocos individuos, lo que hace que sea imposible generalizar a una población total, ya que es poco probable que los participantes seleccionados sean representativos.
Comida, la más afectada
"La dieta alimenticia es una de las áreas más lamentables" —continúa el profesor Ioannidis— y no sólo por los conflictos de intereses con la industria agroalimentaria. Los investigadores a menudo buscan correlaciones en enormes bases de datos, sin hipótesis de partida.
Además, "medir una dieta es extremadamente difícil", explica. ¿Cómo cuantificar exactamente qué come la gente?
Incluso cuando el método es bueno, con un estudio hecho de forma aleatoria donde los participantes son seleccionados al azar, la ejecución a veces es precaria.
Un famoso estudio de 2013 sobre los beneficios de la dieta mediterránea sobre enfermedades del corazón tuvo que ser retirado en junio por la prestigiosa revista médica The New England Journal of Medicine, ya que los participantes no habían sido reclutados de forma aleatoria; los resultados han sido revisados a la baja.
¿Cómo evitar malos estudios?
Ioannidis recomienda hacer las siguientes preguntas:
- ¿Es un estudio aislado o refuerza trabajos existentes?
- ¿La muestra es pequeña o grande?
- ¿Es un experimento aleatorio?
- ¿Quién lo financió?
- ¿Los investigadores son transparentes?
Estas precauciones son fundamentales en medicina, donde los malos estudios contribuyen a la adopción de tratamientos que en el mejor de los casos son ineficaces y en el peor, perjudiciales.
ASS