El arte de descubrir fraudes en la ciencia

Tomado del Boletín de Ciencia y Tecnología del CONICIT (Costa Rica)

no. 68 - Marzo 2008

Julie Clayton
13 febrero 2008

¿Cómo pueden los periodistas saber si lo que afirma un científico es verdad? Julie Clayton ayuda a los reporteros de ciencia a revisar la calidad de las aseveraciones científicas e, incluso, detectar a quienes cometen fraude.

La mayoría de los científicos son honestos, aunque algunos cometen fraude cuando engañan deliberadamente a sus colegas o al público con falsas aseveraciones. Pueden describir experimentos que nunca han tenido lugar, referir pacientes que no existen o distorsionar información e ilustraciones para parecer más convincentes.

El médico noruego Jon Sudbø inventó más de 900 pacientes en un estudio publicado en 2005 por The Lancet, donde afirmaba que analgésicos comunes ayudaban a proteger contra el cáncer oral [1]. El médico alemán Jan Hendrik Schön falsificó información en numerosos artículos, incluyendo 15 publicaciones en las revistas de más alto nivel en el escenario científico, Nature y Science. Más recientemente, el científico surcoreano Hwang Woo Suk inventó datos que se publicaron en Science, afirmando que había obtenido células madre a partir de embriones humanos [2,3]. En los tres casos, las retractaciones se hicieron una vez que los fraudes fueron publicados.

Es importante que los medios informen sobre los fraudes científicos de tal manera que pueda responsabilizarse a la comunidad científica por el mantenimiento de estándares en la investigación, la que suele financiarse con fondos públicos. La comunidad científica no sólo debiera actuar velozmente para castigar el fraude, sino también cuestionar la negligencia de los coautores por no conocer y comprender más sobre el trabajo que se va a publicar e impedir que ocurra un fraude.

Al informar sobre un fraude, los medios también pueden ayudar a proteger al público de los embaucadores que, por ejemplo, hacen que los pacientes tarden en recibir un tratamiento apropiado en beneficio de un medicamento no aprobado, como ocurrió recientemente con pacientes con SIDA en Sudáfrica [4]. Además, la reputación de los medios está en juego si una afirmación fraudulenta ha tenido publicidad en el pasado.

¿Por qué es tan difícil detectar el fraude?

Los científicos, por regla, siguen un código de conducta convenido. Comienzan con experimentos diseñados para responder a una pregunta científica o crear un nuevo producto. Presentan los resultados a sus colegas y luego los publican en una revista científica. Una revista de buena calidad requiere de expertos independientes que certifiquen que los resultados del artículo son válidos. Este proceso se conoce como revisión por pares.

El proceso de revisión por pares significa que los periodistas pueden habitualmente asumir que el trabajo publicado es de calidad y vale la pena cubrirlo. Y esto suele ser verdad. Pero la revisión por pares no está diseñada para detectar fraude, y tanto los pares que revisan, como los periodistas, pueden ser engañados por un fraude bien disfrazado.

Después de todo, los revisores no son testigos de los experimentos, por lo que deben confiar en que el estudio es honesto, y pueden pasar por alto si los datos han sido inventados o alterados. El fraude frecuentemente sólo sale a la luz cuando otros científicos son incapaces de replicar los resultados. Los periodistas no expertos tienen pocas posibilidades de descubrir tal farsa.

A veces, sin embargo, los embaucadores se burlan de manera tan obvia de los estándares normales de la conducta científica, que los periodistas bien informados son tan capaces como los científicos de dar la voz de alarma. Por ejemplo, cuando omiten completamente la evidencia científica y se basan en la observación anecdótica, incluso en un informe publicado. En estudios clínicos, pueden no registrar detalles de sus experimentos ante las autoridades reguladoras o negarse a que los resultados de los ensayos queden disponibles para análisis independientes.

¿Cómo se puede mejorar la detección de fraudes?

Los siguientes consejos apuntan a que los periodistas estén mejor preparados para juzgar la calidad de las aseveraciones científicas y para detectar el fraude:

Familiarizarse con un campo de investigación

Asistir a conferencias científicas o visitar institutos de investigación y conocer científicos en áreas de interés específicas para descubrir sus objetivos, métodos y progreso, además del tipo de críticas que podrían tener hacia el trabajo de otros.

Visitar bibliotecas universitarias o usar bases de datos en Internet, tales como PubMed, para encontrar publicaciones sobre un tema particular o de un autor específico, permite obtener una mayor comprensión de los estudios individuales. Aunque los artículos de investigación primarios podrían tener demasiada jerga y detalles técnicos para que los comprenda un lego, los artículos de revisión, que exploran ideas e hipótesis, podrían ser más fáciles de seguir y presentan una visión más general de un área en progreso.

Comprobar la calidad de la revisión por pares

Preguntar al científico si su afirmación está publicada en una revista con revisión por pares. Incluso si la respuesta es sí, no asumir que esto es una señal de calidad. Cada revista tiene distintos criterios y prácticas, y por tanto, la calidad de la revisión por pares varía. Si es posible, es importante averiguar la calidad de la revista en cuestión. Para hacerlo, se puede consultar directamente a los científicos o comprobar con bibliotecarios de universidades si la revista es reconocida. Las revistas de alta calidad tienden a ser ampliamente leídas y más frecuentemente citadas en artículos académicos.

Los periodistas también podrían probar el motor de búsqueda Google Scholar en Internet, un recurso gratuito que califica los resultados de acuerdo con el número de veces que un artículo es citado por otros, indicando por consiguiente la importancia relativa dentro de la comunidad científica.

Si no se está seguro sobre la calidad de una revista, es necesario averiguar las limitaciones del estudio. ¿Era demasiado preliminar, o el tamaño de la muestra era muy pequeño como para ser aceptado en una revista de mayor calidad? Un científico honesto reconocerá de inmediato la debilidad de un estudio y la necesidad de más investigación. En cambio, uno menos escrupuloso podría exagerar la importancia y trascendencia de los resultados y negar que falta alguna información.

Si se descubre que el artículo ha sido rechazado para su publicación, averiguar la razón. Puede que sea un trabajo honesto, pero pobremente diseñado o insuficiente en algún aspecto. Otra posibilidad es que haya sido enviado a una revista inapropiada y que, a pesar de considerarse buena ciencia, su ámbito sea muy reducido para una revista de interés más amplio, como Nature o Science, por ejemplo. Entonces, nuevamente, los autores podrían haberse negado a rediseñar o ampliar su estudio, por temor a que sus afirmaciones resulten ser equivocadas.

Cuestión de números

¿Son las cifras consideradas en un estudio apropiadas y suficientes para el tipo de investigación involucrada? Los ensayos clínicos, por ejemplo, avanzan a través de tres fases reconocidas, desde pruebas iniciales de seguridad con sólo unos pocos individuos, hasta pruebas más amplias de efectividad que involucran a cientos y luego a miles de personas. Esto revelará si un resultado ha surgido por casualidad o no (su significación estadística), permitiendo que se saquen conclusiones con mayor exactitud. Incluso si las estadísticas parecen respaldar la aseveración, es bueno chequearlas con un experto independiente, porque los errores pueden ocurrir y ocurren, incluso en las revistas más destacadas.

Ser crítico si la afirmación se hace en una declaración pública

Un periodista que durante una entrevista, conferencia de prensa o seminario escucha una afirmación no publicada, debiera investigar más sobre la manera como se condujo el estudio y responder las siguientes preguntas (que también pueden servir para un estudio publicado):
¿Cuán confiable es el científico o científica entre sus pares? Preguntar directamente a otros científicos puede dar una rápida indicación. Otra posibilidad es que la revisión de una base de datos en Internet, como PubMed, podría mostrar con cuánta frecuencia el trabajo de esta persona es citado por otros.

¿Pertenece el científico a una institución científica reconocida?

¿Cómo fue financiado el estudio? El protocolo de un estudio financiado con fondos públicos, por ejemplo, ha sido escrutado por expertos para competir contra otros por el financiamiento.
¿Es probable que el autor lucre con la venta de productos relacionados con su estudio? Aunque muchas revistas solicitan que los autores declaren cualquier interés financiero involucrado, algunos científicos no lo hacen.

Buscar expertos para que aconsejen y comenten

Encontrar a un experto independiente que comente es la forma más confiable de juzgar la validez de un estudio. Cuando se entrevista a los científicos, vale la pena preguntarles por los datos de contacto de otros científicos que estén haciendo un trabajo similar. Otra posibilidad es identificar a un experto relevante para que revise el comité editorial de una revista, en el caso de que sea una de buena reputación.

Usar la base de datos PubMed para ver quién ha publicado algo en la materia, o examinar la lista de expositores en una conferencia relevante, que se puede encontrar anunciada en una revista o en la página web de una sociedad científica. Universidades locales, centros de investigación, agencias de financiamiento o departamentos gubernamentales también podrían proporcionar una lista de académicos deseosos de hablar con los medios.

Revisar la aprobación ética y regulatoria

Si el estudio es un ensayo clínico y afirma proporcionar evidencia para el tratamiento, vacuna o cura de una enfermedad, revisar que tanto los detalles relacionados con la composición de la droga o vacuna, como cualquier efecto secundario tóxico, estén públicamente disponibles. Asegurarse de que los investigadores sean médicos oficialmente registrados y que el ensayo o producto haya tenido aprobación ética y regulatoria, ya sea para experimentar o para comercializarlo.

Actualmente hay bases de datos públicas, como la del servicio de los Institutos Nacionales de Salud de Estados Unidos, ClinicalTrials.gov, donde se pueden registrar los ensayos clínicos. Hoy todas las revistas de calidad más destacadas insisten en que éstas sean mencionadas en los artículos publicados.

Comprobar los hechos

Los periodistas deben tener certeza de su evidencia, pues una acusación de fraude podría arruinar la carrera de una persona. Deben chequear sus datos con más de una fuente y también anticipar que podría serles difícil persuadir a algunos investigadores de pronunciarse contra un colega. Un científico acusado podría amenazar con demandar por calumnias a un periodista o a su medio, en cuyo caso sería sabio pedir el consejo de un abogado antes de publicar.

En conclusión, vale la pena recordar que la mayor parte de la ciencia es honesta y que el fraude es difícil de detectar. Sin embargo, si se siguen los pasos antes descritos, un periodista ciertamente podrá fortalecer sus habilidades y reputación para cubrir estudios científicos precisos y de buena calidad y, tal vez, sorprender a un embaucador en el acto.

REFERENCIAS

[1] Sudbø, J., Lee, J.J., Lippman, S.M. et al. Non-steroidal anti-inflammatory drugs and the risk of oral cancer: a nested case-control study. The Lancet 366, 1359-1366 (2005)

[2] Hwang, W.S., Ryu, Y.J., Park, J.H. et al. Evidence of a pluripotent human embryonic stem cell line derived from a cloned blastocyst. Science 303, 1669-1674 (2004)

[3] Hwang, W.S., Roh, S., Lee, B.C. et al. Patient-specific embryonic stem cells derived from human SCNT blastocysts. Science 308, 1777-1783 (2005)

[4] Bolognesi, N. Bad Medicine. Nature Medicine 12, 723-724 (2006)

Cortesía de