Andy Garcia · dev freelance
FRENES
Volver al blog
Ciencia y pruebas

The BMJ publicó 21 comprobaciones para detectar ensayos clínicos dudosos. La primera: ¿fue retractado?

19 de octubre de 2026 7 min de lectura

El 24 de septiembre de 2026, The BMJ publicó INSPECT-SR, una herramienta para decidir si un ensayo controlado aleatorizado merece alguna confianza. El artículo tiene 54 autores, de Cochrane, The Lancet, The BMJ y universidades de Mánchester a Pekín, y se resume en 21 comprobaciones repartidas en cuatro dominios, cada una redactada de modo que un «sí» señale un posible problema. Cochrane ya la había respaldado en octubre de 2025, como herramienta opcional para los autores de sus revisiones.

El problema que ataca tiene nombre en la política de Cochrane: estudios problemáticos, «en los que existen dudas serias sobre la fiabilidad de los datos o los hallazgos». La causa puede ser el fraude. También puede ser un error honesto pero fatal, como codificar mal qué pacientes recibieron el tratamiento y cuáles el placebo. En ambos casos, los números no son reales. Y el artículo dice que las herramientas habituales de evaluación del riesgo de sesgo «no están diseñadas para identificar problemas de esta naturaleza, ni parecen conseguirlo».

Es la frase a la que vuelvo una y otra vez. La guía señala que muchos informes de estudios problemáticos «describen una metodología sólida». Un estudio puede parecer bien diseñado y apoyarse en datos que no existen. La calidad y la autenticidad son dos preguntas distintas, y la mayoría solo hacemos la primera.

Por qué una lista de comprobación, y por qué ahora

El artículo abre con dos cifras, ambas de otros trabajos, así que leí los originales.

La primera viene de VITALITY Study I, publicado en The BMJ el 23 de abril de 2025. Sus autores partieron de 1.330 ensayos retractados y encontraron 847 revisiones sistemáticas que habían incluido al menos uno, es decir, 3.902 metaanálisis que podían recalcular. Quitar los ensayos retractados invirtió la dirección del efecto combinado en el 8,4 % de ellos, cambió su significación estadística en el 16,0 % y movió su magnitud en más de la mitad en el 15,7 %. Las pruebas de 68 revisiones con conclusiones distorsionadas se habían usado en 157 documentos de guías. Los metaanálisis con menos estudios fueron los más afectados, lo cual tiene sentido: un mal ensayo pesa más en un conjunto pequeño. Un editorial asociado de The BMJ, publicado el 28 de septiembre, añade un coste más discreto: incluso cuando los ensayos falsos no sesgan un resultado, sumar a sus participantes «podría inflar la precisión de los hallazgos».

La segunda cifra es más frágil de lo que parece. INSPECT-SR dice que Carlisle «estimó que el 26 % de los ensayos controlados aleatorizados enviados a la revista Anaesthesia eran problemáticos». En el artículo de Carlisle de 2021, ese 26 % son 40 de las 153 solicitudes para las que examinó los datos individuales de los pacientes, ensayos que clasificó como «zombis». Encontró datos falsos en el 44 % de esas 153. Entre los 526 ensayos enviados de febrero de 2017 a marzo de 2020, identificó datos falsos en el 14 %. Sigue siendo alarmante. Pero describe los envíos de una sola revista, medidos sobre el subconjunto cuyas hojas de cálculo en bruto examinó (al principio solicitadas solo a los ensayos que habían despertado sospechas), no los ensayos publicados en general.

La retractación también es lenta. El artículo señala que puede tardar años, «si es que se retracta», así que un revisor no puede simplemente filtrar por el estado de retractación.

Las 21 comprobaciones

Los cuatro dominios están ordenados para que las comprobaciones baratas y definitivas vayan primero:

  • Avisos posteriores a la publicación (3 comprobaciones): ¿está el estudio retractado, lleva una expresión de preocupación, y llevan tales avisos los demás estudios del equipo?
  • Conducta, gobernanza y transparencia (5): dudas sobre la aprobación ética, sobre el momento o la ausencia de registro del ensayo, incoherencias entre el artículo y el registro, reclutamiento inverosímil y métodos inverosímiles dados los recursos declarados.
  • Texto y figuras (2): texto duplicado o incompatible, y figuras manipuladas o duplicadas.
  • Resultados (11): desde datos basales inverosímiles hasta errores en los resultados estadísticos, además de incoherencias entre las publicaciones que describen el mismo ensayo.

Lo que me llamó la atención de la guía es cuánto hay de aritmética. Tres de sus ejemplos resueltos:

  • Reclutamiento. Un ensayo informa de 2.200 pacientes con aneurisma de aorta abdominal roto en dos años, en un área de unas 500.000 personas. Con la incidencia que cita la guía, de 5,6 a 17,5 por 100.000 personas-año, esa población produce unos 56 a 175 casos en dos años. La afirmación supera más de 12 veces el límite superior.
  • Asignación. Un ensayo unicéntrico dice haber usado aleatorización por bloques de tamaño fijo 4, sin estratificación, y luego informa de 5 pacientes más en el grupo control. Con bloques de 4, el desequilibrio no puede superar 2.
  • Medias imposibles. Un ensayo informa de una puntuación de Apgar media de 8,96 en un grupo de 30 recién nacidos. Las puntuaciones de Apgar son números enteros, así que el total del grupo también lo es: 268 da una media de 8,93, 269 da 8,97. Nada da 8,96. Es la prueba GRIM, y la guía enlaza aplicaciones web que la ejecutan.

Ninguna necesita los datos en bruto. Necesitan a alguien que lea los números como números.

Cada dominio termina en un juicio, «sin preocupaciones», «algunas preocupaciones» o «preocupaciones graves», y la herramienta deliberadamente no tiene regla de puntuación. Los ensayos con preocupaciones graves deben excluirse. Los que tienen algunas preocupaciones deben entrar en un análisis de sensibilidad. Los autores recomiendan ejecutar la herramienta antes de la evaluación del riesgo de sesgo y de la extracción de datos, para que nadie pase horas con un ensayo que acabará descartado, y repetir las comprobaciones de retractaciones y expresiones de preocupación poco antes de terminar la revisión.

Lo que el artículo no demuestra

Es una herramienta de consenso, y hay que leerla como tal.

Las 76 comprobaciones candidatas pasaron a 69, luego a 29 tras una encuesta Delphi (148 participantes en la primera ronda, 134 en la segunda, el 39 % del Reino Unido y el 7 % de países de ingresos bajos y medios), y después a 21 tras ocho reuniones de consenso en junio y julio de 2024. Eso establece en qué coinciden los expertos. No mide con qué frecuencia acierta la herramienta.

Las pruebas con usuarios fueron pequeñas. Cuarenta personas dieron su opinión. La evaluación mediana tardó 45 minutos por ensayo (rango intercuartílico de 27 a 74), el 70 % dijo que usaría la herramienta en su trabajo futuro y el 93 % encontró razonables los juicios. Los autores señalan que los probadores se autoseleccionaron, por lo que la aceptabilidad «puede estar, por tanto, sobreestimada». El artículo no informa de fiabilidad entre evaluadores; los autores la incluyen entre las evaluaciones futuras. Y advierten contra validar la herramienta frente al estado de retractación, porque que un artículo se retracte o no es «una decisión subjetiva y, hasta cierto punto, arbitraria».

También son explícitos: no es un detector de fraude. Las preocupaciones «no constituyen una acusación de mala conducta científica». La herramienta tampoco evalúa el riesgo de sesgo, la generalizabilidad ni los conflictos de intereses.

La última pregunta abierta es la más cercana a mi trabajo. Los autores se preguntan si los falsificadores podrían usar la lista para producir falsificaciones más convincentes, y dicen que no está claro si los intentos de eludirla, «ya sea por fabricación manual o con grandes modelos de lenguaje», tendrán éxito. En conjunto, esperan que detecte y disuada muchos más ensayos falsos de los que genera. Mientras tanto, un proyecto llamado INSPECT-AI explora cómo los modelos de lenguaje podrían ayudar con las comprobaciones.

Qué tomaría prestado

No soy autor de revisiones sistemáticas. Soy CTO de una LegalTech construida sobre Claude. Construí BidForge, una IA que lee los expedientes de licitaciones públicas francesas para pequeñas empresas. Y verifico mis propios posts con Jev, un modelo que uso como juez, antes de publicarlos. Los tres chocan con la misma pregunta: un documento puede citarse bien y seguir siendo falso en su origen.

Esto es lo que tomaría de INSPECT-SR si tu producto, tu presentación o tu post se apoya en un estudio.

Haz la pregunta de la confianza antes que la de la calidad. Antes de discutir el método de un estudio, comprueba que sigue en pie: retractación, expresión de preocupación, avisos sobre los otros artículos de los autores. La guía remite para ello a la base de datos Retraction Watch. Y vuelve a comprobarlo justo antes de publicar, porque los avisos llegan tarde.

Haz la aritmética. ¿Cuadran los totales? ¿Pudo reclutarse la muestra donde y cuando dicen los autores? ¿Puede una media de números enteros caer en ese valor? Estas comprobaciones no requieren ningún acceso especial, solo atención.

Pondera por apalancamiento. Si un solo estudio sostiene toda tu afirmación, merece la comprobación completa. El hallazgo de VITALITY dice que, cuando las pruebas son escasas, un solo mal ensayo hace más daño.

Si un modelo ayuda, que señale, no que dictamine. INSPECT-SR pide dos revisores independientes y razones escritas para cada juicio. Es también una buena especificación para una comprobación asistida por IA: el modelo señala la incoherencia, una persona decide y se registra el motivo.

Una lista de comprobación no acabará con el fraude científico. Pero cambia el supuesto por defecto de «publicado, luego real» a «real, si sobrevive a 21 preguntas». Ese supuesto merece robarse.

Fuentes

¿Un proyecto del mismo estilo?

Diseño y despliego productos como este. Hablemos.

Hablemos