Seamos serios: el cherry-data-picking me mata

Hace unas semanas se lanzó un manifiesto, apoyado ya por gran cantidad de personalidades de la ciencia, promovido por la APETP. El título de la carta abierta y su objetivo motivan de manera natural a apoyar la iniciativa y firmarla. Pero antes de firmar es importante leer lo que firmamos. Y aquí llegan los problemas.

La carta comienza con la frase «Seamos serios: las pseudociencias matan». Contundente, directa, pero, siendo serios, excesiva. El agua es necesaria para vivir pero una cantidad excesiva provoca la muerte. Al seguir leyendo, otra frase llama la atención sobremanera: «la gente que recurre a las mal llamadas terapias alternativas […] tiene más posibilidades de morir, llegando a ser un 470% más altas en algunas patologías». Esta cifra, la del 470%, se ha repetido en muchos otros foros y artículos. La fuente que origina este dato no aparece directamente entre las referencias de la carta abierta, que son unas cuantas, por cierto. Buscando un poco se puede encontrar el artículo original de Yale, del que se pueden ver la mayoría de los datos en abierto aquí.

Revisando dicho artículo, los datos que nos encontramos son los siguientes:

• el estudio se hizo a partir de los registros de 1.901.815 pacientes,
• obtenidos de la base de datos nacional del cáncer de Estados Unidos (National Cancer Database o NCDB),
• esta es una base de datos clínica que se estima captura el 70% de los nuevos cánceres diagnosticados en los 1500 centros acreditados por la Comisión contra el Cáncer (no todos),
• en el periodo de tiempo del 1 de enero de 2004 al 31 de diciembre de 2013 (diez años),
• seleccionando únicamente pacientes con uno de los cuatro cánceres más comunes en EE. UU. (de mama, colon-recto, pulmón y próstata) y sin metástasis,
• no teniendo en cuenta pacientes en fase IV, paliativos o con datos desconocidos relativos a estado del tratamiento, estado clínico o demográficos,
• teniendo en cuenta únicamente pacientes que habían pasado por un tratamiento clínico contra el cáncer, ya fuera quimioterapia, radioterapia, cirugía o terapia hormonal,
• y que han pasado también por un tratamiento del tipo «otros no probados: tratamientos de cáncer administrados por personal no médico», que es el entendido como pseudoterapia,
• no detallando si el motivo para no desear seguir con el tratamiento clínico es puramente económico (es decir, si el seguro no cubría el total del tratamiento y el paciente no podía pagarlo, siendo este el motivo por el cual acudió a esa otra terapia no probada)…

La muestra total resultante con estos condicionantes arroja la cifra de 258 pacientes que abandonaron el tratamiento clínico por la terapia alternativa.

Es decir, en un periodo de diez años aparecen 258 casos en un país de más de trescientos millones de habitantes. Calculen el porcentaje. Merece la pena. O anualicen el número de casos: redondeando, salen 26 casos de media al año. Explicaba hace poco Álex Grijelmo que «la manera más fácil de manipular es la omisión de datos». El cherry picking es una práctica conocida en el mundillo científico pero sobre todo utilizada en el mundo político. Consiste en alimentar el sesgo de confirmación, uno de los más usados por todos nosotros en el día a día, a base de ignorar o eliminar cantidades sustanciales de datos que puedan contradecir un argumento determinado. Además, como explica Darrell Huff en el capítulo 3 de su obra clásica Cómo mentir con estadísticas, «Las pequeñas cifras que no aparecen», el uso de muestras de datos pequeños puede provocar la aparición de porcentajes que parecen mucho más importantes de lo que realmente son.

Entonces, con este conjunto de datos al completo, ¿se pueden extrapolar las conclusiones de este estudio, realizado en Estados Unidos, a un país como España? ¿Se puede generalizar ese 470%, que, por cierto, no aparece explícitamente en los resultados del estudio? ¿Confirma el estudio que el uso de terapias alternativas implica «más posibilidades de morir, llegando a ser un 470% más altas en algunas patologías», cuando en realidad dice literalmente que «los resultados sugieren —ojo, no pone que lo demuestran o prueban— que el riesgo de mortalidad asociado con [el uso] de una terapia alternativa fue mediado por la negativa al tratamiento clínico»(*)? Personalmente, lo veo complicado. Lo cual genera dudas. A fin de cuentas, el fin no justifica los medios. Pero mucha gente firmó. Gente muy conocida. Científicos. Expertos. Asociaciones con recursos.

¿Es posible que las más de mil personalidades y organizaciones que han firmado la carta abierta hayan buscado también el estudio, hayan revisado estos datos y la hayan firmado tras conocerlos? ¿O es más probable que simplemente se fiaran de los promotores del mismo, en los que confiaban? La probabilidad de que TODOS los firmantes hayan leído el estudio relacionado con detalle antes de apoyarlo es pequeña, la verdad. ¿Por qué esto es importante? Porque uno de los problemas de las pseudociencias es que quienes caen en ellas han dejado de confiar en el sistema y en los miembros del mismo. Han preferido confiar en otras personas, a menudo ciegamente. Si no podemos confiar en quienes dicen querer resolver el problema, tenemos otro problema más.

En este caso los datos son bastante claros. Según el Centro Nacional de Estadísticas de Salud de EE. UU. (National Center for Health Statistics), de las diez causas de muerte más frecuentes en 2015, las dos que menos muertes provocaron rondaban los 50.000 fallecimientos ese año. Esta cifra es unas 2000 veces superior a la de personas que fallecen por dejar el tratamiento clínico para seguir uno «alternativo». Cualquier gestor puede explicar fácilmente que, de todos los problemas que puede tener una organización, es vital enfocarse primero en aquellos que son más grandes, donde se puede tener más impacto positivo en caso de resolverlos, aunque sea parcialmente. O, dicho de otro modo, en las tres primeras líneas de costes y las tres primeras líneas de ingresos, por ejemplo. ¿Es tan grave el problema, comparativamente hablando, si lo vemos en valor absoluto? Y, si no lo es, ¿por qué se intenta magnificar?

Por cierto, que el número de casos no sea grande no quita valor a la investigación ni determina que no se deba intentar solucionar el problema. Este estudio de Yale es muy importante. Mucho. Es un intento valioso de medir algo que no es fácil de medir, para entenderlo y buscar soluciones. Aunque la cifra que resulte sea baja, es un primer paso, y uno realizado con rigor y seriedad. Pero que se utilice del estudio solo una mínima parte, que se oculten o ignoren tantos datos, sobre todo en un documento firmado por quien dice promover lo contrario, es preocupante. ¿Por qué tanto interés en hacer creer que el problema es más grande de lo que realmente es?

Para predicar con el ejemplo y no caer en los mismos errores que critica este texto, huelga decir que la cifra de muertes totales por abandono de tratamientos en EE. UU. debe ser necesariamente superior a esos 26 casos anuales de la muestra. Precisamente por la manera en que se han obtenido los datos queda claro que, por ejemplo, hay otras enfermedades de mal pronóstico no tenidas en cuenta, donde se pueden dar casos similares de abandono, que incrementarían la cifra final. ¿Cuántos? No es fácil de medir. Se podría estimar, que tampoco es mala estrategia, aunque no daría para publicación científica. Probablemente no vaya mucho más allá de un orden de magnitud: unos 250 casos anuales redondeando. Y, si lo extrapolamos a un país como España, ceteris paribus (lo que no es cierto) y usando como factor de conversión que tenemos un 14% de la población de EE. UU. más o menos, nos daría unos 36 casos. Pero no es extrapolable por diversos motivos, el primero, que aquí los seguros no funcionan como en EE. UU.: tenemos sanidad universal. En cualquier caso, en España el 96,2% de las muertes son por causas naturales. Dentro de las diez principales, la última supone poco más de 8000 casos anuales, grosso modo 200 veces más que la extrapolación que hemos realizado. También podemos analizar las cifras para inferir la importancia real del problema al compararlo con otros. Los recursos son escasos, y dedicar recursos a resolver un problema implica quitárselos a otro.

Les animo a que hagan sus propias estimaciones para comprobar que, en cualquier caso, es complicado que las cifras superen un determinado umbral. Pero lo ideal sería no estimar sino contar con un estudio serio y riguroso al respecto del número de casos en España. No capturas de comentarios en foros, algunos en los que no es fácil identificar realmente al autor o el caso, otros en los que no se puede analizar la motivación real que hay detrás. Y preferiblemente analizando la variación anual, para ver la evolución de las medidas que se toman para reducir esta lacra. Aunque la cifra no sea tan impresionante como ese 470%, repetido en medios sociales y prensa hasta la saciedad, será probablemente mucho más útil y valiosa. Y eso es muy importante para no perder la confianza de la gente, además de para poder conocer el problema adecuadamente, de cara a resolverlo de la mejor manera posible. Si es que tiene solución. Pero eso es otro tema.

(*) The results suggest that mortality risk associated with CM was mediated by the refusal of CCT

—Huff, Darrell (1954, 2015). «Cómo mentir con estadísticas». Ed Planeta.

—Johnson, S. B., Park, H. S., Gross, C. P., & James, B. Y. (2018). «Complementary medicine, refusal of conventional cancer therapy, and survival among patients with curable cancers». JAMA oncology, 4(10), 1375-1381.