¿Están equivocadas la mayoría de publicaciones científicas? – Crisis de Replicabilidad

Hacer ciencia no es encontrar la verdad, eso es posible en muy pocos casos. Lo que se hace, en cambio, es tratar de aproximarse a la certeza. No podemos afirmar que no existe una civilización extraterrestre en el lado oscuro de la luna, pero podemos decir que las probabilidades son muy pequeñas. ¿Cuánto? ¿0.0001%? ¿0.0002%? Realmente no importa, ¿verdad? El punto es que es casi imposible que existe vida inteligente en la cara oculta de la luna.

Pero no a todos les satisface esa respuesta. Si un científico va con estos datos a una entrevista de televisión, el entrevistador le pedirá que responda de forma consistente:  o no.

— Estamos aquí con el experto en astrofísica Juan Pérez PhD. para hablar de su investigación sobre el lado oscuro de la luna. Digamos Dr. Pérez ¿existen los extraterrestres?
— Buenos días. Bueno, eso es difícil de responder. Cuando se trata de ciencia, uno no puede hacer afirmaciones tan tajantes.
— Pero ¿qué indican sus experimentos?
— Oh, pues que las probabilidades son muy pequeñas.
— Bueno amigos, ya escucharon al experto, es posible que haya vida inteligente de otros planetas y más cerca de lo que pensamos.
— Pero yo no dije…

Y no son sólo los reporteros de televisión, otros científicos que quieren basarse en investigaciones de sus colegas, también quieren respuestas concretas. Nosotros también queremos respuestas exactas para tomar decisiones importantes. Especialmente en momentos donde nos sentimos amenazados y frágiles

— Bueno doctora ¿este medicamento funciona o no?
— Señora, este tratamiento es efectivo en el 98% de los casos.
— ¡Uy doctora! O sea que puede que no funcione conmigo, yo siempre tengo mala suerte. Vamos nomás donde tu primo el de la ayahuasca, Pedro.

Decir la verdad, en detalle, puede generar desastres porque los humanos no somos buenos procesando hechos en un nivel que va más allá de nuestra comodidad. Entonces los científicos se cansaron de dar explicaciones largas y se inventaron una respuesta corta, la significancia estadística. Esto quiere decir que si algo funciona en la mayoría de casos, pues ya está, lo tomamos como verdad. Asumimos que el resultado es producto de nuestro experimento y no fruto del azar. Un cinco por ciento de errores es admisible en la mayoría de los casos. ¿En ciencias sociales? Quizás mucho más.

Captura de pantalla de 2016-08-24 11:17:00Cuando consideramos estos números y los aplicamos al sistema de publicaciones científicas nos encontramos con un hecho bastante feo: Debido a esa decisión de aceptar cosas aún cuando no cuadran del todo, 31% de las publicaciones científicas podrían presentar resultados errados. Esto fue descrito en un artículo publicado por John Ioannidis en 2005, y desde entonces los científicos se dedicaron a investigar qué tan certera era esta afirmación. El proyecto de replicabilidad, por ejemplo, repitió cien estudios sobre psicología para darse cuenta que sólo 36% de los estudios eran estadísticamente significativos válidos. Y que en esos casos, los resultados no eran tan impresionantes como se describieron la primera vez. Lo mismo sucedió con 53 estudios de referencia sobre cáncer, sólo 6 obtuvieron resultados similares la segunda ocasión que se realizaron los experimentos, incluso trabajando de cerca con los investigadores originales.

A esto se le suman otros problemas de los estudios científicos, como que nadie quiere publicar resultados de investigaciones ya hechas anteriormente aunque se demuestre que los resultados fueron distintos. Que los estudio sin resultados son menospreciados —es decir que a nadie le interesa publicar que algo no funciona, aunque sería interesante para no volverlo a intentar. Esto ha llevado a los científicos a ajustar sus experimentos para revelar «verdades» que no aparecían en los experimentos originales, a cambiar el número de muestras en su experimento, escoger unos datos y otros no, y otras cosas más.

Sin embargo, toma mucho más que unas simples líneas entender el problema, y muchas más hablar de lo que se puede hacer para solucionarlo, pero es algo sobre lo que definitivamente tenemos que hablar. Y creo que el video de Derek Muller explica muy bien por dónde empezar. Por eso, traduje los subtítulos del video y ahora se encuentran disponibles en español. Les recomiendo verlo hasta el final.

Presiona «CC» en la parte inferior del video para habilitar los subtítulos en español


PS: Es mejor ver el video desde una computadora pues los subtítulos en dispositivos móviles se cortan. Hubiera querido darme cuenta de esto antes para acortar el número de caracteres en cada línea pero no es posible hacerlo una vez que los subtítulos han sido aprobados por la comunidad de Youtube. En otras noticias, ¡ya se puede subtitular directamente en YouTube, yay! ¿Lo bueno? No hay que depender de herramientas externas y cualquier puede contribuir y Youtube muestra los nombres de quienes realizaron los subtítulos en los créditos ¿Lo malo? Se necesiten por lo menos tres personas tratando de subtitular un video para que finalmente aparezcan publicados (uno subtitula, dos revisan) aunque con una baste para hacer el trabajo. Tampoco parece muy fácil corregir los errores de los subtítulos una vez que estos han sido publicados.