¿Están equivocadas la mayoría de publicaciones científicas? – Crisis de Replicabilidad

Hacer ciencia no es encontrar la verdad, eso es posible en muy pocos casos. Lo que se hace, en cambio, es tratar de aproximarse a la certeza. No podemos afirmar que no existe una civilización extraterrestre en el lado oscuro de la luna, pero podemos decir que las probabilidades son muy pequeñas. ¿Cuánto? ¿0.0001%? ¿0.0002%? Realmente no importa, ¿verdad? El punto es que es casi imposible que existe vida inteligente en la cara oculta de la luna.

Pero no a todos les satisface esa respuesta. Si un científico va con estos datos a una entrevista de televisión, el entrevistador le pedirá que responda de forma consistente:  o no.

— Estamos aquí con el experto en astrofísica Juan Pérez PhD. para hablar de su investigación sobre el lado oscuro de la luna. Digamos Dr. Pérez ¿existen los extraterrestres?
— Buenos días. Bueno, eso es difícil de responder. Cuando se trata de ciencia, uno no puede hacer afirmaciones tan tajantes.
— Pero ¿qué indican sus experimentos?
— Oh, pues que las probabilidades son muy pequeñas.
— Bueno amigos, ya escucharon al experto, es posible que haya vida inteligente de otros planetas y más cerca de lo que pensamos.
— Pero yo no dije…

Y no son sólo los reporteros de televisión, otros científicos que quieren basarse en investigaciones de sus colegas, también quieren respuestas concretas. Nosotros también queremos respuestas exactas para tomar decisiones importantes. Especialmente en momentos donde nos sentimos amenazados y frágiles

— Bueno doctora ¿este medicamento funciona o no?
— Señora, este tratamiento es efectivo en el 98% de los casos.
— ¡Uy doctora! O sea que puede que no funcione conmigo, yo siempre tengo mala suerte. Vamos nomás donde tu primo el de la ayahuasca, Pedro.

Decir la verdad, en detalle, puede generar desastres porque los humanos no somos buenos procesando hechos en un nivel que va más allá de nuestra comodidad. Entonces los científicos se cansaron de dar explicaciones largas y se inventaron una respuesta corta, la significancia estadística. Esto quiere decir que si algo funciona en la mayoría de casos, pues ya está, lo tomamos como verdad. Asumimos que el resultado es producto de nuestro experimento y no fruto del azar. Un cinco por ciento de errores es admisible en la mayoría de los casos. ¿En ciencias sociales? Quizás mucho más.

Captura de pantalla de 2016-08-24 11:17:00Cuando consideramos estos números y los aplicamos al sistema de publicaciones científicas nos encontramos con un hecho bastante feo: Debido a esa decisión de aceptar cosas aún cuando no cuadran del todo, 31% de las publicaciones científicas podrían presentar resultados errados. Esto fue descrito en un artículo publicado por John Ioannidis en 2005, y desde entonces los científicos se dedicaron a investigar qué tan certera era esta afirmación. El proyecto de replicabilidad, por ejemplo, repitió cien estudios sobre psicología para darse cuenta que sólo 36% de los estudios eran estadísticamente significativos válidos. Y que en esos casos, los resultados no eran tan impresionantes como se describieron la primera vez. Lo mismo sucedió con 53 estudios de referencia sobre cáncer, sólo 6 obtuvieron resultados similares la segunda ocasión que se realizaron los experimentos, incluso trabajando de cerca con los investigadores originales.

A esto se le suman otros problemas de los estudios científicos, como que nadie quiere publicar resultados de investigaciones ya hechas anteriormente aunque se demuestre que los resultados fueron distintos. Que los estudio sin resultados son menospreciados —es decir que a nadie le interesa publicar que algo no funciona, aunque sería interesante para no volverlo a intentar. Esto ha llevado a los científicos a ajustar sus experimentos para revelar “verdades” que no aparecían en los experimentos originales, a cambiar el número de muestras en su experimento, escoger unos datos y otros no, y otras cosas más.

Sin embargo, toma mucho más que unas simples líneas entender el problema, y muchas más hablar de lo que se puede hacer para solucionarlo, pero es algo sobre lo que definitivamente tenemos que hablar. Y creo que el video de Derek Muller explica muy bien por dónde empezar. Por eso, traduje los subtítulos del video y ahora se encuentran disponibles en español. Les recomiendo verlo hasta el final.

Presiona “CC” en la parte inferior del video para habilitar los subtítulos en español


PS: Es mejor ver el video desde una computadora pues los subtítulos en dispositivos móviles se cortan. Hubiera querido darme cuenta de esto antes para acortar el número de caracteres en cada línea pero no es posible hacerlo una vez que los subtítulos han sido aprobados por la comunidad de Youtube. En otras noticias, ¡ya se puede subtitular directamente en YouTube, yay! ¿Lo bueno? No hay que depender de herramientas externas y cualquier puede contribuir y Youtube muestra los nombres de quienes realizaron los subtítulos en los créditos ¿Lo malo? Se necesiten por lo menos tres personas tratando de subtitular un video para que finalmente aparezcan publicados (uno subtitula, dos revisan) aunque con una baste para hacer el trabajo. Tampoco parece muy fácil corregir los errores de los subtítulos una vez que estos han sido publicados.

Samuel Cueva

La verdad se llama Sam Cave, pero este es un blog en español 😛

Lo encontré mientras esperaba al bus en Wesbrook Village, un barrio pequeño ubicado dentro del campus de mi universidad.

Cosas que pasan cuando dibujas cómics

El sábado anterior una amiga nos invitó a unos cuántos a cheesecake etc., donde hacen los mejores que haya probado jamás. Pregúntenle a mi hermana, a mí no me gustan los cheesecakes, pero el original de frutilla (sin crema) es una maravilla. Bueno, como iba diciendo, nos invitó una amiga y, a pocos metros de llegar, se me ocurrió algo: “¿Qué tal si me invitó porque tiene la esperanza de salir en otro cómic?” El día anterior me había dejado un comentario diciendo lo mucho que le había gustado las playas de Vancouver y que pensaba que era muy talentoso. Cabía la posibilidad. Claro, puede que eso no suceda porque no es la primera vez que Anupama nos invita a hacer algo en grupo pero fue justo después.

Y con otra de mis amigas, Linh, me ha pasado algo parecido. Cuando estamos conversando y de repente sucede algo chistoso me pregunta “¿vas a hacer un cómic sobre esto?”. También se pone a contarme cosas y luego dice “deberías hacer un cómic sobre eso”. Y la verdad eso me saca una sonrisa. Sé que mi vida haciendo cómics será fugaz —muy seguramente acabará cuando tenga que volver a tener clases todos los días y después con el trabajo—, pero me agrada mucho la idea de generar ese tipo de memoria.

Estábamos en la tienda de cheesecakes Anupama, Sana, Ida, Emma y yo. Emma es nueva en Green College, y Sana es una vieja residente, por lo que no se conocían hasta el momento. Empezaron a conversar y, como sucede en esas circunstancias, se les interrumpió en la primera pausa:

Anupama: Ups, lo siento. Emma esta es Sana, ella es una ex-greenie.
Sana: Mucho gusto.
Anupama: Emma es mi nueva compañera de habitación.
Emma: De hecho, sí sé quien eres. Creo que leí un cómic acerca de ti.

Y fue entonces cuando yo me maté de risa y Sana me empezó a golpear con sus largos y débiles brazos. Lo disfruté tanto.

Leer en un cómic sobre alguien deja una impresión totalmente distinta a la del texto. “Sí, creo que leí un correo donde te mencionaban” encierra un significado totalmente distinto. ¿Por qué? Porque los cómics se parecen mucho más a la forma en que nuestro cerebro piensa. Son mezclas de diálogos, pensamientos, e imágenes que necesariamente están incompletas.

“Totalmente”, eso me dijo Jo, que es una fan de las novelas gráficas, por eso creo que mi mente funciona de forma distinta. Jo exagera los gestos, usa efectos de sonido cuando relata sus historias, dramatiza las partes importantes. Y, por supuesto, todos amamos escuchar sus historias. Es una comunicación efectiva.

Otra cosa que sucede al relacionarse con ese mundo es que uno empieza a ser más fijón, deteniéndose a contemplar aquello que sería un bonito dibujo. “Aguanta, este sería un bonito panel.” Tomas la fotografía para dibujar después, la fotografía es fea porque la luz arruina los detalles si no tienes una buena cámara, “pero en dibujo se verá mucho más bonito”. Visitar lugares bellos se transforma en anhelo, uno quiere volver para dibujar. Uno quiere andar a cargar lápiz y papel.

Las playas de Vancouver

playas de vancouver 1

PLAYAS DE VANCOUVER 3

Notas

Green College: Es una residencia para estudiantes de posgrado en la Universidad de Columbia Británica. Se parece, por su arquitectura, al Howartz de Harry Potter.

Brown discount: Es la única frase que encontré intraducible, significa literalmente “descuento café”. Las personas del sur de Asia se refieren a sí mismas como “brown people” —gente morena— cuando se encuentran en Occidente.  Mi amiga Sana es de Pakistán, y cuando ella habla de “brown discount”, se refiere a que algunos taxistas de esa región le hacen una significativa reducción en el precio porque disfrutan conversando con alguien de su tierra de camino a casa. A menudo ella nos hace bajar del auto y luego se queda sola y lo que sucede es esto:

Taxista: ¿Y sus amigos no van a pagar?
Sana: No, ellos querían venir en bus y yo los obligué a tomar el taxi.
Taxista: Ah, en ese caso, le haré un descuento.

Papi: Hercend, mi amigo del Congo, me llama de esa manera. Creo que obtuve ese sobrenombre después de haber estado buscando música en español que le gustara. Resulta que una de las pocas canciones que recordaba claramente de su tiempo en Londres era “papi chulo”, pues eso.

PS: Si quieren saber quién es la persona entre Rohini y Anupama, tienen que leer El Presentimiento.