La sabiduría de las multitudes, los mercados eficientes y las predicciones que no siempre aciertan

A continuación se expone y se reflexiona sobre una idea extraída del libro “Superpronosticadores. El arte y la ciencia de la predicción”. Se trata de la llamada “sabídura de las masas” que defiende que la agregación combinada de muchas opiniones es mejor que la de unas pocas, aunque estas se consideren expertas.

En 1906, el estadístico Francis Galton visitó una feria agrícola en Plymouth, Inglaterra. Allí observó un curioso concurso: los asistentes debían adivinar el peso de un buey expuesto, y el ganador sería quien más se acercara al peso real.

Galton, escéptico del «pueblo llano», recopiló los 787 boletos con estimaciones y decidió analizarlos. Calculó la mediana de todas las predicciones: 1.207 libras. El peso real del animal era 1.198 libras. Solo nueve libras de diferencia. Increíblemente preciso.

Este episodio se ha convertido en un clásico ejemplo de lo que hoy conocemos como la «sabiduría de las multitudes»: cuando se agregan muchas opiniones independientes, incluso si no son expertas, el resultado puede ser sorprendentemente acertado.

Seguir leyendo «La sabiduría de las multitudes, los mercados eficientes y las predicciones que no siempre aciertan»

Intentar ver el mundo como una libélula: múltiples perspectivas para mejores predicciones

A continuación, seguimos explorando ideas del libro «Superforecasting: The Art and Science of Prediction» que considero muy relevantes para todo aquel que quiera mejorar su capacidad de predecir. En el momento de explorar la idea de ver el mundo como una libélula, es decir, abordar un problema des de todas las perspectivas posibles.

Las libélulas tienen una forma extraordinaria de ver el mundo. Sus ojos están compuestos por miles de lentes individuales, cada una captando una porción distinta del entorno. El resultado no es una imagen fragmentada, sino una visión integrada y más rica. ¿Y si aplicáramos ese mismo principio a cómo pensamos sobre el futuro?

El sesgo de nuestra única perspectiva

Uno de los mayores retos al hacer predicciones es que solemos ver el mundo desde un solo ángulo: el nuestro. Nuestra experiencia, nuestras creencias y nuestras emociones actúan como filtros que limitan lo que vemos —y lo que somos capaces de anticipar.

Seguir leyendo «Intentar ver el mundo como una libélula: múltiples perspectivas para mejores predicciones»

Priors bayesianas (3/3): Distribuciones continuas para modelar creencias que fluyen

En las dos entradas anteriores presentamos el concepto de prior bayesiana y cómo construirla usando distribuciones discretas. Sin embargo, no todo en la vida se cuenta con números enteros. A veces, lo que queremos modelar fluye de forma continua: proporciones, medias, tiempos, tasas…
En este último capítulo de la serie, exploramos las distribuciones continuas más útiles para construir priors cuando las variables no se cuentan, sino que se miden.

¿Qué es una distribución continua?

Una distribución de probabilidad continua describe el comportamiento de una variable que puede tomar cualquier valor dentro de un intervalo, incluso infinitos valores posibles.

Por ejemplo: La proporción de pacientes que se recuperan de una enfermedad, el tiempo de espera en una consulta médica o el ingreso mensual medio de una familia.

Seguir leyendo «Priors bayesianas (3/3): Distribuciones continuas para modelar creencias que fluyen»

Priors bayesianas (2/3): Cómo usar distribuciones discretas para modelar nuestras creencias

En la primera entrega de esta serie vimos qué es una prior: una forma de expresar con números lo que creemos antes de observar datos. Hoy daremos un paso más y veremos cómo podemos construir esas priors utilizando distribuciones de probabilidad discretas cuando el análisis preliminar nos indica que el fenómeno que queremos predecir se comporta así.

Porque sí, hasta nuestras corazonadas pueden adoptar una forma matemática.

¿Qué es una distribución de probabilidad discreta?

Una distribución de probabilidad discreta es una herramienta matemática que asigna probabilidades a valores enteros concretos. Es útil para describir fenómenos contables como:

  • ¿Cuántas veces encestaré si lanzo 10 veces?
  • ¿Cuántos clientes vendrán hoy?
  • ¿Cuánto tardaré en tener un acierto?

Estas distribuciones no trabajan con valores continuos como 3,1416 o 7,82, sino con 0, 1, 2, 3…

Seguir leyendo «Priors bayesianas (2/3): Cómo usar distribuciones discretas para modelar nuestras creencias»

Priors bayesianas (1/3):¿Qué es una prior?

Imagina esto:
Estás buscando setas en un bosque. Nunca has estado allí, pero alguien te ha dicho que las mejores suelen crecer bajo robles. Aunque aún no has visto ninguna, ya sabes por dónde empezar a buscar. Eso que sabes antes de empezar a observar es tu conocimiento previo… o lo que en estadística bayesiana llamamos una distribución a priori, o simplemente: una prior.

¿Qué es una prior?

En el mundo de la inferencia bayesiana, una prior es nuestra forma de representar, con números, lo que creemos que puede pasar antes de ver los datos.

Es como una apuesta informada: antes de lanzar una moneda, quizás sospechas que está trucada porque el borde está desgastado. Eso afecta tu expectativa antes incluso de verla caer.

Cuando usamos el Teorema de Bayes, la prior se combina con los datos observados (a través de la verosimilitud) para actualizar nuestras creencias. El resultado es lo que llamamos la distribución posterior.

Seguir leyendo «Priors bayesianas (1/3):¿Qué es una prior?»

Bayes: de los milagros a los algoritmos

El mundo en que nació Thomas Bayes era un lugar mucho más borroso de lo que creemos. Corría el siglo XVIII, soplaban vientos de Ilustración y la mayoría de las mentes brillantes de la época creían que la verdad absoluta estaba al alcance del hombre moderno. Mediante la razón, grandes pensadores se afanaban en elaborar leyes y ecuaciones deterministas que pretendían revelar el funcionamiento del universo, como si fuera un reloj suizo. La incertidumbre, esa plaga moderna, apenas comenzaba a abrirse paso.

Bayes, un clérigo presbiteriano de mirada invisible, nunca fue un gran protagonista. No tuvo el carisma de Newton ni la osadía de Laplace. Vivía en la sombra, en bibliotecas polvorientas, escribiendo silenciosamente sobre teología, moral y con una especial fascinación por las matemáticas.

Fue en ese clima donde, hacia 1750, concibió una idea que cambiaría el mundo. Una idea que, como muchas de las grandes revoluciones, fue ignorada durante décadas: que no había que esperar infinitas repeticiones de un evento para saber qué tan probable era, que podíamos estimar la incertidumbre con la información que ya teníamos. Que podíamos, en suma, inferir hacia adelante.

Seguir leyendo «Bayes: de los milagros a los algoritmos»

El arte de predecir con la cabeza fría: el decálogo del zorro bayesiano

¿Te gustaría saber qué nos depara el futuro para tomar mejores decisiones hoy? Hay una manera de acercarse a ello, pero no es la que imaginas.

Lo cierto es que no hay forma de estar completamente seguros de lo que va a ocurrir, porque el futuro es probabilístico. Esto significa que las predicciones siempre deben ir acompañadas de una probabilidad, incluso cuando esta se acerque al 100 %. Por ejemplo, técnicamente no podemos afirmar que hay un 100 % de posibilidades de que mañana salga el sol, ya que siempre podría ocurrir un cataclismo (una colisión planetaria, una implosión solar, etc.). Pero este tipo de eventos son tan extraordinariamente improbables que podemos decir que la probabilidad de que no salga el sol es del 0.000000000…1 % (pero no cero).

Por tanto, la manera de saber si algo va a suceder o no es la siguiente:

  1. Formular la hipótesis: Por ejemplo «El Real Madrid ganará el Mundial de Clubes 2025».
  2. Calcular la probabilidad de que esta hipótesis sea cierta.
  3. Comparar esa probabilidad con un umbral subjetivo a partir del cual consideramos algo como muy probable (por ejemplo, un 90 %). Si lo supera, no rechazamos la hipótesis y, por tanto, podremos decir que el Real Madrid ganará el Mundial de Clubes 2025.

El reto de este método es que nos exige calcular una probabilidad que depende de múltiples variables (el estado de los jugadores, la táctica, la suerte…) y que va cambiando con el tiempo hasta que finaliza el campeonato.

La estrategia que ha demostrado dar mejores resultados para abordar esta tarea es pensar como un zorro, entendida esta metáfora como tener un marco mental flexible y abierto a múltiples posibilidades. A eso se le suma el uso de la inferencia bayesiana, que nos permite actualizar nuestras creencias conforme vamos recibiendo nueva información. En definitiva, se trata de convertirse en un zorro bayesiano.

Seguir leyendo «El arte de predecir con la cabeza fría: el decálogo del zorro bayesiano»

Bienvenido a The Bayesian Fox

Durante los últimos años, este blog ha funcionado bajo el nombre Labinoteca. Nació como un espacio personal donde compartir conocimientos y nuevos aprendizajes relacionados con el mundo de la Inteligencia de Negocio y la visualización de datos. Con el tiempo, mi trayectoria profesional me ha hecho cambiar el foco de interés hacia el análisis de datos, la predicción y el pensamiento estructurado basado en evidencia.

Por eso, a partir de hoy, Labinoteca evoluciona y se convierte en The Bayesian Fox.

Este nuevo nombre refleja mejor lo que quiero construir a partir de ahora: un espacio centrado en predicción estadística, visualización de datos, inteligencia artificial aplicada y toma de decisiones racionales.

Seguir leyendo «Bienvenido a The Bayesian Fox»

Webinar sobre el análisis y predicción de la pandémia de COVID-19

El pasado día 7 de octubre tuve la oportunidad de asistir a un webinar impartido por la Dra. Clara Prats, investigadora del grupo de Biología Computacional y Sistemas Complejos de la UPC. En esta conferencia online se expuso la experiencia de un grupo de investigadores de la UPC con respecto al análisis i control de los datos de la pandemia de COVID en Cataluña

En este post trataré de resumir y exponer algunas de las ideas que me parecieron más interesantes.

Seguir leyendo «Webinar sobre el análisis y predicción de la pandémia de COVID-19»

Reseña del libro aprender con big data

Introducción

Aprender con big data, publicado en 2014, fue escrito por dos autores que son unos reconocidos expertos en el mundo de los datos masivos. Por un lado, tenemos a Viktor Mayer-Schönberger  que ha enseñado gobernanza de internet en prestigiosas universidades como Oxford y Harvard y, además, ha publicado 2 libros y numerosos artículos sobre big data. Por otro lado, tenemos a Kenneth Cukier que es un escritor y periodista en The Economist que también ha escrito junto a Viktor sobre el nuevo paradigma que representa los big data en nuestra sociedad. Seguir leyendo «Reseña del libro aprender con big data»