Estimaciones de Fermi: cómo razonar cuando no tienes datos (y evitar el disparate)

A continuación se expondrá en detalle un método que se propone en el libro Superforecasting: The Art and Science of Prediction para descomponer un problema en partes más estimables.

Uno de los retos más frecuentes en análisis es enfrentarse a preguntas sin datos directos. En lugar de improvisar o bloquearse, hay una técnica sorprendentemente útil para avanzar con lógica: la estimación de Fermi.

Esta técnica, popularizada por el físico Enrico Fermi, se basa en dividir un problema complejo en partes más pequeñas y estimar cada una de ellas con números razonables. Pero más allá del cálculo, lo importante es el proceso: establecer límites exteriores (el resultado más amplio razonable) e interiores (el resultado más ajustado posible) del problema, y ser consciente del número que usamos como punto de partida, ya que este actuará como ancla para el resto de nuestras suposiciones.

Seguir leyendo «Estimaciones de Fermi: cómo razonar cuando no tienes datos (y evitar el disparate)»

Reseña del libro «Superpronosticadores. El arte y la ciencia de la predicción»

Introducción

Superforecasting: The Art and Science of Prediction, publicado en 2015, es una obra escrita por Philip E. Tetlock y Dan Gardner, resultado del proyecto «Good Judgment» liderado por Tetlock bajo el patrocinio de la Intelligence Advanced Research Projects Activity (IARPA), una agencia dedicada a investigar el arte de la predicción. Este estudio, en formato de torneo competitivo, enfrentó a voluntarios que realizaron predicciones sobre eventos actuales. Los mejores pronosticadores, denominados superpronosticadores, demostraron tener habilidades predictivas superiores. Tetlock y Gardner exploran cómo desarrollar estas habilidades, señalando claramente que la precisión en la predicción no depende de talentos innatos, sino de habilidades que pueden aprenderse.

Seguir leyendo «Reseña del libro «Superpronosticadores. El arte y la ciencia de la predicción»»

Priors bayesianas (3/3): Distribuciones continuas para modelar creencias que fluyen

En las dos entradas anteriores presentamos el concepto de prior bayesiana y cómo construirla usando distribuciones discretas. Sin embargo, no todo en la vida se cuenta con números enteros. A veces, lo que queremos modelar fluye de forma continua: proporciones, medias, tiempos, tasas…
En este último capítulo de la serie, exploramos las distribuciones continuas más útiles para construir priors cuando las variables no se cuentan, sino que se miden.

¿Qué es una distribución continua?

Una distribución de probabilidad continua describe el comportamiento de una variable que puede tomar cualquier valor dentro de un intervalo, incluso infinitos valores posibles.

Por ejemplo: La proporción de pacientes que se recuperan de una enfermedad, el tiempo de espera en una consulta médica o el ingreso mensual medio de una familia.

Seguir leyendo «Priors bayesianas (3/3): Distribuciones continuas para modelar creencias que fluyen»

Priors bayesianas (2/3): Cómo usar distribuciones discretas para modelar nuestras creencias

En la primera entrega de esta serie vimos qué es una prior: una forma de expresar con números lo que creemos antes de observar datos. Hoy daremos un paso más y veremos cómo podemos construir esas priors utilizando distribuciones de probabilidad discretas cuando el análisis preliminar nos indica que el fenómeno que queremos predecir se comporta así.

Porque sí, hasta nuestras corazonadas pueden adoptar una forma matemática.

¿Qué es una distribución de probabilidad discreta?

Una distribución de probabilidad discreta es una herramienta matemática que asigna probabilidades a valores enteros concretos. Es útil para describir fenómenos contables como:

  • ¿Cuántas veces encestaré si lanzo 10 veces?
  • ¿Cuántos clientes vendrán hoy?
  • ¿Cuánto tardaré en tener un acierto?

Estas distribuciones no trabajan con valores continuos como 3,1416 o 7,82, sino con 0, 1, 2, 3…

Seguir leyendo «Priors bayesianas (2/3): Cómo usar distribuciones discretas para modelar nuestras creencias»

Priors bayesianas (1/3):¿Qué es una prior?

Imagina esto:
Estás buscando setas en un bosque. Nunca has estado allí, pero alguien te ha dicho que las mejores suelen crecer bajo robles. Aunque aún no has visto ninguna, ya sabes por dónde empezar a buscar. Eso que sabes antes de empezar a observar es tu conocimiento previo… o lo que en estadística bayesiana llamamos una distribución a priori, o simplemente: una prior.

¿Qué es una prior?

En el mundo de la inferencia bayesiana, una prior es nuestra forma de representar, con números, lo que creemos que puede pasar antes de ver los datos.

Es como una apuesta informada: antes de lanzar una moneda, quizás sospechas que está trucada porque el borde está desgastado. Eso afecta tu expectativa antes incluso de verla caer.

Cuando usamos el Teorema de Bayes, la prior se combina con los datos observados (a través de la verosimilitud) para actualizar nuestras creencias. El resultado es lo que llamamos la distribución posterior.

Seguir leyendo «Priors bayesianas (1/3):¿Qué es una prior?»

Bayes: de los milagros a los algoritmos

El mundo en que nació Thomas Bayes era un lugar mucho más borroso de lo que creemos. Corría el siglo XVIII, soplaban vientos de Ilustración y la mayoría de las mentes brillantes de la época creían que la verdad absoluta estaba al alcance del hombre moderno. Mediante la razón, grandes pensadores se afanaban en elaborar leyes y ecuaciones deterministas que pretendían revelar el funcionamiento del universo, como si fuera un reloj suizo. La incertidumbre, esa plaga moderna, apenas comenzaba a abrirse paso.

Bayes, un clérigo presbiteriano de mirada invisible, nunca fue un gran protagonista. No tuvo el carisma de Newton ni la osadía de Laplace. Vivía en la sombra, en bibliotecas polvorientas, escribiendo silenciosamente sobre teología, moral y con una especial fascinación por las matemáticas.

Fue en ese clima donde, hacia 1750, concibió una idea que cambiaría el mundo. Una idea que, como muchas de las grandes revoluciones, fue ignorada durante décadas: que no había que esperar infinitas repeticiones de un evento para saber qué tan probable era, que podíamos estimar la incertidumbre con la información que ya teníamos. Que podíamos, en suma, inferir hacia adelante.

Seguir leyendo «Bayes: de los milagros a los algoritmos»

El arte de predecir con la cabeza fría: el decálogo del zorro bayesiano

¿Te gustaría saber qué nos depara el futuro para tomar mejores decisiones hoy? Hay una manera de acercarse a ello, pero no es la que imaginas.

Lo cierto es que no hay forma de estar completamente seguros de lo que va a ocurrir, porque el futuro es probabilístico. Esto significa que las predicciones siempre deben ir acompañadas de una probabilidad, incluso cuando esta se acerque al 100 %. Por ejemplo, técnicamente no podemos afirmar que hay un 100 % de posibilidades de que mañana salga el sol, ya que siempre podría ocurrir un cataclismo (una colisión planetaria, una implosión solar, etc.). Pero este tipo de eventos son tan extraordinariamente improbables que podemos decir que la probabilidad de que no salga el sol es del 0.000000000…1 % (pero no cero).

Por tanto, la manera de saber si algo va a suceder o no es la siguiente:

  1. Formular la hipótesis: Por ejemplo «El Real Madrid ganará el Mundial de Clubes 2025».
  2. Calcular la probabilidad de que esta hipótesis sea cierta.
  3. Comparar esa probabilidad con un umbral subjetivo a partir del cual consideramos algo como muy probable (por ejemplo, un 90 %). Si lo supera, no rechazamos la hipótesis y, por tanto, podremos decir que el Real Madrid ganará el Mundial de Clubes 2025.

El reto de este método es que nos exige calcular una probabilidad que depende de múltiples variables (el estado de los jugadores, la táctica, la suerte…) y que va cambiando con el tiempo hasta que finaliza el campeonato.

La estrategia que ha demostrado dar mejores resultados para abordar esta tarea es pensar como un zorro, entendida esta metáfora como tener un marco mental flexible y abierto a múltiples posibilidades. A eso se le suma el uso de la inferencia bayesiana, que nos permite actualizar nuestras creencias conforme vamos recibiendo nueva información. En definitiva, se trata de convertirse en un zorro bayesiano.

Seguir leyendo «El arte de predecir con la cabeza fría: el decálogo del zorro bayesiano»

Bienvenido a The Bayesian Fox

Durante los últimos años, este blog ha funcionado bajo el nombre Labinoteca. Nació como un espacio personal donde compartir conocimientos y nuevos aprendizajes relacionados con el mundo de la Inteligencia de Negocio y la visualización de datos. Con el tiempo, mi trayectoria profesional me ha hecho cambiar el foco de interés hacia el análisis de datos, la predicción y el pensamiento estructurado basado en evidencia.

Por eso, a partir de hoy, Labinoteca evoluciona y se convierte en The Bayesian Fox.

Este nuevo nombre refleja mejor lo que quiero construir a partir de ahora: un espacio centrado en predicción estadística, visualización de datos, inteligencia artificial aplicada y toma de decisiones racionales.

Seguir leyendo «Bienvenido a The Bayesian Fox»

Economías de Sudamérica: Proyecto de BI en Tableau

En esta entrada veremos un proyecto de Business Intelligence presentado recientemente en un bootcamp de Data Analytics que estoy cursando actualmente en Ironhack BCN. Para la elaboración de este proyecto, Sergio Irazusta (compañero del curso) y yo hemos utilizado:

  • Herramientas de ETL en lenguaje de programación de Python (Jupyter Notebook) y de bases de datos relacionales (Excel y Postgresql)
  • Tableau para la visualización interactiva de la información.
Seguir leyendo «Economías de Sudamérica: Proyecto de BI en Tableau»

Webinar sobre el análisis y predicción de la pandémia de COVID-19

El pasado día 7 de octubre tuve la oportunidad de asistir a un webinar impartido por la Dra. Clara Prats, investigadora del grupo de Biología Computacional y Sistemas Complejos de la UPC. En esta conferencia online se expuso la experiencia de un grupo de investigadores de la UPC con respecto al análisis i control de los datos de la pandemia de COVID en Cataluña

En este post trataré de resumir y exponer algunas de las ideas que me parecieron más interesantes.

Seguir leyendo «Webinar sobre el análisis y predicción de la pandémia de COVID-19»