Historia de la regresión: de la regla de tres al machine learning

Cuando hoy escuchamos palabras como machine learning o inteligencia artificial, es fácil imaginar algoritmos sofisticados trabajando sobre enormes bases de datos. Sin embargo, la idea fundamental detrás de muchos de estos modelos es mucho más antigua. En el fondo, todos intentan responder una pregunta sencilla: si una variable cambia, cómo cambia otra.

Responder a esa pregunta con números ha sido una preocupación constante durante siglos. Mucho antes de que existiera la estadística formal, científicos, comerciantes y astrónomos ya intentaban encontrar patrones que permitieran anticipar resultados.

La regresión moderna es el resultado de ese largo esfuerzo intelectual. Su historia no es una ruptura tecnológica reciente, sino una evolución gradual de ideas que comienzan con cálculos muy simples y terminan en los algoritmos de aprendizaje automático actuales.

1. Cuando predecir era hacer cuentas

Seguir leyendo «Historia de la regresión: de la regla de tres al machine learning»

El Método Delphi: cuando la predicción cualitativa se vuelve estructurada

En un post anterior clasificábamos los métodos de previsión en dos grandes familias: cuantitativos y cualitativos. Dentro de los cualitativos podemos distinguir aquellos basados en juicio individual (opinión experta, analogías históricas, escenarios narrativos) y aquellos que intentan estructurar el juicio colectivo para reducir sesgos. El método Delphi pertene a esta segunda categoria.

No es predicción basada en datos en sentido estricto porque no parte de series temporales ni modelos matemático pero tampo es simple intuición. Es, probablemente, el intento más sofisticado del siglo XX de convertir el juicio experto en una herramienta sistemática de predicción.

Este método nació además en un contexto donde equivocarse podía significar una guerra nuclear.

Seguir leyendo «El Método Delphi: cuando la predicción cualitativa se vuelve estructurada»

“Siempre lo supe”: el engañoso poder del sesgo retrospectivo

Finalizamos hoy nuestra serie dedicada a Pensar rápido, pensar despacio hablando de uno de los sesgos cognitivos más insidiosos: el sesgo retrospectivo, o como solemos decir coloquialmente, el “ya lo sabía”.

¿Cuántas veces has escuchado —o dicho— frases como “era obvio que iba a pasar”, “se veía venir” o “yo ya lo intuía”? Después de que algo ocurre, nuestra mente tiene una habilidad casi mágica para convencernos de que lo habíamos previsto. No se trata de arrogancia (aunque a veces se parezca), sino de una ilusión cognitiva: una reconstrucción engañosamente coherente del pasado.

¿Cómo funciona el sesgo retrospectivo?

El sesgo retrospectivo consiste en sobreestimar nuestra capacidad de haber predicho un evento una vez que ya conocemos su desenlace. En otras palabras, una vez que algo ha ocurrido, nos parece que era más predecible de lo que realmente era.

Kahneman y Tversky lo demostraron en múltiples experimentos. En uno de ellos, los participantes debían estimar la probabilidad de distintos desenlaces históricos o políticos. Cuando algunos de ellos conocían el resultado real, tendían a asignarle una probabilidad mucho mayor que los que no lo sabían. El conocimiento del desenlace no sólo cambia lo que pensamos, sino lo que recordamos haber pensado.

Seguir leyendo «“Siempre lo supe”: el engañoso poder del sesgo retrospectivo»

Estimaciones de Fermi: cómo razonar cuando no tienes datos (y evitar el disparate)

A continuación se expondrá en detalle un método que se propone en el libro Superforecasting: The Art and Science of Prediction para descomponer un problema en partes más estimables.

Uno de los retos más frecuentes en análisis es enfrentarse a preguntas sin datos directos. En lugar de improvisar o bloquearse, hay una técnica sorprendentemente útil para avanzar con lógica: la estimación de Fermi.

Esta técnica, popularizada por el físico Enrico Fermi, se basa en dividir un problema complejo en partes más pequeñas y estimar cada una de ellas con números razonables. Pero más allá del cálculo, lo importante es el proceso: establecer límites exteriores (el resultado más amplio razonable) e interiores (el resultado más ajustado posible) del problema, y ser consciente del número que usamos como punto de partida, ya que este actuará como ancla para el resto de nuestras suposiciones.

Seguir leyendo «Estimaciones de Fermi: cómo razonar cuando no tienes datos (y evitar el disparate)»

Bayes: de los milagros a los algoritmos

El mundo en que nació Thomas Bayes era un lugar mucho más borroso de lo que creemos. Corría el siglo XVIII, soplaban vientos de Ilustración y la mayoría de las mentes brillantes de la época creían que la verdad absoluta estaba al alcance del hombre moderno. Mediante la razón, grandes pensadores se afanaban en elaborar leyes y ecuaciones deterministas que pretendían revelar el funcionamiento del universo, como si fuera un reloj suizo. La incertidumbre, esa plaga moderna, apenas comenzaba a abrirse paso.

Bayes, un clérigo presbiteriano de mirada invisible, nunca fue un gran protagonista. No tuvo el carisma de Newton ni la osadía de Laplace. Vivía en la sombra, en bibliotecas polvorientas, escribiendo silenciosamente sobre teología, moral y con una especial fascinación por las matemáticas.

Fue en ese clima donde, hacia 1750, concibió una idea que cambiaría el mundo. Una idea que, como muchas de las grandes revoluciones, fue ignorada durante décadas: que no había que esperar infinitas repeticiones de un evento para saber qué tan probable era, que podíamos estimar la incertidumbre con la información que ya teníamos. Que podíamos, en suma, inferir hacia adelante.

Seguir leyendo «Bayes: de los milagros a los algoritmos»