Modelo de regresión

Un modelo de regresión es un modelo estadístico que describe cómo varía una variable, la dependiente o respuesta, en función de una o varias variables independientes o explicativas, a partir de datos observados de todas ellas. El modelo tiene dos partes: una componente sistemática, que expresa la relación media entre las variables mediante una función con unos parámetros que hay que estimar, y una componente aleatoria, el error o perturbación, que recoge todo lo que la relación no explica. Si se estudia cómo depende el precio de una vivienda de su superficie, el modelo dirá cuánto sube el precio medio por cada metro cuadrado adicional y cuánto se alejan de esa media las viviendas concretas.

El término procede de Francis Galton, que en la década de 1880 observó que los hijos de padres muy altos eran, de media, altos, pero menos que sus padres, y los de padres muy bajos, bajos pero menos que ellos. Llamó a ese fenómeno «regresión hacia la mediocridad», hoy regresión a la media, y el nombre quedó unido a la técnica que usó para estudiarlo.

El más utilizado es el modelo de regresión lineal simple:

donde $\beta_0$ es el término independiente o constante, el valor medio de $y$ cuando $x$ vale cero; $\beta_1$ es la pendiente, el cambio medio de $y$ por cada unidad de $x$; y $\varepsilon$ es el error. Los parámetros se estiman habitualmente por mínimos cuadrados ordinarios, que eligen la recta que hace mínima la suma de los cuadrados de las diferencias entre los valores observados y los predichos, los llamados residuos. El método se remonta a Legendre (1805) y Gauss, y el teorema de Gauss-Markov establece en qué condiciones da los mejores estimadores lineales insesgados. La calidad del ajuste se resume con el coeficiente de determinación, $R^2$, la proporción de la varianza de $y$ que explica el modelo.

Con varias variables explicativas se habla de regresión lineal múltiple, que permite estimar el efecto de cada variable manteniendo constantes las demás. Cuando la relación no es lineal o la variable dependiente no es continua se usan otros modelos: la regresión logística para variables binarias, como aprobar o suspender; la regresión de Poisson para recuentos; o modelos no lineales y polinómicos.

La regresión es una de las herramientas más usadas en economía, sociología, medicina o ingeniería, para predecir y para estimar relaciones. Pero una relación estimada no demuestra causalidad: el número de bomberos que acude a un incendio predice bien los daños, porque los incendios grandes atraen más bomberos, no porque los bomberos causen daños. Para interpretar los coeficientes como efectos causales hacen falta un diseño adecuado o supuestos fuertes sobre las variables omitidas, y conviene comprobar con los residuos que se cumplen los supuestos del modelo (ver contraste de Durbin-Watson).

Recta de regresión de mínimos cuadrados – Plano de regresión – Variable independiente – Multicolinealidad – Modelo nulo (modelo de regresión) – Perturbación aleatoria