Sección : Búsqueda de estimadores
Previo : Estimación por ajuste
Siguiente : Noción de verosimilitud

Estimadores de mínimos cuadrados

Hasta ahora el único modelo probabilista que hemos considerado para datos observados, suponía que estos eran realizaciones de variables independientes de una misma ley. Esto equivale a decir que los individuos en los cuales se tomaron los datos son intercambiables y que las diferencias observadas entre ellos son imputables solamente al azar. En numerosas situaciones, se busca explicar estas diferencias, es decir, atribuirlas a los efectos de otros carácteres medidos en los mismos individuos. La modelación probabilista considerará que la medición a explicar, realizada en un individuo dado, es una variable aleatoria cuya ley depende de los valores observados, en ese individuo, de los carácteres explicativos, considerados como deterministas. Si $Y_i$ denota la variable aleatoria asociada al individuo $i$ y $(x^{(1)}_i,\ldots,x^{(k)}_i)$ son los valores que toman, para ese individuo, los carácteres explicativos $(x^{(1)},\ldots,x^{(k)})$, se separará el efecto determinista y el efecto aleatorio por un modelo del tipo:

$$Y_i = f(x^{(1)}_i,\ldots,x^{(k)}_i)+E_i\;,$$

donde $(E_1,\ldots,E_n)$ es una $n$-tupla de variables aleatorias independientes con una misma ley. Hablamos entonces de un modelo de regresión. La función $f$ depende de uno o varios parámetros desconocidos, que hay que estimar. Para esto se busca minimizar el error cuadrático definido por:

$$EQ(f) = \frac{1}{n} \sum_{i=1}^n (Y_i-f(x^{(1)}_i,\ldots,x^{(k)}_i))^2\;.$$

En algunos casos clásicos, sabemos resolver explícitamente este problema de minimización y la solución de estos está implementada en los logiciales de cálculo estadístico. Cuando una solución explícita es imposible, recurrimos a algoritmos de minimización, como por ejemplo el algoritmo del gradiente.

El caso más elemental es el de la regresión lineal simple, donde hay un único carácter explicativo y la función $f$ es afín:

$$Y_i = ax_i+b+E_i\;.$$

El error cuadrático está dado por:

$$EQ(a,b) = \frac{1}{n} \sum_{i=1}^n (Y_i-ax_i-b)^2\;.$$

Los valores de $a$ y $b$ que minimizan el error cuadrático se expresan en función de las medias, varianzas y covarianzas empíricas de $x$ y de $Y$. Denotamos:

$\bullet$

$\overline{x}=\frac{1}{n}\sum x_i$ la media empírica de $x$.

$\bullet$

$s^2_x=\frac{1}{n}\sum (x_i-\overline{x})^2$ la varianza empírica de $x$.

$\bullet$

$\overline{Y}=\frac{1}{n}\sum Y_i$ la media empírica de $Y$.

$\bullet$

$S^2_Y=\frac{1}{n}\sum (Y_i-\overline{Y})^2$ la varianza empírica de $Y$.

$\bullet$

$c_{xY} = \frac{1}{n}\sum (x_i-\overline{x}) (Y_i-\overline{Y})$ la covarianza de $x$ y $Y$.

$\bullet$

$r_{xY} = \frac{c_{xY}}{\sqrt{s_x^2S_Y^2}}$ el coeficiente de correlación de $x$ y $Y$.

Proposición 2.4   Si $s_x^2\neq 0$ (el carácter $x$ no es constante), la función $EQ(a,b)$ admite un mínimo para:

$$A = \frac{c_{xY}}{s_x^2}$$   y$$\quad B = \overline{Y} - A\overline{x}\;.$$

El valor de este mínimo es:

$$EQ(A,B) = S_Y^2(1-r_{xY}^2)\;.$$

Las variables aleatorias $A$ y $B$ son los estimadores de mínimos cuadrados de los parámetros $a$ y $b$.

En un problema de ajuste, podemos emplear los estimadores de mínimos cuadrados para estimar los parámetros de algunas leyes. Vamos a tratar, como ejemplo, las leyes normales y las leyes de Weibull.

Leyes normales: Sea $Y=(Y_1,\ldots,Y_n)$ una muestra de tamaño $n$ de la ley normal ${\cal N}(\mu,\sigma^2)$, donde los parámetros $\mu$ y $\sigma^2$ son desconocidos. Para $i=1,\ldots,n$, denotemos por $Y_{(i)}$ el estadígrafo de orden (son los valores $Y_i$ ordenados del menor al mayor). Si la hipótesis de normalidad es válida, entonces $Y_{(i)}$ debe estar cerca del cuantil $Q_{{\cal N}(\mu,\sigma^2)}(i/n)$ de la ley ${\cal N}(\mu,\sigma^2)$. Recordemos que si una variable aleatoria $X$ sigue la ley ${\cal N}(0,1)$, entonces $Y=\sigma X+\mu$ sigue la ley ${\cal N}(\mu,\sigma^2)$. Esto implica que para todo $u\in [0,1]$:

$$Q_{{\cal N}(\mu,\sigma^2)}(u) = \sigma Q_{{\cal N}(0,1)}(u) + \mu\;.$$

Denotemos $x_i=Q_{{\cal N}(0,1)}(i/n)$ los valores de la función cuantil de la ley ${\cal N}(0,1)$ en los puntos $i/n$. Si la hipótesis de normalidad se verifica, los puntos de coordenadas $(x_i,Y_{(i)})$ deberían estar cerca de la recta de ecuación $y=\sigma x+\mu$. Los estimadores de mínimos cuadrados $A$ y $B$ para la regresión lineal simple de los $Y_{(i)}$ con respecto a los $x_i$ son por tanto estimadores de $\sigma$ y $\mu$ respectivamente.

Leyes de Weibull: La función cuantil de la ley de Weibull ${\cal W}(a,\lambda)$ está dada por:

$$Q_{{\cal W}(a,\lambda)}(u) = \left(-\frac{1}{\lambda} \log(1-u)\right)^{1/a}\;.$$

Sea $Y=(Y_1,\ldots,Y_n)$ una muestra de la ley ${\cal W}(a,\lambda)$, de parámetros $a$ y $\lambda$ desconocidos. Para $i=1,\ldots,n$, el estadígrafo de orden $Y_{(i)}$ debe estar cerca del cuantil $Q_{{\cal W}(a,\lambda)}(i/n)$:

$$Y_{(i)}\approx\left(-\frac{1}{\lambda} \log(1-\frac{i}{n})\right)^{1/a}\;,$$

Empleando logaritmos:

$$\log(Y_{(i)})\approx\frac{1}{a}\log\left(-\log(1-\frac{i}{n})\right) +\frac{1}{a} \log\left(\frac{1}{\lambda}\right)\;.$$

Denotemos $x_i=\log(-\log(1-i/n))$ y $Y'_i = \log(Y_{(i)})$. Los puntos $(x_i,Y'_i)$ deberían estar cerca de la recta de ecuación $y=(1/a)x+(1/a)\log(1/\lambda)$. Los estimadores de mínimos cuadrados $A$ y $B$ para la regresión lineal de los $Y'_i$ con respecto a los $x_i$ son estimadores de $1/a$ y $(1/a)\log(1/\lambda)$ respectivamente. Por tanto $1/A$ y $e^{-B/A}$ son estimadores de $a$ y $\lambda$ respectivamente.

Sección : Búsqueda de estimadores
Previo : Estimación por ajuste
Siguiente : Noción de verosimilitud