En este documento se presentan algunos de los ejercicios que serán parte de la tarea 1 sobre el tema de regresión lineal simple.

1. Regresión a través del origen.

Ocasionalmente, un modelo en donde el valor del intercepto es conocido a priori y es igual a cero puede ser apropiado. Este modelo está dado por:

\[y_{i}=\beta x_{i}+\epsilon_{i}, \qquad i=1,...,n,\]

donde \(E(\epsilon_i)=0, \; V(\epsilon_i)=\sigma^2 \;\; \text{y} \;\; Cov(\epsilon_i, \epsilon_j)=0 \; \forall \; i\neq j; \; \; i,j = 1,...,n.\)

  1. Muestre que el estimador de \(\beta\) obtenido por el método de mínimos cuadrados está dado por \(\widehat{\beta}=\sum_{i=1}^n x_{i}y_{i}\ / \sum_{i=1}^n x_{i}^2\). Argumente que \(\widehat{\beta}\) es un estimador lineal con respecto a las observaciones \(y_i\)’s.

  2. Muestre que \(\widehat{\beta}\) es insesgado y que \(V(\widehat{\beta})=\sigma^2\ / \sum_{i=1}^n x_{i}^2\).

  3. Considere además que \[y_i \sim N(\mu_i, \sigma^2),\] donde \(\mu_i=\beta x_i\) y con \(y_i\) y \(y_j\) variables aleatorias independientes para \(\; i\neq j\). Verifique que el estimador encontrado en i) también se obtiene usando máxima verosimilitud. Además, indique cual es el estimador máximo verosímil de \(\sigma^2\).

2.

Demuestre que bajo el modelo de regresión \[y_i=\alpha + \beta x_i + \epsilon_i,\]

donde \(E(\epsilon_i)=0, \; V(\epsilon_i)=\sigma^2 \;\; \text{y} \;\; Cov(\epsilon_i, \epsilon_j)=0 \; \forall \; i\neq j; \; \; i,j = 1,...,n\):

  1. los estimadores obtenidos por mínimos cuadrados \(\widehat{\alpha}\) y \(\widehat{\beta}\) tienen correlación \[corr(\widehat{\alpha},\widehat{\beta} )=-\sqrt{n}\dfrac{\bar{x}}{(\sum_{i=1}^{n}x_i^2)^{1/2}}.\]
  2. \[cov(\bar{y},\widehat{\beta} )=0.\]

3. Teorema Gauss-Markov

Bajo el modelo de regresión lineal simple: \[y_i=\alpha + \beta x_i + \epsilon_i,\]

donde \(E(\epsilon_i)=0, \; V(\epsilon_i)=\sigma^2 \;\; \text{y} \;\; Cov(\epsilon_i, \epsilon_j)=0 \; \forall \; i\neq j; \; \; i,j = 1,...,n\).

Demuestre que el estimador de mínimos cuadrados \(\widehat{\beta}\) satisface:

  1. es un estimador lineal e insesgado de \(\beta\) y
  2. su varianza es mínima dentro del conjunto de estimadores lineales insesgados de \(\beta\).

Nota: Para este ejercicio no usar la versión general del Teorema de Gauss Markov demostrado en clase. Recuerde que \(\widehat{\beta}=\dfrac{\sum_{i=1}^{n}(x_i-\overline{x})y_i}{\sum_{j=1}^{n}(x_j-\overline{x})^2}\).

4. Transformación de la variable explicativa

Considere el modelo de regresión lineal simple \(y_i=\alpha + \beta x_i + \epsilon_i\). Ahora suponga que cada \(x_i\) es reemplazada por \(cx_i\), donde \(c\neq 0\), es decir, \(x_i^*=cx_i\); y que se considera el modelo \(y_i=\alpha^* + \beta^* x_i^* + \epsilon_i^*\). Indique como se relacionan los siguientes estimadores y estadísticas, por ejemplo, si son iguales o si difieren y cómo:

  1. \(\widehat{\beta}\) y \(\widehat{\beta}^*\)
  2. \(\widehat{\alpha}\) y \(\widehat{\alpha}^*\)
  3. \(\widehat{\sigma}^2\) y \(\widehat{\sigma}^{*2}\)
  4. \(R^2\) y \(R^{*2}\)
  5. La estadística de prueba \(t\) para la prueba \(H_0:\beta =0\) vs \(H_a:\beta \neq 0\) y la correspondiente a la prueba \(H_0:\beta^* =0\) vs \(H_a:\beta^* \neq 0\).