En este documento se presentan algunos de los ejercicios que serán parte de la tarea 1 sobre el tema de regresión lineal simple.
Ocasionalmente, un modelo en donde el valor del intercepto es conocido a priori y es igual a cero puede ser apropiado. Este modelo está dado por:
\[y_{i}=\beta x_{i}+\epsilon_{i}, \qquad i=1,...,n,\]
donde \(E(\epsilon_i)=0, \; V(\epsilon_i)=\sigma^2 \;\; \text{y} \;\; Cov(\epsilon_i, \epsilon_j)=0 \; \forall \; i\neq j; \; \; i,j = 1,...,n.\)
Muestre que el estimador de \(\beta\) obtenido por el método de mínimos cuadrados está dado por \(\widehat{\beta}=\sum_{i=1}^n x_{i}y_{i}\ / \sum_{i=1}^n x_{i}^2\). Argumente que \(\widehat{\beta}\) es un estimador lineal con respecto a las observaciones \(y_i\)’s.
Muestre que \(\widehat{\beta}\) es insesgado y que \(V(\widehat{\beta})=\sigma^2\ / \sum_{i=1}^n x_{i}^2\).
Considere además que \[y_i \sim N(\mu_i, \sigma^2),\] donde \(\mu_i=\beta x_i\) y con \(y_i\) y \(y_j\) variables aleatorias independientes para \(\; i\neq j\). Verifique que el estimador encontrado en i) también se obtiene usando máxima verosimilitud. Además, indique cual es el estimador máximo verosímil de \(\sigma^2\).
Demuestre que bajo el modelo de regresión \[y_i=\alpha + \beta x_i + \epsilon_i,\]
donde \(E(\epsilon_i)=0, \; V(\epsilon_i)=\sigma^2 \;\; \text{y} \;\; Cov(\epsilon_i, \epsilon_j)=0 \; \forall \; i\neq j; \; \; i,j = 1,...,n\):
Bajo el modelo de regresión lineal simple: \[y_i=\alpha + \beta x_i + \epsilon_i,\]
donde \(E(\epsilon_i)=0, \; V(\epsilon_i)=\sigma^2 \;\; \text{y} \;\; Cov(\epsilon_i, \epsilon_j)=0 \; \forall \; i\neq j; \; \; i,j = 1,...,n\).
Demuestre que el estimador de mínimos cuadrados \(\widehat{\beta}\) satisface:
Nota: Para este ejercicio no usar la versión general del Teorema de Gauss Markov demostrado en clase. Recuerde que \(\widehat{\beta}=\dfrac{\sum_{i=1}^{n}(x_i-\overline{x})y_i}{\sum_{j=1}^{n}(x_j-\overline{x})^2}\).
Considere el modelo de regresión lineal simple \(y_i=\alpha + \beta x_i + \epsilon_i\). Ahora suponga que cada \(x_i\) es reemplazada por \(cx_i\), donde \(c\neq 0\), es decir, \(x_i^*=cx_i\); y que se considera el modelo \(y_i=\alpha^* + \beta^* x_i^* + \epsilon_i^*\). Indique como se relacionan los siguientes estimadores y estadísticas, por ejemplo, si son iguales o si difieren y cómo: