計量経済学part1 OLS推定について

f:id:LimeSword:20180411232036j:plain

最小二乗推定(Ordinary Least Squares)

観測データ ${\displaystyle \{(X_1,Y_1),...,(X_n,Y_n)\} }$ に対して、真の回帰式(求めることはできない)を ${\displaystyle \hat{Y}=\alpha+\beta X }$ とする。

${ \displaystyle u_i=Y_i-\hat{Y_i} }$ は誤差項。

真の回帰式は実際にはわからないので、真の回帰式を予想した、推定の回帰式を求める。

推定された回帰式を ${ \displaystyle \hat{Y}=a+bX }$ とする。

このとき、 ${ \displaystyle (a,b) }$ は ${ \displaystyle S(\alpha ,\beta )=\sum u_{i}^{2} }$ を最小にする ${ \displaystyle (\alpha ,\beta ) }$ （誤差を最小にするような組み合わせ）

${ \displaystyle S(\alpha ,\beta )=\sum u_{i}^{2} =\sum ( Y_i-\hat{Y_i}) ^{2}=\sum ( Y_i- \alpha -\beta X_i) ^{2} }$

偏微分を用いて、

${ \displaystyle \dfrac{\partial S(\alpha ,\beta )}{\partial \alpha }=(-2)\sum ( Y_i- \alpha -\beta X_i) }$

${ \displaystyle \dfrac{\partial S(\alpha ,\beta )}{\partial \beta }=(-2)\sum X_i ( Y_i- \alpha -\beta X_i) }$

より

${ \displaystyle (-2)\sum ( Y_i- a -b X_i) =0 }$

${ \displaystyle (-2)\sum X_i ( Y_i- a -b X_i) =0 }$

を解くと

${ \displaystyle a=\bar{Y} - b\bar{X} , b=\dfrac{\sum (X_i - \bar{X}) (Y_i-\bar{Y})}{\sum (X_i-\bar{X}) ^{2}} }$

こうして、真の回帰式はわからないが、実際に観測されたデータから回帰式を推定することができる。

${ \displaystyle \hat{Y_i} = a+bX_i }$ を理論値

${ \displaystyle \hat{u_i} = Y_i -\hat{Y_i} }$ を残差という。

誤差と残差の違いは、誤差は実際の値と真の回帰式から求めた値の差であり、残差は実際の値と推定された回帰式から求めた値の差。

（理論値と残差の性質）

その１ ${ \displaystyle \sum \hat{u_i} =0 }$

その２ ${ \displaystyle \sum X_i\hat{u_i} = \sum (X_i- \bar{X})\hat{u_i} =0 }$

その３ ${ \displaystyle \bar{Y} = \bar{\hat{Y}} }$

その４ ${ \displaystyle \sum \hat{Y_i}\hat{u_i} =\sum (\hat{Y_i} -\bar{Y_i})\hat{u_i} =\sum (\hat{Y_i} -\bar{\hat{Y_i}})\hat{u_i} =0 }$

その５直線 ${ \displaystyle Y =a +bX }$ は ${ \displaystyle (\bar{X}, \bar{Y}) }$ を通る

小さな池