|
最小自乗法
推定されたモデルから得られた予測値と実際のデータとの差を残差と言う。残差の自乗和を最小にするように、モデルのパラメータの推定を行う手法を最小自乗法という。通常の回帰分析、重回帰分析などの計算式は、この最小自乗法によって得られたものである。
線形モデル
実は回帰分析と分散分析を統一的に理解することができる。どちらのモデルも線形であり、計算手法も最小自乗法を用いているからだ。回帰分析と分散分析を統一的に理解することによって、より複雑で新しい統計手法への理解が可能となる。
また、これによって分散分析法を実験計画法から切り離すことが可能となり、畜産分野で頻繁に見られる不揃いデータの分散分析が容易になった(最小自乗分散分析法)。さらに、実験計画法から切り離されたことで、家畜育種分野ではBLUP法などのフィールドデータを用いた分析法へと発展した。
ただし、すべての問題が最小自乗法で解けるわけではない。BLUP法などの混合モデルでは最尤法によらなければならない。
(参考)線形モデルの最小自乗解
直線回帰モデル
y = a + xb + e
ここで、yは目的変数ベクトル、xは説明変数ベクトル、 eは誤差ベクトル、aとbはパラメータで、aは定数項、bは回帰係数です。
このモデルを次のように書き直します。
y = 1a + xb + e
ここで1は全ての要素が1のベクトルです。さて、1aとxb をひとつにしてしまいましょう。
y = Xc + e
X= ( (1, x1), (1, x2), ... ), c= ( a, b ) ですね。
残差は e = y - Xc ですから、残差自乗和は
= (y - Xc)'(y - Xc)
= y'y - 2c'X'y + c'(X'X)c
微分して=0とおけば残差自乗和を最小値にするパラメータの値が求められます。
-2 X'y + 2 X'Xc = 0
X'Xc = X'y
この式を正規方程式と呼び、この連立1次方程式をcについて解けば、パラメータの推定値を求めることができる。 c^ = (X'X)-1X'y
非線形モデル
モデルを各パラメータで偏微分したときに、一次偏導関数がパラメータ自身を含むモデルを非線形モデルと呼ぶ。例えば、logistic曲線などの成長曲線モデルが非線形モデルである。
非線形モデルを最小自乗法で当てはめる時には、多くの場合、計算式を解析的に求めることができない。そこで、多くの反復解法が考案されてきた。通常はニュートン法とその改良手法を使えば十分であるが、非線形性の強い場合にはマルカート法やPowell法を使う必要がある。また、偏微分すら求められない場合には、数値微分法をもとにしたアルゴリズムを使用しなければならない。
|
コメント（0）
