Açıklanan kareler toplamı - Explained sum of squares

Olarak istatistik , karelerinin toplamını açıklanmıştır ( ESS alternatif olarak da bilinir), kareler model toplamı ya da bağlı gerileme karelerinin toplamının ( SSR - ile karıştırılmamalıdır kareler kalıntı toplamı (RSS) ya da hataların kareleri toplamı) , bir modelin, genellikle bir regresyon modelinin , modellenen verileri ne kadar iyi temsil ettiğini açıklamakta kullanılan bir niceliktir . Özellikle, açıklanan kareler toplamı, modellenen değerlerde ne kadar varyasyon olduğunu ölçer ve bu, gözlemlenen verilerde ne kadar varyasyon olduğunu ölçen toplam kareler toplamı (TSS) ve kalan toplamı ile karşılaştırılır. gözlemlenen veriler ve modellenen değerler arasındaki hata varyasyonunu ölçen kareler .

Tanım

Açıklanan kareler toplamı (ESS), standart bir regresyon modelinde bir yanıt değişkeninin ortalama değerinden tahmin edilen değerlerin sapmalarının karelerinin toplamıdır - örneğin, y _i = a + b ₁ x _{1 i} + b ₂ x _{2 i} + ... + ε _i , burada y _ı olan i ^inci gözlenmesi , yanıt değişkeni , x _ji olan i ^inci gözlenmesi j ^inci açıklayıcı değişken , bir ve b _j olan katsayıları , i endeksler 1 ila gözlemler , n ve ε _i olan i  ^inci değeri hata terimi . Genel olarak, ESS ne kadar büyük olursa, tahmin edilen model o kadar iyi performans gösterir.

Tahmini katsayılar ise ve ise , o zaman ${\displaystyle {\hat {a}}}$${\displaystyle {\hat {b}}_{i}}$

${\displaystyle {\hat {y}}_{i}={\hat {a}}+{\hat {b}}_{1}x_{1i}+{\hat {b}}_{2} x_{2i}+\cdots \,}$

olduğu i  ^inci yanıt değişkenin tahmini değer. ESS daha sonra:

${\displaystyle {\text{ESS}}=\sum _{i=1}^{n}\left({\hat {y}}_{i}-{\bar {y}}\sağ)^{ 2}.}$

burada regresyon çizgisi tarafından tahmin edilen değer.${\displaystyle {\hat {y}}_{i}}$

Bazı durumlarda (aşağıya bakınız): toplam kareler toplamı  (TSS) = açıklanan kareler toplamı (ESS) + kalan kareler toplamı  (RSS).

Basit doğrusal regresyonda bölümleme

Toplam kareler toplamının (TSS) kalan kareler toplamına (=SSE : tahmin hatalarının karelerinin toplamı) artı açıklanan kareler toplamına (SSR : regresyon veya açıklanan kareler toplamı) eşit olduğunu belirten aşağıdaki eşitlik karelerin toplamı), basit doğrusal regresyonda genellikle doğrudur:

${\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\sağ)^{2}=\sum _{i=1}^{n} \left(y_{i}-{\hat {y}}_{i}\sağ)^{2}+\sum _{i=1}^{n}\left({\hat {y}}_ {i}-{\bar {y}}\sağ)^{2}.}$

Basit türetme

${\displaystyle {\begin{hizalanmış}(y_{i}-{\bar {y}})=(y_{i}-{\hat {y}}_{i})+({\hat {y} }_{i}-{\bar {y}}).\end{hizalı}}}$

Her iki tarafın karesini alın ve tüm i'leri toplayın :

${\displaystyle \sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}=\sum _{i=1}^{n}(y_{i }-{\hat {y}}_{i})^{2}+\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y} })^{2}+\sum _{i=1}^{n}2({\hat {y}}_{i}-{\bar {y}})(y_{i}-{\hat {y}}_{i}).}$

Yukarıdaki son terimin basit doğrusal regresyondan nasıl sıfır olduğu aşağıda açıklanmıştır.

${\displaystyle {\hat {y_{i}}}={\hat {a}}+{\hat {b}}x_{i}}$

${\displaystyle {\bar {y}}={\hat {a}}+{\hat {b}}{\bar {x}}}$

${\displaystyle {\hat {b}}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}$

Yani,

${\displaystyle {\hat {y_{i}}}-{\bar {y}}={\hat {b}}(x_{i}-{\bar {x}})}$

${\displaystyle y_{i}-{\hat {y}}_{i}=(y_{i}-{\bar {y}})-({\hat {y}}_{i}-{\ bar {y}})=(y_{i}-{\bar {y}})-{\hat {b}}(x_{i}-{\bar {x}})}$

Bu nedenle,

${\displaystyle {\begin{hizalanmış}&\sum _{i=1}^{n}2({\hat {y}}_{i}-{\bar {y}})(y_{i}- {\hat {y}}_{i})=2{\hat {b}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{ i}-{\hat {y}}_{i})\\[4pt]={}&2{\hat {b}}\sum _{i=1}^{n}(x_{i}-{ \bar {x}})((y_{i}-{\bar {y}})-{\hat {b}}(x_{i}-{\bar {x}}))\\[4pt] ={}&2{\hat {b}}\left(\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar { y}})-\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}{\frac {\sum _{j=1}^{n }(x_{j}-{\bar {x}})(y_{j}-{\bar {y}})}{\sum _{j=1}^{n}(x_{j}-{ \bar {x}})^{2}}}\sağ)\\[4pt]={}&2{\hat {b}}(0)=0\end{hizalı}}}$

Genel sıradan en küçük kareler modelinde bölümleme

İlki katsayısı regresyon kesişimi olan sabit bir birim vektör olan n gözlem ve k açıklayıcı içeren genel regresyon modeli ,

${\displaystyle y=X\beta +e}$

burada Y , bir olduğu , n x bağımlı değişken gözlemler 1 vektörü, her bir sütun n x k matris x isimli birinde gözlemler için bir vektör k explanators, a, K x gerçek katsayılarının 1 vektörü, ve E bir bir n x Gerçek temel hataların 1 vektörü. En küçük kareler için tahmin edici IS ${\görüntüleme stili \beta }$${\görüntüleme stili \beta }$

${\displaystyle {\hat {\beta }}=(X^{T}X)^{-1}X^{T}y.}$

Kalıntı vektör olup , bu rezidüel kareler toplamı basitleştirilmesi sonra, olduğu, ${\displaystyle {\hat {e}}}$${\displaystyle yX{\hat {\beta }}=yX(X^{T}X)^{-1}X^{T}y}$${\displaystyle {\hat {e}}^{T}{\hat {e}}}$

${\displaystyle RSS=y^{T}yy^{T}X(X^{T}X)^{-1}X^{T}y.}$

Tüm öğeleri, y vektöründeki bağımlı değişken değerlerinin örnek ortalaması olan sabit vektör olarak belirtin . O zaman toplam kareler toplamı ${\görüntüleme stili {\bar {y}}}$${\görüntüleme stili y_{m}}$

${\displaystyle TSS=(y-{\bar {y}})^{T}(y-{\bar {y}})=y^{T}y-2y^{T}{\bar {y} }+{\bar {y}}^{T}{\bar {y}}.}$

y'nin gözlenen ortalamasından tahmin edilen değerlerin sapmalarının karelerinin toplamı olarak tanımlanan, açıklanan kareler toplamı ,

${\displaystyle ESS=({\hat {y}}-{\bar {y}})^{T}({\hat {y}}-{\bar {y}})={\hat {y} }^{T}{\hat {y}}-2{\hat {y}}^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y} }.}$

Bunda kullanmak ve elde etmeyi basitleştirmek , TSS = ESS + RSS, ancak ve ancak . Bunun sol tarafı çarpı y öğelerinin toplamıdır ve sağ taraf çarpı öğelerinin toplamıdır , bu nedenle koşul, y'nin öğelerinin toplamının öğelerinin toplamına eşit olması veya buna eşdeğer olmasıdır. tahmin hatalarının (artıklar) toplamı sıfırdır. Bunun doğru olduğu, k × 1 vektörünün iyi bilinen OLS özelliğine dikkat edilerek görülebilir : X'in ilk sütunu bir birler vektörü olduğundan, bu vektörün ilk öğesi artıkların toplamıdır ve eşittir sıfır. Bu, koşulun TSS = ESS + RSS sonucu için geçerli olduğunu kanıtlar . ${\displaystyle {\hat {y}}=X{\hat {\beta }}}$${\displaystyle {\hat {y}}^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}y}$${\displaystyle y^{T}{\bar {y}}={\hat {y}}^{T}{\bar {y}}}$${\görüntüleme stili y_{m}}$${\görüntüleme stili y_{m}}$${\görüntüleme stili {\şapka {y}}}$${\görüntüleme stili {\şapka {y}}}$${\displaystyle y_{i}-{\hat {y}}_{i}}$${\displaystyle X^{T}{\hat {e}}=X^{T}[IX(X^{T}X)^{-1}X^{T}]y=0}$${\displaystyle X^{T}{\hat {e}}}$

Lineer cebir terimlerinde, , , var . Kanıt şuna dikkat edilerek basitleştirilebilir . Kanıt aşağıdaki gibidir: ${\displaystyle RSS=\|y-{\hat {y}}\|^{2}}$${\displaystyle TSS=\|y-{\bar {y}}\|^{2}}$${\displaystyle ESS=\|{\hat {y}}-{\bar {y}}\|^{2}}$${\displaystyle y^{T}{\hat {y}}={\hat {y}}^{T}y}$

${\displaystyle y^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}X(X^{T}X)^ {-1}X^{T}y=y^{T}X(X^{T}X)^{-1}X^{T}y={\hat {y}}^{T}y, }$

Böylece,

${\displaystyle {\begin{aligned}TSS&=\|y-{\bar {y}}\|^{2}=\|y-{\hat {y}}+{\hat {y}}-{ \bar {y}}\|^{2}\\&=\|y-{\hat {y}}\|^{2}+\|{\hat {y}}-{\bar {y} }\|^{2}+2<y-{\hat {y}},{\hat {y}}-{\bar {y}}>\\&=RSS+ESS+2y^{T}{ \hat {y}}-2{\hat {y}}^{T}{\hat {y}}-2y^{T}{\bar {y}}+2{\hat {y}}^{ T}{\bar {y}}\\&=RSS+ESS-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\ bitiş{hizalı}}}$

bu da yine TSS = ESS + RSS sonucunu verir , çünkü . ${\displaystyle (y-{\hat {y}})^{T}{\bar {y}}=0}$

Ayrıca bakınız

• Kareler toplamı (istatistikler)
• Uygun olmayan kareler toplamı
• Açıklanamayan varyans oranı

Notlar

Referanslar

• SE Maxwell ve HD Delaney (1990), "Deney tasarlama ve verileri analiz etme: Bir model karşılaştırma perspektifi". Wadsworth. s. 289–290.
• GA Milliken ve DE Johnson (1984), "Dağınık verilerin analizi", Cilt. I: Tasarlanmış deneyler. Van Nostrand Reinhold'un fotoğrafı. s. 146-151.
• BG Tabachnick ve LS Fidell (2007), "ANOVA kullanarak deneysel tasarım". Duxbury. s. 220.
• BG Tabachnick ve LS Fidell (2007), "Çok değişkenli istatistiklerin kullanılması", 5. baskı. Pearson Eğitimi. s. 217–218.