Öğrencileştirilmiş artık - Studentized residual

Bir serinin parçası
Regresyon analizi
Modeller
Doğrusal regresyon Basit regresyon Polinom regresyon Genel doğrusal model
Genelleştirilmiş doğrusal model Ayrık seçim Binom regresyon İkili regresyon Lojistik regresyon Çok terimli logit Karışık logit Probit Çok terimli probit Sıralı logit Sıralı probit Poisson
Çok düzeyli model Sabit efektler Rastgele efektler Doğrusal karışık efekt modeli Doğrusal olmayan karma efekt modeli
Doğrusal olmayan regresyon Parametrik olmayan Yarı parametrik güçlü Çeyreklik İzotonik Ana bileşenleri En küçük açı Yerel Bölümlenmiş
Değişkenlerdeki hatalar
Tahmin
En küçük kareler Doğrusal Doğrusal olmayan
Sıradan Ağırlıklı Genelleştirilmiş
Kısmi Toplam Negatif olmayan Ridge regresyonu Düzenlenmiş
En az mutlak sapmalar Yinelemeli olarak yeniden ağırlıklandırıldı Bayes Bayes çok değişkenli
Arka fon
Regresyon doğrulama Ortalama ve tahmin edilen yanıt Hatalar ve kalıntılar Formda olmanın güzelliği Studentized kalıntı Gauss-Markov teoremi
Matematik portalı
v t e

Olarak istatistik , bir studentized kalıntı bir bölünmesinden ortaya oranı olup kalıntı , bir tarafından tahmin barındırmayan standart sapma . Puanlar arasında değişen hata tahmini ile bir Student t- istatistik formudur .

Bu, aykırı değerlerin tespitinde önemli bir tekniktir . Öğrenci takma adıyla yazan William Sealey Gosset'in onuruna verilen birkaç isimden biridir . Bir istatistiğin örnek bir standart sapmaya bölünmesine , standartlaştırma ve normalleştirme ile analoji olarak öğrenci oluşturma denir .

Motivasyon

Studentizing için anahtar nedeni, bulunan regresyon analizi a değişkenli dağılım ait sapmalar artıklar arasında sapmalar bile farklı olabilir Farklı giriş değişken değerlerinde hatalar eşit bu farklı giriş değişken değerlerinde. Sorun, istatistikteki hatalar ve kalıntılar arasındaki fark , özellikle de regresyonlardaki kalıntıların davranışıdır.

Basit doğrusal regresyon modelini düşünün

${\ displaystyle Y = \ alpha _ {0} + \ alpha _ {1} X + \ varepsilon. \,}$

Rastgele bir örnek verildiğinde ( X _i ,  Y _i ), i  = 1, ...,  n , her çift ( X _i ,  Y _i ) tatmin eder

${\ displaystyle Y_ {i} = \ alpha _ {0} + \ alpha _ {1} X_ {i} + \ varepsilon _ {i}, \,}$

nerede hatalar vardır bağımsız ve hepsi aynı varyansa sahip . Kalıntılar değil gerçek hataları, ama olan tahminler gözlemlenebilir verilere dayanarak,. Tahmin etmek için en küçük kareler yöntemi kullanıldığında ve ardından artıklar , hatalardan farklı olarak, iki kısıtlamayı karşıladıkları için bağımsız olamazlar. ${\ displaystyle \ varepsilon _ {i}}$${\ displaystyle \ sigma ^ {2}}$${\ displaystyle \ alpha _ {0}}$${\ displaystyle \ alpha _ {1}}$${\ displaystyle {\ widehat {\ varepsilon \,}}}$${\ displaystyle \ varepsilon}$

${\ displaystyle \ toplamı _ {i = 1} ^ {n} {\ widehat {\ varepsilon \,}} _ {i} = 0}$

ve

${\ displaystyle \ toplam _ {i = 1} ^ {n} {\ widehat {\ varepsilon \,}} _ {i} x_ {i} = 0.}$

(Burada £ _ı olan I inci hatası ve bir i inci kalıntı). ${\ displaystyle \ scriptstyle {\ widehat {\ varepsilon \,}} _ {i}}$

Hatalardan farklı olarak artıkların hepsi aynı varyansa sahip değildir: karşılık gelen x değeri ortalama x değerinden uzaklaştıkça varyans azalır . Bu, verinin kendisinin bir özelliği değil, alanın uçlarında daha iyi uyan değerler regresyonunun bir özelliğidir. Regresyon katsayıları üzerindeki çeşitli veri noktalarının etki fonksiyonlarında da yansıtılmıştır : son noktalar daha fazla etkiye sahiptir. Bu aynı zamanda görülebilir çünkü uç noktalardaki kalıntılar büyük ölçüde yerleştirilmiş bir çizginin eğimine bağlıyken, ortadaki kalıntılar eğime göreceli olarak duyarsızdır. Aslında artıkların varyansları, farklı olsa da herkesin eşit gerçek hataların sapmalar birbirine vardır başlıca nedeni studentization ihtiyacı için.

Bu sadece nüfus parametreleri (ortalama ve standart sapma) olmak bilinmeyen meselesi değil - ki regresyonlar verim farklı kalıntı dağılımları de , farklı veri noktaları aksine nokta tahmin edicilerin arasında tek değişkenli dağılımlar paylaştığını, ortak dağıtım artıklar için.

Arka fon

Bu basit model için tasarım matrisi şu şekildedir :

${\ displaystyle X = \ sol [{\ başlar {matris} 1 & x_ {1} \\\ vdots & \ vdots \\ 1 ve x_ {n} \ end {matris}} \ sağ]}$

ve şapka matrisi H , tasarım matrisinin sütun uzayına dik izdüşümün matrisidir:

${\ displaystyle H = X (X ^ {T} X) ^ {- 1} X ^ {T}. \,}$

Kaldıraç h _i olan I şapka matrisinde inci diyagonal girişi. İ. Artığın varyansı

${\ displaystyle \ operatorname {var} ({\ widehat {\ varepsilon \,}} _ {i}) = \ sigma ^ {2} (1-h_ {ii}).}$

Tasarım matrisi X'in yalnızca iki sütunu olması durumunda (yukarıdaki örnekte olduğu gibi), bu şuna eşittir:

${\ displaystyle \ operatorname {var} ({\ widehat {\ varepsilon \,}} _ {i}) = \ sigma ^ {2} \ left (1 - {\ frac {1} {n}} - {\ frac {(x_ {i} - {\ bar {x}}) ^ {2}} {\ sum _ {j = 1} ^ {n} (x_ {j} - {\ bar {x}}) ^ {2 }}}\sağ).}$

Aritmetik ortalama durumunda , tasarım matrisi X'in yalnızca bir sütunu ( birlerin vektörü ) vardır ve bu basitçe:

${\ displaystyle \ operatorname {var} ({\ widehat {\ varepsilon \,}} _ {i}) = \ sigma ^ {2} \ left (1 - {\ frac {1} {n}} \ sağ). }$

Hesaplama

Yukarıdaki tanımlar göz önüne alındığında, Öğrencileştirilmiş kalıntı o zaman

${\ displaystyle t_ {i} = {{\ widehat {\ varepsilon \,}} _ {i} \ over {\ widehat {\ sigma}} {\ sqrt {1-h_ {ii} \}}}}$

burada h _i olan kaldıraç , uygun bir tahmindir σ (aşağıya bakınız). ${\ displaystyle {\ widehat {\ sigma}}}$

Ortalama olması durumunda, bu şuna eşittir:

${\ displaystyle t_ {i} = {{\ widehat {\ varepsilon \,}} _ {i} \ over {\ widehat {\ sigma}} {\ sqrt {(n-1) / n}}}}$

İç ve dış öğrenci olma

Σ ^2'nin olağan tahmini , dahili olarak öğrencileştirilmiş kalıntıdır

${\ displaystyle {\ widehat {\ sigma}} ^ {2} = {1 \ nm'den fazla} \ toplam _ {j = 1} ^ {n} {\ widehat {\ varepsilon \,}} _ {j} ^ { \, 2}.}$

burada m , modeldeki parametre sayısıdır (örneğimizde 2).

Ama eğer ben  inci durum improbably büyük olduğundan şüpheleniliyor, o zaman da normal dağılıma sahip olamazdık. Nedenle hariç tutmak için ihtiyatlı i  bir göz önünde olup varyans tahmin işleminden inci gözlem i  inci durum, bir aykırı değer olabilir, ve bunun yerine kullanımı dışarıdan studentized olan bakiye

${\ displaystyle {\ widehat {\ sigma}} _ {(i)} ^ {2} = {1 \ nm-1} üzerinde \ toplamı _ {\ begin {smallmatrix} j = 1 \\ j \ neq i \ end {smallmatrix}} ^ {n} {\ widehat {\ varepsilon \,}} _ {j} ^ {\, 2},}$

tüm artıklar dayalı hariç şüpheli i  kalıntı inci. İşte vurgulamaktır şüpheli için i ile hesaplanır i  inci durum hariç. ${\ displaystyle {\ widehat {\ varepsilon \,}} _ {j} ^ {\, 2} (j \ neq i)}$

Tahmin ise σ ² içerir i  inci durumda, o zaman adı dahili studentized , kalıntı (aynı zamanda standart kalıntı ). Tahmin ederse , bunun yerine kullanılır hariç i  inci dava, o zaman denir dışarıdan studentized , . ${\ displaystyle t_ {i}}$${\ displaystyle {\ widehat {\ sigma}} _ {(i)} ^ {2}}$${\ displaystyle t_ {i (i)}}$

Dağıtım

Hataların bağımsız ve varsa normal dağılım ile beklenen değer 0 ve varyans σ ² , daha sonra olasılık dağılımı arasında i dışarıdan kalıntı studentized Th a, Student t-dağılımı ile , n  -  m  - 1 serbestlik derecesi ve arasında olabilir için . ${\ displaystyle t_ {i (i)}}$${\ displaystyle \ scriptstyle - \ infty}$${\ displaystyle \ scriptstyle + \ infty}$

Öte yandan, içten öğrencileştirilmiş artıklar, ν = n  -  m , artık serbestlik derecelerinin sayısı olduğu aralıktadır . T _i , dahili olarak öğrencileştirilmiş artığı temsil ediyorsa ve yine hataların bağımsız, aynı şekilde dağıtılmış Gauss değişkenleri olduğunu varsayarak, o zaman: ${\ displaystyle \ scriptstyle 0 \, \ pm \, {\ sqrt {\ nu}}}$

${\ displaystyle t_ {i} \ sim {\ sqrt {\ nu}} {t \ over {\ sqrt {t ^ {2} + \ nu -1}}}}$

burada t , ν  - 1 serbestlik derecesine sahip Student t dağılımı olarak dağıtılan rastgele bir değişkendir . Aslında bu, t _i ² / ν'nin beta dağılımını B (1/2, ( ν  - 1) / 2) izlediğini gösterir . Yukarıdaki dağılım bazen tau dağılımı olarak anılır ; ilk olarak 1935'te Thompson tarafından türetildi.

Tüm ν 3 = içten studentized artıklar eşit dağılmış arasında ve . Yalnızca bir artık serbestlik derecesi varsa, dahili olarak öğrencileştirilmiş kalıntıların dağıtımı için yukarıdaki formül geçerli değildir. Bu durumda, t _i , her biri için% 50 şansla +1 veya are1'dir. ${\ displaystyle \ scriptstyle - {\ sqrt {3}}}$${\ displaystyle \ scriptstyle + {\ sqrt {3}}}$

İçten studentized artıkların dağılımın standart sapması her zaman 1'dir, ancak bu tüm standart sapması anlamına gelmez t _i belli deney Örneğin 1'dir, geçiyor düz bir çizgi uydurma içten studentized artıklar ( 0, 0) ile (1, 4), (2, −1), (2, −1) noktaları ve bunların standart sapması 1 değil. ${\ displaystyle {\ sqrt {2}}, \ - {\ sqrt {5}} / 5, \ - {\ sqrt {5}} / 5}$

Herhangi bir öğrencileştirilmiş artık t _i ve t _j çifti (burada ) DEĞİLDİR Aynı dağılıma sahipler, ancak toplamları 0 olan ve tasarım matrisine ortogonal olmaları gereken kalıntılar üzerindeki kısıtlamalar nedeniyle bağımsız değillerdir. . ${\ displaystyle i \ neq j}$

Yazılım uygulamaları

R , Python , vb. Gibi birçok program ve istatistik paketi Studentized kalıntı uygulamalarını içerir.

Dil / Program	Fonksiyon	Notlar
R	rstandard(model, ...)	dahili olarak öğrenci. Bkz. [2]
R	rstudent(model, ...)	dışarıdan öğrenci. Bkz. [3]

Ayrıca bakınız

• Cook'un mesafesi - bir gözlem silindiğinde regresyon katsayılarındaki değişikliklerin bir ölçüsü
• Grubbs testi
• Normalleştirme (istatistikler)
• Samuelson eşitsizliği
• Standart skor
• William Sealy Gosset

Referanslar

daha fazla okuma

• Cook, R. Dennis; Weisberg, Sanford (1982). Gerileme Kalıntıları ve Etkisi (Yeniden Baskı). New York: Chapman ve Hall . ISBN   041224280X . Erişim tarihi: 23 Şubat 2013 .