Bayes değişkenli lineer regresyon - Bayesian multivariate linear regression

Olarak istatistik , Bayes değişkenli doğrusal regresyon a, Bayes yaklaşım lineer regresyon çok değişkenli bir deyişle, lineer regresyon Tahmin edilen sonuç, korelasyon bir vektördür rastgele değişken yerine tek bir skaler rastgele değişkenin daha. Bu yaklaşımın bir daha genel bir tedavi makale bulunabilir MMSE tahmincisi .

ayrıntılar

Bir regresyon problemi düşünün bağımlı değişken tahmin gereken tek bir gerçek değerli sayıl ancak m korelasyon reel sayılar uzunlukta vektör. Standart regresyon kurulumunda de vardır n tane , her bir gözlem gözlemler, I oluşur k -1 açıklayıcı değişkenler bir vektör içerisine gruplandırılmış uzunluğu k bir ( yapay değişken değeri 1 olan bir kesişme katsayısı sağlamak için eklendi ). Bu, bir dizi olarak görülebilir m , her gözlem için ilgili regresyon problemleri i :

Hataların seti nerede tüm ilişkilidir. Aynı şekilde, bu sonuç, bir tek bir regresyon problem olarak görülebilir satır vektörü aşağıdaki gibi ve regresyon katsayısı vektörleri birbirine bitişik dizilir:

Katsayısı matris B a, katsayı vektörleri matris , her gerileme sorun için yatay olarak istiflenir:

Gürültü vektörü her bir gözlem için i belli bir gözlem için sonuçları korele edilir, böylece ortak normaldir:

Biz matris biçimi olarak bütün regresyon sorunu yazabilirsiniz:

burada Y, ve e olan matrisler. Tasarım matris X, bir bir standart olarak, dikey olarak istiflenmiş gözlemlerle matris lineer regresyon kurulumu:

Klasik, frequentists doğrusal en küçük kareler çözüm, regresyon katsayıları matrisinin tahmin etmektir kullanılarak Moore-Penrose pseudoinverse :

.

Bayes çözümü elde etmek için, biz koşullu olasılığını belirlemek ve daha sonra önceden uygun konjügeyi bulmalıyız. Tek değişkenli bir durumda olduğu gibi , doğrusal Bayes regresyon biz (ölçek bağlıdır) önce doğal koşullu konjugat belirtebilir bulacaksınız.

Bize bizim koşullu olasılığını yazalım

hata yazılı açısından ve verimleri

Bu, doğal bir konjugat önceki ortak bir yoğunluğa aramak olasılığı aynı işlevsel şekilde oluşturulmuştur. Olabilirlik karesel olduğu için bu normaldir yüzden biz olasılığını-yazma yeniden (klasik örnek tahmini sapma).

İle aynı teknik kullanılarak Bayes doğrusal regresyon biz sum of kareler tekniğiyle bir matris formu üstel terimi ayrışırlar. Ancak burada, biz de Matris Diferansiyel Matematik (kullanmanız gerekecektir Kronecker ürün ve vectorization dönüşümleri).

İlk olarak bize olasılığına ilişkin yeni bir ifade elde etmek sum of kareler uygulayalım:

Biz priors şartlı formunu geliştirmek istiyoruz:

burada bir bir ters-Wishart dağılımı ve bir çeşit olan normal dağılım matrisi içinde . Bu kullanılarak gerçekleştirilir vectorization matrislerin bir işlev olasılığını dönüştüren bir dönüşüm, vektörler bir fonksiyonuna .

Yazmak

let

burada belirtmektedir Kronecker'in ürün matrisler A ve B , bir genelleme dış ürün bir çarpar bir matrisi matris bir oluşturmak için iki matrislerden elemanların ürünleri her kombinasyonundan oluşan, bir matris.

Sonra

hangi normaldir bir olasılıkla yol açacaktır .

daha uysal biçimde olasılığı ile, şimdi, doğal (koşullu) konjügat önce bulabilirsiniz.

Eşlenik önce dağıtım

Vectorized değişken kullanarak önce doğal konjugat biçimde olabilir:

,

nerede

ve

posterior dağılımı

Yukarıda açıklanan önceki ve olasılığını kullanılarak, arka dağılımı şu şekilde ifade edilebilir:

nerede . Terimler sürece katılmak (gruplandırılması kullanılarak):

,

ile

.

Bu artık bir daha kullanışlı biçimde posterior yazmamızı sağlar:

.

Bu halini alır ters-Wishart dağıtım kez Matris normal dağılım :

ve

.

Bu posterior parametreleri tarafından verilmektedir:

Ayrıca bakınız

Referanslar

  • Kutu, GEP ; Tiao, GC (1973). "8". İstatistiksel Analiz Bayes Çıkarım . Wiley. ISBN  0-471-57428-7 .
  • Geisser, S. (1965). "Çok değişkenli analiz Bayes Hesaplanması". Matematiksel İstatistik Annals . 36 (1): 150 ndash, 159. JSTOR'un  2.238.083 .
  • Tiao GC; Zellner, A. (1964). "Çok değişkenli Regresyon Bayes Tahmini Üzerine". Kraliyet İstatistik Derneği Dergisi. Seri B (Metodolojik) . 26 (2): 277 ve ndash, 285. JSTOR'un  2.984.424 .