Ampirik Bayes yöntemi - Empirical Bayes method

Bir serinin parçası
Bayes istatistikleri
teori
Kabul edilebilir karar kuralı Bayes verimliliği Bayesci epistemoloji Bayes olasılığı Olasılık yorumları Bayes teoremi Bayes faktörü Bayes çıkarımı Bayes ağı Önceki arka Olasılık önceki konjuge Arka öngörücü hiperparametre hiperprior kayıtsızlık ilkesi Maksimum entropi ilkesi Ampirik Bayes yöntemi Cromwell'in kuralı Bernstein-von Mises teoremi Schwarz kriteri Güvenilir aralık Maksimum a posteriori tahmin radikal olasılık
Teknikler
Bayes doğrusal regresyon Bayes tahmincisi Yaklaşık Bayes hesaplaması Markov zinciri Monte Carlo
matematik portalı
v T e

Ampirik Bayes yöntemleri , önceki dağılımın verilerden tahmin edildiği istatistiksel çıkarım prosedürleridir . Bu yaklaşım, herhangi bir veri gözlemlenmeden önce ön dağılımın sabitlendiği standart Bayes yöntemlerinin aksine durmaktadır . Perspektifteki bu farklılığa rağmen, ampirik Bayes, hiyerarşinin en yüksek seviyesindeki parametrelerin entegre edilmek yerine en olası değerlerine ayarlandığı hiyerarşik bir modelin tamamen Bayesçi bir şekilde ele alınmasına bir yaklaşım olarak görülebilir . Maksimum marjinal olabilirlik olarak da bilinen ampirik Bayes, hiperparametreleri ayarlamak için bir yaklaşımı temsil eder .

Tanıtım

Ampirik Bayes yöntemleri, hiyerarşik bir Bayes modelinin tamamen Bayes yaklaşımına bir yaklaşım olarak görülebilir .

Örneğin, iki aşamalı bir hiyerarşik Bayes modelinde, gözlenen verilerin , bir olasılık dağılımına göre gözlemlenmeyen bir parametre kümesinden üretildiği varsayılır . Buna karşılık, parametreler , bir olasılık dağılımına göre hiperparametrelerle karakterize edilen bir popülasyondan alınan örnekler olarak kabul edilebilir . Hiyerarşik Bayes modelinde, ampirik Bayes yaklaşımında olmasa da, hiperparametrelerin parametrelenmemiş bir dağılımdan alındığı kabul edilir . ${\displaystyle y=\{y_{1},y_{2},\dots ,y_{n}\}}$${\displaystyle \teta =\{\teta _{1},\teta _{2},\dots,\teta _{n}\}}$${\görüntüleme stili p(y\orta \teta )\,}$${\görüntüleme stili \teta}$ ${\görüntüleme stili \eta\,}$${\ Displaystyle p(\theta \mid \eta )\,}$${\görüntüleme stili \eta\,}$${\görüntüleme stili p(\eta )\,}$

Bu nedenle, belirli bir ilgi miktarı hakkında bilgi, yalnızca doğrudan ona bağlı olan verilerin özelliklerinden değil, aynı zamanda hiperparametreler tarafından özetlenen bir bütün olarak verilerden çıkarılan bir bütün olarak parametre popülasyonunun özelliklerinden de gelir . ${\ Displaystyle \ theta _ {i}\;}$${\görüntüleme stili \teta\;}$${\görüntüleme stili \eta \;}$

Bayes teoremini kullanarak ,

${\displaystyle p(\teta\orta y)={\frac {p(y\orta\teta )p(\teta)}{p(y)}}={\frac {p(y\orta\teta ) }{p(y)}}\int p(\theta \mid \eta )p(\eta )\,d\eta \,.}$

Genel olarak, bu integral analitik veya sembolik olarak izlenebilir olmayacaktır ve sayısal yöntemlerle değerlendirilmelidir . Stokastik (rastgele) veya deterministik yaklaşımlar kullanılabilir. Örnek stokastik yöntemler, Markov Zinciri Monte Carlo ve Monte Carlo örneklemesidir. Deterministik yaklaşımlar karelemede tartışılmaktadır .

Alternatif olarak, ifade şu şekilde yazılabilir:

${\displaystyle p(\theta \mid y)=\int p(\theta \mid \eta ,y)p(\eta \mid y)\;d\eta =\int {\frac {p(y\mid) \theta )p(\theta \mid \eta )}{p(y\mid \eta )}}p(\eta \orta y)\;d\eta \,,}$

ve integraldeki terim sırayla şu şekilde ifade edilebilir:

${\displaystyle p(\eta\orta y)=\int p(\eta\mid \theta )p(\teta\orta y)\;d\teta.}$

Bunlar , art arda iyileştirilmiş yaklaşımları geliştirmek için yapı olarak bir Gibbs örnekleyicisine niteliksel olarak benzeyen yinelemeli bir şema önerir ve . İlk olarak, bağımlılığı tamamen yok saymak için bir başlangıç ​​tahmini hesaplayın ; daha sonra başlangıç ​​yaklaşık dağılımına dayalı olarak bir yaklaşım hesaplayın ; daha sonra yaklaşıklığı güncellemek için bunu kullanın ; sonra güncelle ; ve benzeri. ${\displaystyle p(\theta \orta y)\;}$${\displaystyle p(\eta \orta y)\;}$${\displaystyle p(\theta \orta y)\;}$${\görüntüleme stili \eta }$${\displaystyle p(\eta \orta y)\;}$${\displaystyle p(\theta \orta y)\;}$${\displaystyle p(\eta \orta y)\;}$${\displaystyle p(\theta \orta y)\;}$${\displaystyle p(\eta \orta y)\;}$

Gerçek dağılım keskin bir şekilde zirveye ulaştığında, olasılık dağılımını , dağılımın zirvesini (veya alternatif olarak, ortalamasını) temsil eden bir nokta tahmini ile değiştirerek , integral belirleme çok fazla değişmeyebilir , ${\displaystyle p(\eta \orta y)\;}$${\displaystyle p(\theta \orta y)\;}$${\görüntüleme stili \eta \;}$${\görüntüleme stili \eta ^{*}\;}$

${\displaystyle p(\theta \orta y)\simeq {\frac {p(y\mid \theta )\;p(\theta \mid \eta ^{*})}{p(y\orta \eta ^ {*})}}\,.}$

Bu yaklaşımla, yukarıdaki yinelemeli şema EM algoritması olur .

"Ampirik Bayes" terimi, çok çeşitli yöntemleri kapsayabilir, ancak çoğu, yukarıdaki şemanın veya buna benzer bir şeyin erken kesilmesi olarak kabul edilebilir. Parametre(ler) için tipik olarak tüm dağılım yerine nokta tahminleri kullanılır . için tahminler tipik olarak ilk yaklaşımdan sonraki iyileştirmeye kadar yapılır. Bu tahminler genellikle için uygun bir ön dağılım göz önüne alınmadan yapılır . ${\görüntüleme stili \eta \;}$${\görüntüleme stili \eta ^{*}\;}$${\displaystyle p(\theta \orta y)\;}$${\görüntüleme stili \eta ^{*}\;}$${\görüntüleme stili \eta }$

Puan tahmini

Robbins yöntemi: parametrik olmayan ampirik Bayes (NPEB)

Robbins , her biri için olasılığın (koşullu ) bir Poisson dağılımı ile belirlendiği bir karma dağılımdan örnekleme durumu olarak değerlendirdi , ${\görüntüleme stili y_{i}}$${\ Displaystyle \ theta _ {i}}$

${\displaystyle p(y_{i}\mid \theta _{i})={{\theta _{i}}^{y_{i}}e^{-\theta _{i}} \over {y_ {ben}}!}}$

θ üzerindeki öncel belirtilmemişken , kümülatif dağılım fonksiyonuyla birlikte bilinmeyen bir dağılımdan da iid olması dışında . Bileşik örnekleme, kaza oranları ve klinik deneyler gibi çeşitli istatistiksel tahmin problemlerinde ortaya çıkar. Biz sadece gözlenen tüm veriler için bir nokta tahmini arıyoruz . Öncül belirtilmediği için, bunu G bilgisi olmadan yapmaya çalışıyoruz . ${\görüntüleme stili G(\teta )}$${\ Displaystyle \ theta _ {i}}$

Kare hata kaybı (SEL) altında , koşullu beklenti E( θ _i  |  Y _i  =  y _i ) tahmin için kullanmak için makul bir miktardır. Poisson bileşik örnekleme modeli için bu miktar

${\displaystyle \operatöradı {E} (\theta _{i}\mid y_{i})={\int (\theta ^{y_{i}+1}e^{-\theta }/{y_{i }}!)\,dG(\theta ) \over {\int (\theta ^{y_{i}}e^{-\theta }/{y_{i}}!)\,dG(\theta }) }.}$

Bu, ifadeyi ile çarparak basitleştirilebilir , ${\displaystyle ({y_{i}}+1)/({y_{i}}+1)}$

${\displaystyle \operatöradı {E} (\theta _{i}\mid y_{i})={{(y_{i}+1)p_{G}(y_{i}+1)} \over {p_ {G}(y_{i})}},}$

burada p _G üzerinden entegre ile elde edilen marjinal dağılımı İçeride ISTV melerin RWMAIWi'nin fazla G .

Bundan yararlanmak için, Robbins, marjinalleri ampirik frekanslarıyla tahmin etmeyi önerdi ve tamamen parametrik olmayan tahmini şu şekilde verdi:

${\displaystyle \operatöradı {E} (\theta _{i}\orta y_{i})\yaklaşık (y_{i}+1){{\#\{Y_{j}=y_{i}+1\ }} \over {\#\{Y_{j}=y_{i}\}}},}$

burada "sayı" anlamına gelir. (Ayrıca bkz. İyi–Turing frekans tahmini .) ${\görüntüleme stili \#}$

Örnek – Kaza oranları

Bir sigorta şirketinin her müşterisinin bir "kaza oranı" Θ olduğunu ve kazalara karşı sigortalı olduğunu varsayalım; Θ olasılık dağılımı, temel dağılımdır ve bilinmemektedir. Belirli bir zaman diliminde her müşterinin uğradığı kaza sayısı , belirli müşterinin kaza oranına eşit beklenen değere sahip bir Poisson dağılımına sahiptir. Bir müşterinin yaşadığı gerçek kaza sayısı, gözlemlenebilir miktardır. Kaza oranının Θ altında yatan olasılık dağılımını tahmin etmenin kaba bir yolu, belirtilen zaman periyodunda tüm nüfusun 0, 1, 2, 3, ... kazaya maruz kalan üyelerinin oranını, gözlemlenen oranlarda karşılık gelen oran olarak tahmin etmektir. rastgele örneklem. Bunu yaptıktan sonra, örneklemdeki her bir müşterinin kaza oranı tahmin edilmek istenmektedir. Yukarıdaki gibi, temel dönem boyunca gözlemlenen kaza sayısı veriliyken, kaza oranının Θ koşullu beklenen değeri kullanılabilir . Bu nedenle, eğer bir müşteri referans değer döneminde altı kaza geçirirse, o müşterinin tahmini kaza oranı 7 × [7 kaza geçiren numunenin oranı] / [6 kaza geçiren numunenin oranı] olur. Acı insanların oranı eğer Not k kazaları bir işlevi azalıyor k , müşterinin tahmin kaza oranı genellikle kazaların onların gözlenen sayısından daha düşük olacaktır.

Bu büzülme etkisi, ampirik Bayes analizlerinin tipik bir örneğidir.

Parametrik ampirik Bayes

Olabilirlik ve onun önceliği basit parametrik formlar alıyorsa (basit eşlenik önceliklere sahip 1 veya 2 boyutlu olabilirlik fonksiyonları gibi ), o zaman ampirik Bayes problemi, tüm ampirik ölçümler setini kullanarak sadece marjinal ve hiperparametreleri tahmin etmektir . Örneğin, parametrik ampirik Bayes noktası tahmini olarak adlandırılan yaygın bir yaklaşım, maksimum olabilirlik tahminini (MLE) veya hiperparametreleri ampirik ortalama ve varyans cinsinden ifade etmeye izin veren Momentler genişletmesini kullanarak marjinali yaklaşık olarak tahmin etmektir. Bu basitleştirilmiş marjinal, ampirik ortalamaların önceki için bir nokta tahminine eklenmesine izin verir . Öncül için elde edilen denklem , aşağıda gösterildiği gibi büyük ölçüde basitleştirilmiştir. ${\görüntüleme stili m(y\orta \eta )}$${\görüntüleme stili \eta }$${\görüntüleme stili \eta }$${\görüntüleme stili \teta}$${\görüntüleme stili \teta}$

Dahil olmak üzere birçok ortak parametrik ampirik Bayes model vardır Poisson gama modeli (aşağıda), beta-binom modeli , Gauss-Gauss modeli , Dirichlet-çokterimli modeli için, hem de belirli bir model regresyon doğrusal Bayesian (aşağıya bakınız) ve Bayes çok değişkenli doğrusal regresyon . Daha gelişmiş yaklaşımlar arasında hiyerarşik Bayes modelleri ve Bayes karışım modelleri bulunur .

Gauss-Gauss modeli

Gauss-Gauss modeli kullanan ampirik Bayes tahmininin bir örneği için, bkz. Ampirik Bayes tahmin edicileri .

Poisson-gama modeli

Örneğin, yukarıdaki örnekte, olabilirliğin bir Poisson dağılımı olmasına izin verin ve önceliğin şimdi bir gama dağılımı ( ) olan eşlenik ile belirtilmesine izin verin ( ) (burada ): ${\ Displaystyle G(\alpha ,\beta )}$${\displaystyle \eta =(\alpha ,\beta )}$

${\displaystyle \rho (\theta \mid \alpha ,\beta )={\frac {\theta ^{\alpha -1}\,e^{-\theta /\beta }}{\beta ^{\alpha }\Gamma (\alpha )}}\ \mathrm {for} \ \theta >0,\alpha >0,\beta >0\,\!.}$

Posteriorun da bir gama dağılımı olduğunu göstermek kolaydır . Yazmak

${\displaystyle \rho (\teta\orta y)\propto \rho (y\orta \teta)\rho (\theta\mid \alpha ,\beta),}$

burada açıkça bağlı olmadığı için marjinal dağılım ihmal edilmiştir . Bağlı olan genişleyen terimler , arkayı şu şekilde verir: ${\görüntüleme stili \teta}$${\görüntüleme stili \teta}$

${\displaystyle \rho (\theta \mid y)\propto (\theta ^{y}\,e^{-\theta })(\theta ^{\alpha -1}\,e^{-\theta / \beta })=\teta ^{y+\alpha -1}\,e^{-\theta (1+1/\beta )}.}$

Böylece arka yoğunluk aynı zamanda bir gama dağılımıdır , burada ve . Ayrıca, marjinalin basitçe arkanın tümünün integrali olduğuna dikkat edin , bu da negatif bir binom dağılımı olduğu ortaya çıkıyor . ${\displaystyle G(\alpha ',\beta ')}$${\displaystyle \alpha '=y+\alpha }$${\displaystyle \beta '=(1+1/\beta )^{-1}}$${\görüntüleme stili \Teta }$

Ampirik Bayes uygulamak için, maksimum olabilirlik tahminini (MLE) kullanarak marjinali yaklaşık olarak hesaplayacağız. Ancak sonsal bir gama dağılımı olduğu için, marjinalin MLE'si, ihtiyacımız olan nokta tahmini olan posteriorun tam ortalaması olur . Ortalama olduğunu hatırlatarak , bir gama dağılımının basitçe , elimizdeki ${\displaystyle \operatöradı {E} (\teta \orta y)}$${\görüntüleme stili \mu }$${\displaystyle G(\alpha ',\beta ')}$${\displaystyle \alpha '\beta '}$

${\displaystyle \operatöradı {E} (\theta \mid y)=\alpha '\beta '={\frac {{\bar {y}}+\alpha }{1+1/\beta }}={\ frac {\beta {1+\beta }}{\bar {y}}+{\frac {1}{1+\beta }}(\alpha \beta ).}$

Değerlerini elde etmek için, ve ortalama tahmin ampirik Bayes belirler ve varyans deneysel verilerin tam seti kullanılarak yapılmıştır. ${\görüntüleme stili \alfa }$${\görüntüleme stili \beta }$${\ Displaystyle \ alfa \ beta }$${\displaystyle \alpha \beta ^{2}}$

Sonuç olarak elde edilen nokta tahmini , bu nedenle, numune ortalamasının ve önceki ortalamanın ağırlıklı ortalaması gibidir . Bu, ampirik Bayes'in genel bir özelliği olarak ortaya çıkıyor; önceki (yani ortalama) nokta tahminleri, örnek tahminin ve önceki tahminin (aynı şekilde varyans tahminleri için) ağırlıklı ortalamaları gibi görünecektir. ${\displaystyle \operatöradı {E} (\teta \orta y)}$${\görüntüleme stili {\bar {y}}}$${\displaystyle \mu =\alfa \beta }$

Ayrıca bakınız

• Bayes tahmincisi
• Bayes ağı
• hiperparametre
• hiperprior
• En iyi doğrusal tarafsız tahmin
• robbins lemması
• Spike-and-slab değişken seçimi

Referanslar

daha fazla okuma

• Peter E. Rossi; Greg M. Allenby; Rob McCulloch (14 Mayıs 2012). Bayes İstatistik ve Pazarlama . John Wiley ve Oğulları. ISBN'si 978-0-470-86368-8.
• Casella, George (Mayıs 1985). "Ampirik Bayes Veri Analizine Giriş" (PDF) . Amerikan İstatistikçisi . 39 (2): 83-87. doi : 10.2307/2682801 . hdl : 1813/32886 . JSTOR  2682801 . MR  0789118 .
• Nikulin, Mihail (1987). "Bir ampirik Bayes yaklaşımı probleminde Bernstein'ın düzenlilik koşulları". Sovyet Matematik Dergisi . 36 (5): 596–600. doi : 10.1007/BF01093293 . S2CID  122405908 .

Dış bağlantılar

• Yol güvenliğini tahmin etmede ampirik Bayes Yönteminin kullanımı (Kuzey Amerika)
• Eksik veri analizi için ampirik Bayes yöntemleri
• Biyometrik tanımlama cihazının performansını değerlendirmek için Beta-Binom dağılımını kullanma
• Hiyerarşik Naive Bayes Sınıflandırıcıları (sürekli ve ayrık değişkenler için).