Arka öngörücü dağılım - Posterior predictive distribution

Bir serinin parçası
Bayes istatistikleri
teori
Kabul edilebilir karar kuralı Bayes verimliliği Bayesci epistemoloji Bayes olasılığı Olasılık yorumları Bayes teoremi Bayes faktörü Bayes çıkarımı Bayes ağı Önceki arka Olasılık önceki konjuge Arka öngörücü hiperparametre hiperprior kayıtsızlık ilkesi Maksimum entropi ilkesi Ampirik Bayes yöntemi Cromwell'in kuralı Bernstein-von Mises teoremi Schwarz kriteri Güvenilir aralık Maksimum a posteriori tahmin radikal olasılık
Teknikler
Bayes doğrusal regresyon Bayes tahmincisi Yaklaşık Bayes hesaplaması Markov zinciri Monte Carlo
matematik portalı
v T e

In Bayesian İstatistik , arka öngörü dağıtım gözlenen değerler üzerinde koşullu olası gözlenmeyen değerlerin dağıtımıdır.

Bir dizi N i.id gözlemi verildiğinde, bir parametreye bağlı olan bir dağılımdan yeni bir değer çekilecektir : ${\displaystyle \mathbf {X} =\{x_{1},\dots ,x_{N}\}}$${\görüntüleme stili {\tilde {x}}}$${\ Displaystyle \ theta \in \Theta }$

${\displaystyle p({\tilde {x}}|\theta )}$

Tek iyi tahminine takmak için cazip görünebilir için , ama yaklaşık bu yoksaydıklarınız belirsizlik ve belirsizlik kaynağı göz ardı edilir, çünkü öngörü dağıtım daraltmak çok edilecektir. Başka bir deyişle, uç değerlerin tahminleri, sonsal dağılımları tarafından verilen parametrelerdeki belirsizliğin hesaba katılmasından daha düşük bir olasılığa sahip olacaktır. ${\ Displaystyle {\ şapka {\ teta }}}$${\görüntüleme stili \teta}$${\görüntüleme stili \teta}$${\görüntüleme stili {\tilde {x}}}$

Bir posterior tahmine dayalı dağılım, hakkındaki belirsizliği açıklar . Olası değerlerin sonsal dağılımı şunlara bağlıdır : ${\görüntüleme stili \teta}$${\görüntüleme stili \teta}$${\görüntüleme stili \mathbf {X} }$

${\displaystyle p(\theta |\mathbf {X} )}$

Ve arka öngörü dağılımı verilen hesaplanır marjinalleştiren dağılımını verilen arka dağıtımı konusunda verilen : ${\görüntüleme stili {\tilde {x}}}$${\görüntüleme stili \mathbf {X} }$${\görüntüleme stili {\tilde {x}}}$${\görüntüleme stili \teta}$${\görüntüleme stili \teta}$${\görüntüleme stili \mathbf {X} }$

${\displaystyle p({\tilde {x}}|\mathbf {X} )=\int _{\Theta }p({\tilde {x}}|\theta ,\mathbf {X} )\,p( \theta |\mathbf {X} )\operatöradı {d} \!\theta }$

Hakkındaki belirsizliği hesaba kattığı için , sonsal tahmine dayalı dağılım, genel olarak, için tek bir en iyi tahminde bulunan bir tahmine dayalı dağılımdan daha geniş olacaktır . ${\görüntüleme stili \teta}$${\görüntüleme stili \teta}$

Önceki ve sonraki tahmine dayalı dağılım

Önceden tahmini dağılımı , Bayesian bağlamda, onun önceden dağılımı üzerinde marjinal bir veri noktası dağılımıdır. Diğer bir deyişle, eğer ve , o zaman önceki tahmine dayalı dağılım karşılık gelen dağılımdır , burada ${\displaystyle {\tilde {x}}\sim F({\tilde {x}}|\theta )}$${\displaystyle \teta\sim G(\teta |\alfa )}$${\displaystyle H({\tilde {x}}|\alpha )}$

${\displaystyle p_{H}({\tilde {x}}|\alpha )=\int _{\theta }p_{F}({\tilde {x}}|\theta )\,p_{G}( \theta |\alpha )\operatöradı {d} \!\theta }$

Bu, marjinalleştirmenin (veya eşdeğer olarak beklentinin) sonsal dağılım yerine önceki dağılıma göre alınması dışında, sonsal tahmin dağılımına benzer.

Ayrıca, önceki dağılım bir eşlenik önce ise , o zaman sonsal tahmine dayalı dağılım, önceki tahmine dayalı dağılımla aynı dağılım ailesine ait olacaktır. Bunu görmek kolaydır. Önceki dağılım eşlenik ise, o zaman ${\displaystyle G(\theta |\alpha )}$${\displaystyle G(\theta |\alpha )}$

${\displaystyle p(\theta |\mathbf {X} ,\alpha )=p_{G}(\theta |\alpha '),}$

yani sonsal dağılım da aittir, ancak sadece orijinal parametre yerine farklı bir parametre ile O zaman, ${\displaystyle G(\theta |\alpha ),}$${\görüntüleme stili \alfa '}$${\görüntüleme stili \alfa .}$

${\displaystyle {\begin{hizalanmış}p({\tilde {x}}|\mathbf {X} ,\alpha )&=\int _{\theta}p_{F}({\tilde {x}}| \theta )\,p(\theta |\mathbf {X} ,\alpha )\operatör adı {d} \!\theta \\&=\int _{\theta }p_{F}({\tilde {x} }|\theta )\,p_{G}(\theta |\alpha ')\operatöradı {d} \!\theta \\&=p_{H}({\tilde {x}}|\alpha ')\ bitiş{hizalı}}}$

Bu nedenle, sonsal öngörücü dağılım , önceki öngörücü dağılımla aynı H dağılımını takip eder , ancak hiperparametrelerin sonsal değerleri öncekilerin yerine geçmiştir.

Önceki tahmine dayalı dağılım, bir bileşik dağılım biçimindedir ve aslında, verilere bağımlılık ve eşleniklik sorunu gibi herhangi bir karmaşık faktörün olmaması nedeniyle , genellikle bir bileşik dağılımı tanımlamak için kullanılır . Örneğin, Student t-dağılımı olabilir tanımlanmış bir önceden tahmini dağılımı normal dağılım bilinen olan ortalama ^ ı fakat bilinmeyen varyans σ _x ² bir eşleniği ile, önceden ölçekli ters-ki-kare dağılımı yerleştirilen σ _x ² ile hiperparametreler ν ve σ ² . Ortaya çıkan bileşik dağılım gerçekten de standartlaştırılmamış bir Student t-dağılımıdır ve bu dağılımın en yaygın iki parametreleştirmesinden birini takip eder. Ardından, karşılık gelen sonsal öngörü dağılımı yine Öğrenci'nin t'si olacaktır ve sonsal dağılımda görünen güncellenmiş hiperparametreler aynı zamanda doğrudan sonsal öngörü dağılımında da görünür. ${\görüntüleme stili \mathbf {X} }$ ${\displaystyle t(x|\mu ,\nu ,\sigma ^{2})}$${\displaystyle \nu ',{\sigma ^{2}}'}$

Bazı durumlarda, uygun bileşik dağılımı, mevcut problemdeki tahmin dağılımları için en doğal olandan farklı bir parametreleştirme kullanılarak tanımlanır. Çoğu zaman bu, bileşik dağılımı tanımlamak için kullanılan önceki dağılımın mevcut problemde kullanılandan farklı olması nedeniyle ortaya çıkar. Örneğin, yukarıda belirtildiği gibi, Student'ın t-dağılımı , varyansa yerleştirilen ölçekli-ters-ki-kare dağılımı açısından tanımlandı . Bununla birlikte, bu durumda önceki eşlenik olarak bir ters gama dağılımının kullanılması daha yaygındır . İkisi aslında parametreleştirme dışında eşdeğerdir; bu nedenle, Student'ın t-dağılımı, her iki tahmine dayalı dağıtım için de kullanılabilir, ancak hiperparametreler, takılmadan önce yeniden parametrelendirilmelidir.

üstel ailelerde

Ortak dağılım ailelerinin tümü olmasa da çoğu, üstel dağılım ailesine aittir . Üstel ailelerin çok sayıda yararlı özelliği vardır. Bunlardan biri, tüm üyelerin eşlenik ön dağılımlara sahip olmasıdır - oysa çok az sayıda diğer dağılımların eşlenik önceliği vardır.

Üstel ailelerde önceden tahmine dayalı dağılım

Yararlı başka bir özelliği olduğunu olasılık yoğunluk fonksiyonu ait bileşik dağılımı , bir önceden tahmini dağılımına karşılık gelen üstel aile dağılımı marjinal onun üzerinde eşlenik önce dağıtım analitik olarak belirlenebilir. Doğal parametreye göre parametrelendirilen ve şu şekilde dağıtılan parametreli üstel ailenin bir üyesi olduğunu varsayalım.${\displaystyle F(x|{\boldsymbol {\theta }})}$${\ Displaystyle {\boldsymbol {\ teta }}}$ ${\displaystyle {\boldsymbol {\eta }}={\boldsymbol {\eta }}({\boldsymbol {\theta }})}$

${\displaystyle p_{F}(x|{\boldsymbol {\eta }})=h(x)g({\boldsymbol {\eta }})e^{{\boldsymbol {\eta }}^{\rm {T}}\mathbf {T} (x)}}$

iken uygun konjugat önce, dağıtılır ${\displaystyle G({\boldsymbol {\eta }}|{\boldsymbol {\chi }},\nu )}$

${\displaystyle p_{G}({\boldsymbol {\eta }}|{\boldsymbol {\chi }},\nu )=f({\boldsymbol {\chi }},\nu )g({\boldsymbol { \eta }})^{\nu }e^{{\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }}}}$

Daha sonra önceden tahmini dağılımı (bileşik sonucu ile ) olduğu ${\görüntüleme stili H}$${\görüntüleme stili F}$${\görüntüleme stili G}$

${\displaystyle {\begin{aligned}p_{H}(x|{\boldsymbol {\chi }},\nu )&={\displaystyle \int \limits _{\boldsymbol {\eta }}p_{F} (x|{\boldsymbol {\eta }})p_{G}({\boldsymbol {\eta }}|{\boldsymbol {\chi }},\nu )\,\operatöradı {d} {\boldsymbol {\ eta }}}\\&={\displaystyle \int \limits _{\boldsymbol {\eta }}h(x)g({\boldsymbol {\eta }})e^{{\boldsymbol {\eta }} ^{\rm {T}}\mathbf {T} (x)}f({\boldsymbol {\chi }},\nu )g({\boldsymbol {\eta }})^{\nu }e^{ {\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }}}\,\operatöradı {d} {\boldsymbol {\eta }}}\\&={\displaystyle h( x)f({\boldsymbol {\chi }},\nu )\int \limits _{\boldsymbol {\eta }}g({\boldsymbol {\eta }})^{\nu +1}e^{ {\boldsymbol {\eta }}^{\rm {T}}({\boldsymbol {\chi }}+\mathbf {T} (x))}\,\operatöradı {d} {\boldsymbol {\eta } }}\\&=h(x){\dfrac {f({\boldsymbol {\chi }},\nu )}{f({\boldsymbol {\chi }}+\mathbf {T} (x), \nu +1)}}\end{hizalanmış}}}$

Son satır, integral içindeki fonksiyonun , normalleştirme fonksiyonu hariç, olarak dağıtılan bir rasgele değişkenin yoğunluk fonksiyonu olduğunu kabul ederek bir öncekini takip eder . Dolayısıyla, entegrasyonun sonucu normalleştirme fonksiyonunun tersi olacaktır. ${\displaystyle G({\boldsymbol {\eta }}|{\boldsymbol {\chi }}+\mathbf {T} (x),\nu +1)}$${\ Displaystyle f(\dots )\,}$

Yukarıdaki sonuç para- seçimi bağımsızdır hiçbirinin, , ve görünmeden. ( Parametrenin bir fonksiyonudur ve dolayısıyla parametrelemesine seçimine bağlı olarak farklı biçimler üstlenecek.) Standart seçenekleri için ve bunun bakımından olağan parametreler yerine yazılıºta doğrudan çalışma genellikle daha kolaydır, doğal parametreler . ${\ Displaystyle {\boldsymbol {\ teta }}}$${\ Displaystyle {\boldsymbol {\ teta }}}$${\displaystyle {\boldsymbol {\eta }}}$${\ Displaystyle g(\dots )\,}$${\ Displaystyle g(\dots )\,}$${\görüntüleme stili F}$${\görüntüleme stili G}$

İntegralin izlenebilir olmasının nedeni, bir önceki dağılımın ve bir olasılığın çarpımı tarafından tanımlanan bir yoğunluğun normalizasyon sabitinin hesaplanmasını içermesidir . İkisi eşlenik olduğunda, ürün bir sonsal dağılımdır ve varsayımla, bu dağılımın normalizasyon sabiti bilinir. Yukarıda gösterildiği gibi, bileşik dağılımın yoğunluk fonksiyonu , için yoğunluk fonksiyonunun bir parçasını oluşturan fonksiyonun çarpımından oluşan özel bir formu takip eder ve biri için bir "sabit" normalleştirmesinin iki formunun bölümü ile bir önceki dağıtım ve diğeri bir sonraki dağıtımdan. Beta-binom dağılımı bu sürecin nasıl çalıştığını iyi bir örnektir. ${\görüntüleme stili h(x)}$${\görüntüleme stili F}$${\görüntüleme stili G}$

Bu tür dağılımların analitik izlenebilirliğine rağmen, kendi içlerinde genellikle üstel ailenin üyeleri değildirler . Örneğin, üç parametreli Student t dağılımı , beta-binom dağılımı ve Dirichlet-çok terimli dağılımının tümü üstel aile dağılımlarının ( sırasıyla normal dağılım , binom dağılımı ve çok terimli dağılımlar ) tahmine dayalı dağılımlarıdır , ancak hiçbiri üstel dağılımın üyeleri değildir. aile. Bu, işlevsel bağımlılığın varlığından dolayı yukarıda görülebilir . Üstel aile dağılımında, tüm yoğunluk fonksiyonunu üç tip çarpımsal faktöre ayırmak mümkün olmalıdır: (1) sadece değişkenleri içeren faktörler, (2) sadece parametreleri içeren faktörler ve (3) logaritması değişkenler arasında çarpanlara ayrılan faktörler ve parametreler. "Normalleştirme" işlevi , karşılık gelen argümanı tamamen görmezden gelmedikçe veya onu yalnızca bir ifadenin üssünde kullanmadıkça, öğesinin varlığı bunu imkansız kılar . ${\displaystyle {\boldsymbol {\chi }}+\mathbf {T} (x)}$${\displaystyle {\boldsymbol {\chi }}+\mathbf {T} (x){\chi }}$${\ Displaystyle f(\dots )\,}$

Üstel ailelerde arka öngörücü dağılım

Bir önceki eşlenik kullanıldığında, sonsal tahmine dayalı dağılım, önceki tahmine dayalı dağılımla aynı aileye aittir ve basitçe, parametre(ler)in sonsal dağılımı için güncellenmiş hiperparametreleri önceki tahmine dayalı dağılım için formüle takarak belirlenir. . Üstel aile dağılımları için sonsal güncelleme denklemlerinin genel biçimini kullanarak ( üstel aile makalesindeki uygun bölüme bakın ), sonsal tahmin dağılımı için açık bir formül yazabiliriz:

${\displaystyle {\begin{array}{lcl}p({\tilde {x}}|\mathbf {X} ,{\boldsymbol {\chi }},\nu )&=&p_{H}\left({ \tilde {x}}|{\boldsymbol {\chi }}+\mathbf {T} (\mathbf {X} ),\nu +N\sağ)\end{dizi}}}$

nerede

${\displaystyle \mathbf {T} (\mathbf {X} )=\sum _{i=1}^{N}\mathbf {T} (x_{i})}$

Bu, gözlemlerin önceden uygun eşlenik ile üstel bir aileyi takip etmesi durumunda, bir dizi gözlemin sonsal öngörü dağılımının, yukarıda belirtilen parametrelerle bileşik dağılımı ile aynı olasılık yoğunluğuna sahip olduğunu gösterir. Gözlemlerin kendileri yalnızca forma girer ${\displaystyle \mathbf {T} (\mathbf {X} )=\sum _{i=1}^{N}\mathbf {T} (x_{i}).}$

Bu, gözlemlerin yeterli istatistiği olarak adlandırılır , çünkü bize gözlemlere dayalı bir sonsal veya sonsal tahmin dağılımı hesaplamak için gözlemler hakkında bilmemiz gereken her şeyi söyler (veya bu konuda, olasılığına dayalı başka herhangi bir şey) . marjinal olasılık gibi gözlemler ).

Ortak tahmine dayalı dağılım, marjinal olasılık

Aynı zamanda, sabit sayıda bağımsız, aynı şekilde dağılmış numuneler üzerinde ortak bir dağılımın birleştirilmesinin sonucunu, paylaşılan bir parametre üzerinden önceden bir dağılımla düşünmek de mümkündür . Bir Bayes ortamında, bu çeşitli bağlamlarda ortaya çıkar: birden fazla yeni gözlemin önceki veya sonraki tahmin dağılımını hesaplamak ve gözlemlenen verilerin marjinal olasılığını hesaplamak ( Bayes yasasındaki payda ). Örneklerin dağılımı üstel aileden olduğunda ve önceki dağılım eşlenik olduğunda, elde edilen bileşik dağılımı izlenebilir olacak ve yukarıdaki ifadeye benzer bir formu izleyecektir. Aslında, gözlemler için bir kümenin birleşik bileşik dağılımının olduğunu göstermek kolaydır.${\displaystyle \mathbf {X} =\{x_{1},\dots ,x_{N}\}}$${\görüntüleme stili N}$

${\displaystyle p_{H}(\mathbf {X} |{\boldsymbol {\chi }},\nu )=\left(\prod _{i=1}^{N}h(x_{i})\ sağ){\dfrac {f({\boldsymbol {\chi }},\nu )}{f\left({\boldsymbol {\chi }}+\mathbf {T} (\mathbf {X} ),\nu +N\sağ)}}}$

Bu sonuç ve tek bir bileşik dağılımı için yukarıdaki sonuç, çok değişkenli bir Gauss dağılımı gibi vektör değerli bir gözlem üzerindeki bir dağılım durumuna önemsiz bir şekilde uzanır .

Gibbs örneklemesi ile ilişkisi

Bir bir düğüm üzerinden Çöken çöktü Gibbs numune eşdeğerdir birleştirme . Sonuç olarak, bir dizi bağımsız özdeş olarak dağıtılmış (iid) düğümün tümü aynı önceki düğüme bağlı olduğunda ve bu düğüm çöktüğünde , bir düğümün ortaya çıkan koşullu olasılığı , daraltılmış düğümün üst öğelerinin yanı sıra diğerlerine verilen bir düğümün koşullu olasılığıdır . düğüm (ancak diğer düğümlerde, örneğin herhangi bir alt düğümde koşullandırma değil), kalan tüm iid düğümlerinin (veya daha doğrusu, daha önce iid düğümlerinin çökmesi, düğümler arasında bağımlılıklar ortaya çıkardığından) sonsal öngörücü dağılımı ile aynıdır. Diğer bir deyişle, bir düğümün tüm ebeveynlerini doğrudan tüm çocuklara bağlayarak ve her çocukla ilişkili önceki koşullu olasılık dağılımını, kendi koşuluna bağlı olan çocuk için karşılık gelen sonsal tahmin dağılımıyla değiştirerek bir düğümden çökmeyi uygulamak genellikle mümkündür. ebeveynler ve aynı zamanda kaldırılan düğümün çocukları olan diğer eski iid düğümleri. Bir örnek için, daha spesifik bir tartışma ve bazı zor konular hakkında bazı uyarılar için Dirichlet-çok terimli dağıtım makalesine bakın.

Ayrıca bakınız

• Bileşik olasılık dağılımı
• marjinal olasılık
• Tahmin aralığı#Bayes istatistikleri

Referanslar