Kabul edilebilir karar kuralı - Admissible decision rule

Bir serinin parçası
Bayes istatistikleri
teori
Kabul edilebilir karar kuralı Bayes verimliliği Bayesci epistemoloji Bayes olasılığı Olasılık yorumları Bayes teoremi Bayes faktörü Bayes çıkarımı Bayes ağı Önceki arka Olasılık önceki konjuge Arka öngörücü hiperparametre hiperprior kayıtsızlık ilkesi Maksimum entropi ilkesi Ampirik Bayes yöntemi Cromwell'in kuralı Bernstein-von Mises teoremi Schwarz kriteri Güvenilir aralık Maksimum a posteriori tahmin radikal olasılık
Teknikler
Bayes doğrusal regresyon Bayes tahmincisi Yaklaşık Bayes hesaplaması Markov zinciri Monte Carlo
matematik portalı
v T e

Gelen istatistiksel karar teorisi , bir kabul edilebilir karar kuralı bir olan bir karar için kural "daha iyi" kesin anlamda, (bazen daha iyi ve asla kötü en azından ya) buna daima daha "iyi" dir başka hiçbir kural var, öyle ki aşağıda tanımlanmıştır. Bu kavram Pareto verimliliğine benzer .

Tanım

Define setleri , ve nerede, doğanın devletler olan olası gözlemler ve alınabilir eylemler. Bir gözlem dağıtılır ve bu nedenle doğanın durumu hakkında kanıt sağlar . Bir karar verme kuralını bir olan fonksiyon gözlenmesi üzerine , biz işlem başlatmayı tercih . ${\görüntüleme stili \Teta\,}$${\görüntüleme stili {\matematiksel {X}}}$${\görüntüleme stili {\matematiksel {A}}}$${\görüntüleme stili \Teta\,}$${\görüntüleme stili {\matematiksel {X}}}$${\görüntüleme stili {\matematiksel {A}}}$${\displaystyle x\in {\matematiksel {X}}\,\!}$${\displaystyle F(x\mid \theta )\,\!}$${\ekran stili \teta \in \Teta\,\!}$ ${\displaystyle \delta :{\mathcal {X}}\rightarrow {\mathcal {A}}}$${\displaystyle x\in {\matematiksel {X}}}$${\displaystyle \delta (x)\in {\mathcal {A}}\,\!}$

Ayrıca , gerçek doğa durumu böyleyken harekete geçerek maruz kalacağımız kaybı belirten bir kayıp işlevi tanımlayın . Genellikle bu eylemi verileri gözlemledikten sonra yaparız , böylece kayıp olur . (Aşağıdaki tanımları , kaybın negatifi olan bir fayda fonksiyonu açısından yeniden biçimlendirmek alışılmadık olsa da mümkündür .) ${\displaystyle L:\Theta \times {\mathcal {A}}\rightarrow \mathbb {R} }$${\ Displaystyle a\in {\Mathcal {A}}}$${\ Displaystyle \ theta \in \Theta }$${\displaystyle x\in {\matematiksel {X}}}$${\displaystyle L(\theta ,\delta (x))\,\!}$

Risk fonksiyonunu beklenti olarak tanımlayın

${\displaystyle R(\theta ,\delta )=\operatöradı {E} _{F(x\mid \theta )}[{L(\theta ,\delta (x))]}.\,\!}$

Bir karar kuralının düşük riskli olup olmadığı gerçek doğa durumuna bağlıdır . Bir karar kuralı hakim bir karar kuralı ve ancak eğer herkes için , ve eşitsizlik olduğu sıkı bazıları için . ${\görüntüleme stili \delta \,\!}$${\görüntüleme stili \teta\,\!}$${\görüntüleme stili \delta ^{*}\,\!}$ ${\görüntüleme stili \delta \,\!}$${\displaystyle R(\teta ,\delta ^{*})\leq R(\teta ,\delta )}$${\görüntüleme stili \teta\,\!}$${\görüntüleme stili \teta\,\!}$

Bir karar kuralı (kayıp işleviyle ilgili olarak) ancak ve ancak başka hiçbir kural ona hakim değilse kabul edilebilir ; aksi takdirde kabul edilemez . Bu nedenle, kabul edilebilir bir karar kuralı, yukarıdaki kısmi sıraya göre maksimum bir unsurdur . Kabul edilemez bir kural tercih edilmez (basitlik veya hesaplama verimliliği nedenleri dışında), çünkü tanım gereği herkes için eşit veya daha düşük risk elde edecek başka bir kural vardır . Ancak bir kuralın kabul edilebilir olması, kullanılmasının iyi bir kural olduğu anlamına gelmez. Kabul edilebilir olmak, her zaman daha iyi veya daha iyi olan başka tek bir kuralın olmadığı anlamına gelir - ancak diğer kabul edilebilir kurallar , uygulamada meydana gelen çoğu için daha düşük risk sağlayabilir . (Aşağıda tartışılan Bayes riski , uygulamada meydana gelenleri açıkça değerlendirmenin bir yoludur .) ${\görüntüleme stili \teta\,\!}$${\görüntüleme stili \delta \,\!}$${\görüntüleme stili \teta\,\!}$${\görüntüleme stili \teta\,\!}$

Bayes kuralları ve genelleştirilmiş Bayes kuralları

Bayes kuralları

Doğa durumları üzerinde bir olasılık dağılımı olsun . Bir itibaren Bayes bakış açısından, bir olarak kabul ediyorum dağıtımdan önce . Yani, verileri gözlemlemeden önce, doğa durumları üzerindeki inandığımız olasılık dağılımıdır. Bir frekansçı için , böyle özel bir yorumu olmayan yalnızca bir işlevdir . Bayes riski karar kuralının göre beklentisidir ${\displaystyle \pi (\theta )\,\!}$${\görüntüleme stili \Teta \,\!}$${\görüntüleme stili \delta \,\!}$${\displaystyle \pi (\theta )\,\!}$

${\displaystyle r(\pi ,\delta )=\operatöradı {E} _{\pi (\teta )}[R(\theta ,\delta )].\,\!}$

Bir karar kuralı en aza indirir o bir denir Bayes kuralı ile ilgili olarak . Böyle birden fazla Bayes kuralı olabilir. Bayes riski herkes için sonsuz ise , o zaman hiçbir Bayes kuralı tanımlanmaz. ${\görüntüleme stili \delta \,\!}$${\görüntüleme stili r(\pi ,\delta )\,\!}$${\displaystyle \pi (\theta )\,\!}$${\görüntüleme stili \delta \,\!}$

Genelleştirilmiş Bayes kuralları

Karar teorisine Bayes yaklaşımında, gözlemlenen sabit kabul edilir . Sıklıkçı yaklaşım (yani risk) olası örnekler üzerinden ortalama alırken, Bayesci gözlemlenen örneği ve hipotezler üzerinden ortalamayı sabitleyecektir . Bu nedenle, Bayes yaklaşımı, gözlemlediğimiz beklenen kayıp için dikkate almaktır .${\görüntüleme stili x\,\!}$${\displaystyle x\in {\matematiksel {X}}\,\!}$${\görüntüleme stili x\,\!}$${\ekran stili \teta \in \Teta\,\!}$${\görüntüleme stili x\,\!}$

${\displaystyle \rho (\pi ,\delta \mid x)=\operatör adı {E} _{\pi (\theta \mid x)}[L(\theta ,\delta (x))].\,\ !}$

beklenti üzerinde olduğu arka arasında verilen (elde edilen ve kullanılarak Bayes teoremi ). ${\görüntüleme stili \teta\,\!}$${\görüntüleme stili x\,\!}$${\displaystyle \pi (\theta )\,\!}$${\displaystyle F(x\mid \theta )\,\!}$

Her biri için ayrı ayrı beklenen kaybı açıkladıktan sonra, her biri için beklenen kaybı en aza indiren bir eylem belirleyerek bir karar kuralı tanımlayabiliriz . Bu, ile ilgili olarak genelleştirilmiş bir Bayes kuralı olarak bilinir . Aynı beklenen kaybı sağlayan birden fazla seçenek olabileceğinden, birden fazla genelleştirilmiş Bayes kuralı olabilir . ${\görüntüleme stili x\,\!}$${\görüntüleme stili \delta \,\!}$${\görüntüleme stili x\,\!}$${\görüntüleme stili \delta (x)\,\!}$${\displaystyle \pi (\theta )\,\!}$${\görüntüleme stili \delta (x)\,\!}$

İlk başta, bu bir genelleme değil, önceki bölümdeki Bayes kuralı yaklaşımından oldukça farklı görünebilir. Bununla birlikte, Bayes riskinin Bayes tarzında zaten ortalamanın üzerinde olduğuna ve Bayes riskinin , beklenen zararın (nerede ve ) üzerindeki beklenti olarak geri kazanılabileceğine dikkat edin . Kabaca söylemek gerekirse, bu beklenen kayıp beklentisini en aza indirir (yani, bir Bayes kuralıdır), ancak ve ancak her biri için beklenen kaybı ayrı ayrı en aza indirirse (yani, genelleştirilmiş bir Bayes kuralıdır). ${\görüntüleme stili \Teta \,\!}$${\görüntüleme stili {\matematiksel {X}}}$${\displaystyle x\sim \theta\,\!}$${\displaystyle \theta \sim \pi \,\!}$${\görüntüleme stili \delta \,\!}$${\displaystyle x\in {\matematiksel {X}}}$

O zaman neden genelleştirilmiş Bayes kuralı bir gelişmedir? Gerçekten de, bir Bayes kuralının var olduğu ve hepsinin pozitif olasılığa sahip olduğu Bayes kuralı kavramına eşdeğerdir . Ancak, Bayes riski sonsuz ise (herkes için ) Bayes kuralı yoktur . Durumda genelleştirilmiş Bayes kuralı tanımlamak için hala yararlıdır en az asgari beklenenden kaybı eylemi seçer olanlar için sonlu beklenenden kaybı eylem var mıdır hangi. Bir asgari beklenenden kaybı eylem seçmesi gerekir, çünkü ek olarak, genelleştirilmiş Bayes kuralı istenebilir için her bir Bayes kuralı, bir sette bu politika sapma izin verilecek ise Bayes riski etkilemeden tedbir 0. ${\görüntüleme stili x\,\!}$${\görüntüleme stili \delta \,\!}$${\görüntüleme stili \delta \,\!}$${\görüntüleme stili \delta (x)\!\,}$${\görüntüleme stili x\,\!}$${\görüntüleme stili \delta (x)\,\!}$ ${\görüntüleme stili x\,\!}$${\displaystyle X\subseteq {\matematiksel {X}}}$

Daha da önemlisi, bazen uygun olmayan bir ön . Bu durumda, Bayes riski iyi tanımlanmamıştır ve üzerinde iyi tanımlanmış bir dağılım da yoktur . Bununla birlikte, posterior - ve dolayısıyla beklenen kayıp - her biri için iyi tanımlanmış olabilir , böylece genelleştirilmiş bir Bayes kuralı tanımlamak hala mümkündür. ${\displaystyle \pi (\theta )\,\!}$${\görüntüleme stili x\,\!}$${\displaystyle \pi (\theta\mid x)\,\!}$${\görüntüleme stili x\,\!}$

(Genelleştirilmiş) Bayes kurallarının kabul edilebilirliği

Eksiksiz sınıf teoremlerine göre, ılımlı koşullar altında her kabul edilebilir kural bir (genelleştirilmiş) Bayes kuralıdır ( bir önceki -muhtemelen uygun olmayan bir kuralla ilgili olarak, bu kuralın düşük risk sağladığı dağılımları tercih eder). Bu nedenle, frekansçı karar teorisinde sadece (genelleştirilmiş) Bayes kurallarını dikkate almak yeterlidir. ${\displaystyle \pi (\theta )\,\!}$${\görüntüleme stili \teta\,\!}$

Tersine, uygun önceliklere ilişkin Bayes kuralları hemen hemen her zaman kabul edilebilirken, uygun olmayan önceliklere karşılık gelen genelleştirilmiş Bayes kurallarının kabul edilebilir prosedürler sağlaması gerekmez. Stein'ın örneği böyle ünlü bir durumdur.

Örnekler

James-Stein tahmincisi hakim veya daha iyi performans, gösterilebilir Gauss rastgele vektörlerinin ortalama lineer olmayan bir tahmin olup , en küçük kareler ortalama-kare hata kaybı fonksiyonuna göre tekniği. Dolayısıyla en küçük kareler tahmini, bu bağlamda kabul edilebilir bir tahmin prosedürü değildir. Normal dağılımla ilişkili bazı standart tahminler de kabul edilemez: örneğin, popülasyon ortalaması ve varyans bilinmediğinde varyansın örnek tahmini .

Notlar

Referanslar

• Cox, DR; Hinkley, DV (1974). Teorik İstatistik . Wiley. ISBN'si 0-412-12420-3.
• Berger, James O. (1980). İstatistiksel Karar Teorisi ve Bayes Analizi (2. baskı). Springer-Verlag. ISBN'si 0-387-96098-8.
• DeGroot, Morris (2004) [1st. bar. 1970]. Optimal İstatistiksel Kararlar . Wiley Classics Kitaplığı. ISBN'si 0-471-68029-X.
• Robert, Christian P. (1994). Bayes Seçimi . Springer-Verlag. ISBN'si 3-540-94296-3.