Bayes çıkarımı - Bayesian inference

Bayes çıkarım için bir yöntemdir istatistiksel çıkarımlar olan Bayes teoremi daha fazlası gibi bir hipotez için olasılık güncellemek için kullanılır kanıt veya bilgi mevcut hale gelir. Bayes çıkarımı istatistikte ve özellikle matematiksel istatistikte önemli bir tekniktir . Bayes güncellemesi, bir veri dizisinin dinamik analizinde özellikle önemlidir . Bayes çıkarımı, bilim , mühendislik , felsefe , tıp , spor vehukuk . Karar teorisi felsefesinde , Bayes çıkarımı, genellikle " Bayes olasılığı " olarak adlandırılan öznel olasılık ile yakından ilişkilidir .

Bayes kuralına giriş

Bayes teoreminin geometrik bir görselleştirmesi. Tabloda, 2, 3, 6 ve 9 değerleri, karşılık gelen her koşul ve durumun göreli ağırlıklarını verir. Rakamlar, her bir metriğe dahil olan tablonun hücrelerini gösterir; olasılık, gölgeli her bir şeklin kesridir. Bu, P(A|B) P(B) = P(B|A) P(A) yani P(A|B) = olduğunu gösterir. P(B|A) P(A)/P(B). P(¬A|B) = olduğunu göstermek için benzer bir akıl yürütme kullanılabilir.P(B|¬A) P(¬A)/P(B) vesaire.

Resmi açıklama

Olasılık tablosu
Hipotez


Kanıt
Karşılayan
hipotez
H
¬H
hipotezini ihlal
ediyor

Toplam

E kanıtı var
P(H|E)·P(E)
= P(E|H)·P(H)
P(¬H|E)·P(E)
= P(E|¬H)·P(¬H)
P(E)
Kanıt yok
¬E
P(H|¬E)·P(¬E)
= P(¬E|H)·P(H)
P(¬H|¬E)·P(¬E)
= P(¬E|¬H)·P(¬H)
P(¬E) =
1−P(E)
Toplam    P(H) P(¬H) = 1−P(H) 1

Bayes çıkarımı , iki öncülün bir sonucu olarak sonsal olasılığı türetir : bir önceki olasılık ve gözlemlenen veriler için istatistiksel bir modelden türetilen bir " olabilirlik işlevi " . Bayes çıkarımı, Bayes teoremine göre arka olasılığı hesaplar :

nerede

  • olasılığı verilerden etkilenebilecek herhangi bir hipotezi ifade eder ( aşağıda kanıt olarak adlandırılır ). Genellikle birbiriyle yarışan hipotezler vardır ve görev, hangisinin en olası olduğunu belirlemektir.
  • , önceki olasılık , veriler , mevcut kanıtlar gözlemlenmeden önce hipotezin olasılığının tahminidir .
  • , kanıt , önceki olasılığın hesaplanmasında kullanılmayan yeni verilere karşılık gelir.
  • , arka olasılık , verilen olasılıktır , yani gözlemlendikten sonra . Bu bilmek istediğimiz şudur: Bir hipotez olasılığı verilen gözlenen kanıt.
  • verilen gözlemleme olasılığıdır ve olabilirlik olarak adlandırılır . Sabit ile fonksiyonu olarak , kanıtın verilen hipotez ile uyumluluğunu gösterir. Olabilirlik işlevi kanıtın bir işlevidir , sonsal olasılık ise hipotezin bir işlevidir .
  • bazen marjinal olasılık veya "model kanıt" olarak adlandırılır . Bu faktör, dikkate alınan tüm olası hipotezler için aynıdır ( diğer tüm faktörlerin aksine , hipotezin sembolde hiçbir yerde görünmemesi gerçeğinden de anlaşılacağı gibi ), bu nedenle bu faktör, farklı olasılıkların göreceli olasılıklarını belirlemeye girmez. hipotezler.

Farklı değerleri için , sadece faktörleri ve her iki pay olarak, değerini etkileyecek - Bir hipotezin posterior olasılık da ön olasılık (kendine özgü ihtimaline) ve yeni alınan olasılık (yeni gözlemlenen kanıtlar ile uyumluluğu ile orantılıdır ).

Bayes kuralı aşağıdaki gibi de yazılabilir:

Çünkü

ve

Nerede "değil ," mantıksal DEĞİL arasında .

Denklemi hatırlamanın hızlı ve kolay bir yolu Çarpma Kuralını kullanmaktır:

Bayes güncellemesine alternatifler

Bayes güncellemesi yaygın olarak kullanılır ve hesaplama açısından uygundur. Ancak, rasyonel olarak kabul edilebilecek tek güncelleme kuralı bu değildir.

Ian Hacking , geleneksel " Hollandaca kitap " argümanlarının Bayes güncellemesini belirtmediğini kaydetti: Bayesyen olmayan güncelleme kurallarının Hollanda kitaplarından kaçınma olasılığını açık bıraktılar. Hacking, "Ve ne Hollanda kitap argümanı ne de olasılık aksiyomlarının kişisel kanıt cephaneliğindeki herhangi bir başkası, dinamik varsayımı gerektirmez. Hiçbiri Bayesçiliği gerektirmez. Dolayısıyla, kişiselci dinamik varsayımın Bayesian olmasını gerektirir. Tutarlılık içinde bir kişiselci, Bayes'in deneyimden öğrenme modelini terk edebilir. Tuz, tadını kaybedebilir."

Aslında, Richard C. Jeffrey'in Bayes kuralını kanıtın kendisine uygulayan kuralının yayınlanmasından sonra ( " olasılık kinematiği " literatüründe tartışıldığı gibi) Hollanda kitaplarından da kaçınan Bayes olmayan güncelleme kuralları vardır. bir olasılık atanır. Bayes güncellemesini benzersiz bir şekilde gerektirmek için gereken ek hipotezlerin önemli, karmaşık ve yetersiz olduğu kabul edildi.

Bayes çıkarımının resmi açıklaması

Tanımlar

  • , genel olarak bir veri noktası. Bu aslında bir değerler vektörü olabilir .
  • , veri noktasının dağılımının parametresi , yani . Bu bir parametre vektörü olabilir .
  • , parametre dağılımının hiperparametresi , yani . Bu bir hiperparametre vektörü olabilir .
  • örnektir, bir dizi gözlemlenen veri noktasıdır, yani .
  • , dağılımı tahmin edilecek yeni bir veri noktası.

Bayes çıkarımı

  • Ön dağılım , parametre(ler)in herhangi bir veri gözlemlenmeden önceki dağılımıdır , yani . Önceki dağılım kolayca belirlenemeyebilir; böyle bir durumda, bir olasılık, daha yeni gözlemlerle güncellemeden önce bir önceki dağılımı elde etmeden önce Jeffreys'i kullanmak olabilir .
  • Örnek dağılımı , yani parametreleri hakkında gözlemlenmiş Şartlı dağılımıdır . Bu aynı zamanda , özellikle bazen yazılan parametre(ler)in bir fonksiyonu olarak görüldüğünde olabilirlik olarak da adlandırılır .
  • Marjinal olabilirlik (bazen olarak da adlandırılır kanıt gözlenen verilerin dağılımı) marjinal yani parametre (ler) üzerinde, .
  • Arka dağıtım dikkate gözlenen verilerin aldıktan sonra parametre (ler) dağılımıdır. Bu, Bayes çıkarımının kalbini oluşturan Bayes kuralı tarafından belirlenir :
.

Bu, kelimelerle "arkadaki olasılık çarpı önceki olasılık ile orantılıdır" veya bazen "arkadaki = olasılık çarpı önceki, kanıt üstü" şeklinde ifade edilir.

  • Pratikte, makine öğrenme kullanılan hemen hemen bütün karmaşık Bayes modeller için, arka dağıtım parametre alanı esas olarak, kapalı bir şekilde dağılımı elde edilmez çok yüksek olabilir, ya da Bayes model değerlerinin formüle bazı hiyerarşik yapısını muhafaza ve parametresi . Bu gibi durumlarda, yaklaşım tekniklerine başvurmamız gerekir.

Bayes tahmini

Bayes teorisi, tahmine dayalı çıkarım yapmak , yani yeni, gözlemlenmemiş bir veri noktasının dağılımını tahmin etmek için sonsal tahmine dayalı dağılımın kullanılmasını gerektirir . Yani, tahmin olarak sabit bir nokta yerine, olası noktalar üzerinden bir dağılım döndürülür. Yalnızca bu şekilde kullanılan parametre(ler)in tüm sonsal dağılımı sağlanır. Karşılaştırma yapacak olursak, sıklık istatistiklerindeki tahmin genellikle parametre(ler) için optimum nokta tahmini bulmayı (örneğin, maksimum olabilirlik veya maksimum a posteriori tahmin (MAP) ile) ve ardından bu tahmini bir veri noktasının dağılımı için formüle eklemeyi içerir. . Bunun dezavantajı, parametre değerindeki herhangi bir belirsizliği hesaba katmamasıdır ve bu nedenle tahmine dayalı dağılımın varyansını hafife alacaktır .

(Bazı durumlarda, sıklık istatistikleri bu soruna geçici bir çözüm bulabilir. Örneğin, bilinmeyen ortalama ve varyansa sahip normal bir dağılımdan oluşturulduğunda sık sık istatistiklerdeki güven aralıkları ve tahmin aralıkları , bir Student t-dağılımı kullanılarak oluşturulur . Bu, varyansı doğru bir şekilde tahmin eder, (1) normal olarak dağıtılan rastgele değişkenlerin ortalamasının da normal olarak dağıldığı ve (2) konjugat veya bilgi vermeyen öncelikler kullanılarak bilinmeyen ortalama ve varyansa sahip normal olarak dağıtılan bir veri noktasının tahmine dayalı dağılımının bir Student t- Bununla birlikte, Bayes istatistiklerinde, sonsal öngörücü dağılım her zaman tam olarak veya sayısal yöntemler kullanıldığında en azından keyfi bir kesinlik düzeyinde belirlenebilir.

Her iki tahmine dayalı dağılım türü de bileşik olasılık dağılımı biçimine sahiptir ( marjinal olabilirlik gibi ). Aslında, önsel dağılım bir eşlenik önsel ise , böylece önceki ve sonraki dağılımlar aynı aileden geliyorsa, hem önceki hem de sonraki tahmin dağılımlarının da aynı bileşik dağılım ailesinden geldiği görülebilir. Tek fark, sonsal tahmine dayalı dağılımın hiperparametrelerin güncellenmiş değerlerini kullanmasıdır ( önceki tahmine dayalı dağılım, önceki dağılımda görünen hiperparametrelerin değerlerini kullanırken) (bir önceki makaledeki eşlenikte verilen Bayes güncelleme kurallarını uygulayarak ).

Özel ve kapsamlı olasılıklar üzerinde çıkarım

Kanıt, bir dizi özel ve kapsamlı önerme üzerinde inancı güncellemek için eşzamanlı olarak kullanılırsa, Bayesci çıkarımın bir bütün olarak bu inanç dağılımına etki ettiği düşünülebilir.

Genel formülasyon

Bayes çıkarımının genel formülasyonunda olay uzayını gösteren diyagram . Bu diyagram ayrık modelleri ve olayları gösterse de, sürekli durum benzer şekilde olasılık yoğunlukları kullanılarak görselleştirilebilir.

Bir sürecin bağımsız ve aynı şekilde dağıtılmış olaylar ürettiğini , ancak olasılık dağılımının bilinmediğini varsayalım . Olay uzayı bu süreç için mevcut inanç durumunu temsil etsin . Her model olay ile temsil edilir . Modelleri tanımlamak için koşullu olasılıklar belirtilir. inancın derecesidir . İlk çıkarım adımından önce , bir dizi ilk önsel olasılıktır . Bunların toplamı 1 olmalıdır, ancak aksi halde keyfidir.

Sürecin ürettiğinin gözlemlendiğini varsayalım . Her biri için önceki , arkaya güncellenir . Gönderen Bayes teoremi :

Daha fazla kanıtın gözlemlenmesi üzerine, bu prosedür tekrarlanabilir.

Bayes çıkarımı ve hesaplamalarında sıklıkla kullanılan temel kümeler için Venn şeması

Çoklu gözlemler

Birbirinden bağımsız ve aynı şekilde dağılmış gözlemler dizisi için , yukarıdakilerin tekrarlanan uygulamasının aşağıdakilere eşdeğer olduğu tümevarım yoluyla gösterilebilir.

Nereye


parametrik formülasyon

Modellerin uzayını parametreleştirerek, tüm modellere olan inanç tek bir adımda güncellenebilir. Model uzayı üzerindeki inancın dağılımı, parametre uzayı üzerindeki inancın bir dağılımı olarak düşünülebilir. Bu bölümdeki dağılımlar, olağan durum olduğu için olasılık yoğunlukları ile temsil edilen sürekli olarak ifade edilir. Ancak teknik, ayrık dağılımlara eşit derecede uygulanabilir.

Vektörün parametre uzayına yayılmasına izin verin . İlk önceki dağılımın üzerinde olmasına izin verin , burada öncekinin kendisine veya hiperparametrelere ilişkin bir parametre kümesidir . Izin bir dizisi bağımsız aynen dağılma tüm etkinlik gözlemler, olarak dağıtılır bazıları için . Bayes teoremi bulmak için uygulanan posterior dağılımı üzerinde :

Nereye

matematiksel özellikler

faktörün yorumlanması

. Yani, model doğru olsaydı, kanıt, mevcut inanç durumu tarafından tahmin edilenden daha olası olurdu. Tersi, inançtaki bir azalma için geçerlidir. İnanç değişmezse, . Yani, kanıt modelden bağımsızdır. Model doğru olsaydı, kanıtlar tam olarak mevcut inanç durumunun tahmin ettiği kadar olası olurdu.

Cromwell'in kuralı

Eğer öyleyse . Eğer öyleyse . Bu, kesin kanaatlerin karşı kanıtlara karşı duyarsız olduğu şeklinde yorumlanabilir.

İlki doğrudan Bayes teoreminden gelir. İkincisi, ilk kuralın " " yerine "değil " olayına uygulanmasıyla türetilebilir ve sonucun hemen ardından " if , o zaman " elde edilir .

Posteriorun asimptotik davranışı

Bağımsız ve özdeş olarak dağıtılmış denemelerle çok sayıda güncellendiği için bir inanç dağılımının davranışını düşünün . Yeterince güzel ön olasılıklar için, Bernstein-von Mises teoremi , sonsuz denemelerin sınırında, arkanın , 1948'de Joseph L. Doob tarafından ilk olarak ana hatları çizilen ve kesin olarak kanıtlanan bazı koşullar altında ilk öncelden bağımsız bir Gauss dağılımına yakınsadığını verir. eğer dikkate alınan rastgele değişken sonlu bir olasılık uzayına sahipse . Daha genel sonuçlar, daha sonra , 1963 ve 1965'te iki ufuk açıcı araştırma makalesinde yayınlayan istatistikçi David A. Freedman tarafından, posteriorun asimptotik davranışının ne zaman ve hangi koşullar altında garanti edildiğini elde etti. 1963 tarihli makalesi, Doob (1949) gibi sonlu durumu ele alıyor ve tatmin edici bir sonuca varıyor. Bununla birlikte, eğer rasgele değişken sonsuz fakat sayılabilir bir olasılık uzayına sahipse (yani, sonsuz sayıda yüzü olan bir zara karşılık geliyorsa ), 1965 belgesi, yoğun bir öncelikler alt kümesi için Bernstein-von Mises teoreminin uygulanabilir olmadığını gösterir. Bu durumda neredeyse kesinlikle asimptotik yakınsama yoktur. Daha sonra 1980'lerde ve 1990'larda Freedman ve Persi Diaconis sonsuz sayılabilir olasılık uzayları üzerinde çalışmaya devam ettiler. Özetlemek gerekirse, ilk seçimin etkilerini bastırmak için yetersiz denemeler olabilir ve özellikle büyük (ancak sonlu) sistemler için yakınsama çok yavaş olabilir.

Eşlenik öncelikler

Parametreli biçimde, önceki dağılımın genellikle eşlenik öncelikler adı verilen bir dağılım ailesinden geldiği varsayılır . Bir konjugat öncesinin kullanışlılığı, karşılık gelen sonsal dağılımın aynı ailede olması ve hesaplamanın kapalı biçimde ifade edilebilmesidir .

Parametrelerin ve tahminlerin tahminleri

Bir parametreyi veya değişkeni tahmin etmek için genellikle sonsal bir dağılım kullanmak istenir. Bayes tahmininin birkaç yöntemi , sonsal dağılımdan merkezi eğilim ölçümlerini seçer .

Tek boyutlu problemler için, pratik sürekli problemler için benzersiz bir medyan mevcuttur. Posterior medyan sağlam bir tahmin edici olarak çekicidir .

Sonsal dağılım için sonlu bir ortalama varsa, sonsal ortalama bir tahmin yöntemidir.

En büyük olasılıkla bir değer almak, maksimum a posteriori (MAP) tahminlerini tanımlar :

Maksimuma ulaşılmadığı örnekler vardır, bu durumda MAP tahminleri seti boştur .

Kayıp fonksiyonu ile ilgili olarak arkadaki riski (beklenen-arka kayıp) en aza indiren başka tahmin yöntemleri de vardır ve bunlar örnekleme dağılımını ("sık istatistikler") kullanan istatistiksel karar teorisinin ilgi alanına girer .

Posterior öngörü dağıtım yeni gözlem (önceki gözlemlerin bağımsızdır) ile belirlenir

Örnekler

Bir hipotezin olasılığı

Olasılık tablosu
tas

Kurabiye
#1
H 1
2.
H 2

Toplam
düz, E 30 20 50
Çikolata, ¬ E 10 20 30
Toplam 40 40 80
P  ( H 1 | E ) = 30 / 50 = 0,6

Diyelim ki iki kase dolusu kurabiye var. 1. kasede 10 adet çikolatalı ve 30 adet sade kurabiye bulunurken 2. kasede her birinden 20 adet bulunur. Arkadaşımız Fred rastgele bir kase seçiyor ve ardından rastgele bir kurabiye seçiyor. Fred'in bir kaseye diğerinden farklı davrandığına inanmak için hiçbir neden olmadığını varsayabiliriz, aynı şekilde kurabiyeler için de. Çerezin sade olduğu ortaya çıkıyor. Fred'in 1 numaralı kaseden seçmesi ne kadar olası?

Sezgisel olarak, 1 numaralı kasede daha fazla sade kurabiye olduğu için cevabın yarıdan fazla olması gerektiği açık görünüyor. Kesin cevap Bayes teoremi tarafından verilir. Let kase 1. karşılık gelir ve kase # 2'ye. Kaselerin Fred'in bakış açısından özdeş olduğu ve dolayısıyla ikisinin toplamının 1'e eşit olması gerektiği, dolayısıyla her ikisinin de 0,5'e eşit olduğu verilmiştir. Olay , sade bir çerezin gözlemlenmesidir. Kaselerin içeriğinden bunu biliyoruz ve Bayes'in formülü daha sonra

Kurabiyeyi gözlemlemeden önce, Fred'in 1 numaralı kaseyi seçmesi için atadığımız olasılık, 0,5 olan önceki olasılıktı . Tanımlama bilgisini gözlemledikten sonra , 0.6 olan olasılığı revize etmeliyiz .

tahmin yapmak

Arkeoloji örneği için örnek sonuçlar. Bu simülasyon c=15.2 kullanılarak oluşturulmuştur.

Bir arkeolog, 11. yüzyıldan 16. yüzyıla kadar orta çağ dönemine ait olduğu düşünülen bir alanda çalışıyor. Ancak bu dönemde yerleşimin tam olarak ne zaman yapıldığı kesin olarak bilinmemektedir. Bir kısmı sırlı, bir kısmı bezemeli çanak çömlek parçaları bulunmuştur. Alan erken ortaçağ döneminde iskan edilmiş olsaydı, çanak çömleklerin %1'inin sırlı ve alanının %50'sinin dekore edilmiş olacağı, oysa geç ortaçağ döneminde iskan edilmiş olsaydı, %81'inin sırlı olacağı ve alanın %50'sinin süsleneceği tahmin edilmektedir. Alanının %5'i dekore edilmiştir. Parçalar gün yüzüne çıkarken arkeolog yerleşim tarihinden ne kadar emin olabilir?

Sürekli değişkene (yüzyıl) olan inanç derecesi, kanıt olarak kesikli olaylar dizisi ile hesaplanmalıdır . Sır ve süslemenin zamanla lineer değişimini ve bu değişkenlerin bağımsız olduğunu varsayarsak,

Tek tip bir öncel olduğunu ve denemelerin bağımsız ve aynı şekilde dağıldığını varsayın . Yeni bir tip parçası keşfedildiğinde, her biri için inanç derecesini güncellemek için Bayes teoremi uygulanır :

50 parça gün ışığına çıkarıldığında değişen inancın bir bilgisayar simülasyonu grafikte gösterilmektedir. Simülasyonda, site 1420 civarında ya da . Arkeolog, grafiğin ilgili bölümünün altındaki alanı 50 deneme için hesaplayarak, alanın 11. ve 12. yüzyıllarda yerleşim görmüş olma ihtimalinin pratikte olmadığını, 13. yüzyılda yerleşim görmüş olma olasılığının yaklaşık %1, 63 14. yüzyılda % şans ve 15. yüzyılda % 36. Bernstein-von Mises teoremi çünkü burada "doğru" dağıtımına asimptotik yakınlaşma iddia olasılık uzayı olayların ayrık setine karşılık gelen (arka asimptotik davranışı üzerindeki bölümün yukarıya bakınız) sonlu.

Sık sık istatistik ve karar teorisinde

Bir karar teorik Bayes çıkarsama gibi gerekçe tarafından verildi Abraham Wald her benzersiz Bayes prosedür olduğunu kanıtladı, kabul edilebilir . Tersine, her kabul edilebilir istatistiksel prosedür ya bir Bayes prosedürü ya da Bayes prosedürlerinin bir limitidir.

Wald bu alanlarda Bayes Biçimciliği merkezi bir verme yöntemidir, Bayes prosedürlere göre (ve Bayesian prosedürler sınırları) olarak kabul edilebilir prosedürler, özelliği frequentist çıkarım olarak parametre tahmini , hipotez testi ve işlem güven aralıkları . Örneğin:

  • "Bazı koşullar altında, tüm kabul edilebilir prosedürler ya Bayes prosedürleri ya da Bayes prosedürlerinin limitleridir (çeşitli anlamlarda). Bu dikkate değer sonuçlar, en azından orijinal biçiminde, esasen Wald'dan kaynaklanmaktadır. Bayes olma özelliği, kullanışlıdır, çünkü bunlar yararlıdır. analiz etmek kabul edilebilirlikten daha kolaydır."
  • "Karar teorisinde, kabul edilebilirliği kanıtlamak için oldukça genel bir yöntem, bir prosedürü benzersiz bir Bayes çözümü olarak sergilemekten ibarettir."
  • "Bu çalışmanın ilk bölümlerinde, deneylerin karşılaştırılmasıyla ilgili bazı ana teoremleri oluşturmak için sonlu destekli önceki dağılımlar ve buna karşılık gelen Bayes prosedürleri kullanıldı. Daha genel önceki dağılımlara ilişkin Bayes prosedürleri çok önemli bir rol oynadı. asimptotik teorisi de dahil olmak üzere istatistiklerin geliştirilmesinde." "Uygun öncelikler için sonsal dağılımlara bir bakışın hemen ilginç bilgiler verdiği pek çok sorun var. Ayrıca, sıralı analizde bu teknikten kaçınılamaz."
  • "Yararlı bir gerçek, tüm parametre uzayı üzerinde uygun bir öncelik alarak elde edilen herhangi bir Bayes karar kuralının kabul edilebilir olması gerektiğidir"
  • "Kabul edilebilirlik fikirlerinin geliştirilmesinde önemli bir araştırma alanı, geleneksel örnekleme teorisi prosedürleri olmuştur ve birçok ilginç sonuç elde edilmiştir."

Model seçimi

Bayes metodolojisi , amacın, gözlemlenen verileri oluşturan temel süreci en yakından temsil eden bir dizi rakip modelden bir model seçmek olduğu model seçiminde de rol oynar . Bayesian model karşılaştırmasında, veri verilen sonsal olasılığı en yüksek olan model seçilir. Bir modelin sonsal olasılığı , verilerin model tarafından üretilme olasılığını yansıtan kanıtlara veya marjinal olabilirliğe ve modelin önceki inancına bağlıdır. Rakip iki modelin önceden eşit olasılıklı olduğu düşünüldüğünde, bunların sonsal olasılıklarının oranı Bayes faktörüne karşılık gelir . Bayes model karşılaştırması, en yüksek sonsal olasılığa sahip modelin seçilmesini amaçladığından, bu metodoloji aynı zamanda maksimum a posteriori (MAP) seçim kuralı veya MAP olasılık kuralı olarak da adlandırılır.

olasılıksal programlama

Kavramsal olarak basit olsa da, Bayes yöntemleri matematiksel ve sayısal olarak zorlayıcı olabilir. Olasılıksal programlama dilleri (PPL'ler), verimli otomatik çıkarım yöntemleriyle birlikte Bayes modellerini kolayca oluşturmak için işlevler uygular. Bu, model oluşturmayı çıkarımdan ayırmaya yardımcı olur, uygulayıcıların kendi özel sorunlarına odaklanmasına ve PPL'lerin onlar için hesaplama ayrıntılarını ele almasına izin verir.

Uygulamalar

Bilgisayar Uygulamaları

Bayesian çıkarımın yapay zeka ve uzman sistemlerde uygulamaları vardır . Bayes çıkarım teknikleri, 1950'lerin sonlarından beri bilgisayarlı örüntü tanıma tekniklerinin temel bir parçası olmuştur . Bayes yöntemleri ve simülasyon tabanlı arasında giderek artan bağlantı vardır Monte Carlo karmaşık modeller Bayes analizi ile kapalı olarak işlenemez çünkü teknikler bir süre, grafik modeli yapısı olabilir gibi verimli simülasyon algoritmaları için izin Gibbs örneklemesi ve diğer Metropolü'nde –Hastings algoritma şemaları. Son zamanlarda Bayes çıkarımı, bu nedenlerle filogenetik topluluğu arasında popülerlik kazanmıştır ; bir dizi uygulama, birçok demografik ve evrimsel parametrenin aynı anda tahmin edilmesini sağlar.

İstatistiksel sınıflandırmaya uygulandığı gibi , e-posta spam'ini belirlemek için algoritmalar geliştirmek için Bayes çıkarımı kullanılmıştır . Spam filtreleme için Bayes çıkarımın faydalanmak uygulamaları içerir CRM114 , DSPAM , Bogofilter , SpamAssassin , SpamBayes , Mozilla , XEAMS ve diğerleri. İstenmeyen posta sınıflandırması, saf Bayes sınıflandırıcıyla ilgili makalede daha ayrıntılı olarak ele alınmaktadır .

Solomonoff'un Endüktif çıkarımı , gözlemlere dayalı tahmin teorisidir; örneğin, belirli bir sembol serisine dayalı olarak bir sonraki sembolü tahmin etmek. Tek varsayım, ortamın bilinmeyen ancak hesaplanabilir bir olasılık dağılımını takip etmesidir. İyi çalışılmış iki tümevarım çıkarımı ilkesini birleştiren resmi bir tümevarım çerçevesidir: Bayes istatistikleri ve Occam's Razor . Herhangi önek ait Solomonoff evrensel önceki olasılık p hesaplanabilir bir dizi ait x hesaplama şey ile başlayan (a evrensel bilgisayar için) tüm programların olasılıklarının toplamıdır p . Bazı p ve x'in örneklendiği herhangi bir hesaplanabilir ancak bilinmeyen olasılık dağılımı verildiğinde, evrensel önsel ve Bayes teoremi, x'in henüz görünmeyen kısımlarını optimal biçimde tahmin etmek için kullanılabilir .

Biyoinformatik ve sağlık uygulamaları

Bayes çıkarımı, diferansiyel gen ekspresyon analizi dahil olmak üzere farklı Biyoinformatik uygulamalarında uygulanmıştır. Bayes çıkarımı aynı zamanda CIRI (Sürekli Bireyselleştirilmiş Risk İndeksi) adı verilen genel bir kanser risk modelinde de kullanılır ; burada seri ölçümler, öncelikli olarak önceki bilgilerden oluşturulan bir Bayes modelini güncellemek için birleştirilir.

mahkeme salonunda

Bayes çıkarımı, jüri üyeleri tarafından bir sanığın lehine ve aleyhine olan kanıtları tutarlı bir şekilde toplamak ve bir bütün olarak ' makul şüphenin ötesinde ' için kişisel eşiklerini karşılayıp karşılamadığını görmek için kullanılabilir . Bayes teoremi, sunulan tüm kanıtlara art arda uygulanır, bir aşamadan sonra gelen, bir sonraki için önce gelir. Bayes yaklaşımının yararı, jüri üyesine kanıtları birleştirmek için tarafsız, rasyonel bir mekanizma vermesidir. Bahis oranları olasılıklardan daha yaygın olarak anlaşıldığından , Bayes teoremini jüri üyelerine oran şeklinde açıklamak uygun olabilir . Alternatif olarak, çarpmayı toplama ile değiştiren logaritmik bir yaklaşım , jüri için daha kolay olabilir.

Kanıt ekleme.

Suçun varlığından şüphelenilmiyorsa, sadece failin kimliğinden şüphe duyulmuyorsa, önceliğin nitelikli nüfus üzerinde yeknesak olması gerektiği öne sürülmüştür. Örneğin, suçu 1000 kişi işlemiş olsaydı, önceki suçluluk olasılığı 1/1000 olurdu.

Bayes teoreminin jüri üyeleri tarafından kullanılması tartışmalıdır. Birleşik Krallık'ta, bir savunma uzmanı tanığı , Bayes teoremini R v Adams'da jüriye açıkladı . Jüri mahkum etti, ancak dava, Bayes teoremini kullanmak istemeyen jüri üyeleri için kanıt toplamak için hiçbir yol sağlanmadığı gerekçesiyle temyize gitti. Temyiz Mahkemesi mahkumiyeti onayladı, ancak aynı zamanda "Bayes Teoremi'ni veya benzer bir yöntemi bir ceza davasına sokmak, jüriyi uygunsuz ve gereksiz teori ve karmaşıklık alanlarına daldırır ve onları uygun görevlerinden saptırır" görüşünü de verdi. "

Gardner-Medwin bir ceza davasında bir karar dayanması gerektiğini hangi kriter olduğunu savunuyor değil suçluluk olasılık, daha ziyade davalı masum olduğu göz önüne alındığında, delillerin olasılık (a benzeyen frequentist p-değeri ). Eğer suçluluğun sonsal olasılığı Bayes teoremi ile hesaplanacaksa, önceki suçluluk olasılığının bilinmesi gerektiğini savunuyor. Bu, bir ceza davasında dikkate alınması gereken olağandışı bir kanıt olan suçun görülme sıklığına bağlı olacaktır. Aşağıdaki üç önermeyi göz önünde bulundurun:

A Sanık suçluysa bilinen gerçekler ve tanıklık ortaya çıkabilirdi
B Bilinen gerçekler ve tanıklar, sanık masumsa ortaya çıkabilirdi.
C Sanık suçludur.

Gardner-Medwin, jürinin mahkum etmek için hem A'ya hem de B'ye inanmaması gerektiğini savunuyor. A ve B değil, C'nin doğruluğunu ima eder, ancak tersi doğru değildir. B ve C'nin her ikisinin de doğru olması mümkündür, ancak bu durumda, bazı suçluların serbest kalmasına izin vereceklerini bilseler bile, bir jürinin beraat etmesi gerektiğini savunuyor. Ayrıca Lindley'in paradoksuna bakınız .

Bayesci epistemoloji

Bayesci epistemoloji , tümevarımcı mantığın kurallarını doğrulamanın bir aracı olarak Bayesci çıkarımı savunan bir harekettir.

Karl Popper ve David Miller , Bayesci rasyonalizm fikrini, yani epistemolojik çıkarımlar yapmak için Bayes kuralını kullanmayı reddetmişlerdir: Diğer herhangi bir doğrulamacı epistemolojiyle aynı kısır döngüye eğilimlidir , çünkü haklı çıkarmaya çalıştığı şeyi önceden varsayar. Bu görüşe göre, Bayes çıkarımının rasyonel bir yorumu, onu yalnızca bir dizi Bayes güncellemesiyle elde edilen yüksek olasılığın hipotezi herhangi bir makul şüphenin ötesinde kanıtlayacağına dair Bayesçiler tarafından yaygın olarak kabul edilen inancı reddederek, yalnızca yanlışlamanın olasılıklı bir versiyonu olarak görecektir. hatta 0'dan büyük olasılıkla.

Başka

Bayes ve Bayes çıkarımı

Bayes'in " Şanslar Doktrini'nde Bir Problemi Çözmeye Yönelik Bir Deneme " adlı makalesinin 9. Önermesinde ele aldığı problem , binom dağılımının a parametresinin (başarı oranı) sonsal dağılımıdır .

Tarih

Terim Bayes atıfta Thomas Bayes olasılık sınırları bilinmeyen bir olay üzerine yerleştirilmelidir kanıtladı (1702-1761). Bununla birlikte, şimdi Bayes teoremi olarak adlandırılan ve onu gök mekaniği , tıbbi istatistik, güvenilirlik ve hukuk alanındaki sorunları çözmek için kullanan (Prensip VI olarak) Pierre-Simon Laplace (1749-1827) idi . Laplace'ın yetersiz neden ilkesini izleyen tek biçimli öncelikleri kullanan erken Bayes çıkarımı, " ters olasılık " olarak adlandırıldı (çünkü gözlemlerden parametrelere veya etkilerden nedenlere doğru sonuç çıkarır ). 1920'lerden sonra, "ters olasılık", büyük ölçüde, sık kullanılan istatistikler olarak adlandırılan bir dizi yöntem tarafından değiştirildi .

20. yüzyılda, Laplace'ın fikirleri iki farklı yönde daha da geliştirildi ve Bayesian pratiğinde nesnel ve öznel akımlara yol açtı . Objektif veya "bilgi vermeyen" akımda, istatistiksel analiz yalnızca varsayılan modele, analiz edilen verilere ve bir objektif Bayes uygulayıcısından diğerine farklılık gösteren öncesini atayan yönteme bağlıdır. Sübjektif veya "bilgilendirici" akımda, öncekinin belirtilmesi, uzmanlardan, önceki çalışmalardan vb.

1980'lerde, çoğu hesaplama problemini ortadan kaldıran Markov zinciri Monte Carlo yöntemlerinin keşfine ve standart olmayan, karmaşık uygulamalara artan ilgiye atfedilen Bayes yöntemlerinin araştırma ve uygulamalarında çarpıcı bir büyüme oldu . Bayes araştırmalarının büyümesine rağmen, çoğu lisans öğretimi hala sık istatistiklere dayanmaktadır. Bununla birlikte, Bayes yöntemleri, örneğin makine öğrenimi alanında olduğu gibi, yaygın olarak kabul edilmekte ve kullanılmaktadır .

Ayrıca bakınız

Referanslar

alıntılar

Kaynaklar

daha fazla okuma

  • Bayes istatistiklerinin tarihi ve sıklıkçı yaklaşımlarla yapılan tartışmalar hakkında tam bir rapor için Vallverdu, Jordi (2016) bölümünü okuyun . Bayesliler Karşı Sık Kullanılanlara Karşı İstatistiksel Akıl Yürütme Üzerine Felsefi Bir Tartışma . New York: Springer. ISBN'si 978-3-662-48638-2.

İlköğretim

Aşağıdaki kitaplar, artan olasılıksal karmaşıklık sırasına göre listelenmiştir:

Orta veya ileri

Dış bağlantılar