Deneylerin tasarımı - Design of experiments

Tam faktöriyel tasarımlı deney tasarımı (solda), ikinci dereceden polinomlu tepki yüzeyi (sağda)

Deneylerin tasarımı ( DOE , DOX veya deneysel tasarım ) amaçları tanımlamak ve varyasyonu yansıtmak bulundukları öne sürülen şartlar altında bilginin varyasyonu açıklamak için herhangi bir görevin tasarımdır. Terim, genel olarak ilişkili deneyler olan, doğrudan varyasyon etkilemez, aynı zamanda tasarım ile ilgili olabileceğini tasarım tanıtır koşullarında yarı-deneyler içinde, doğal varyasyon etkileyen koşullar gözlem için seçilir.

En basit haliyle, bir deney, bir veya daha fazla bağımsız değişken tarafından temsil edilen ve ayrıca "girdi değişkenleri" veya "tahmin değişkenleri" olarak da adlandırılan ön koşullarda bir değişiklik getirerek sonucu tahmin etmeyi amaçlar . Bir veya daha fazla bağımsız değişkendeki değişikliğin genellikle , "çıktı değişkenleri" veya "yanıt değişkenleri" olarak da adlandırılan bir veya daha fazla bağımlı değişkende bir değişiklikle sonuçlanacağı varsayılır . Deney tasarımı ayrıca , harici faktörlerin sonuçları etkilemesini önlemek için sabit tutulması gereken kontrol değişkenlerini de tanımlayabilir . Deneysel tasarım, yalnızca uygun bağımsız, bağımlı ve kontrol değişkenlerinin seçimini değil, aynı zamanda mevcut kaynakların kısıtlamaları göz önüne alındığında, istatistiksel olarak en uygun koşullar altında deneyin teslimini planlamayı da içerir. Deneyde kullanılacak tasarım noktaları kümesini (bağımsız değişkenlerin ayarlarının benzersiz kombinasyonları) belirlemek için birden çok yaklaşım vardır.

Deney tasarımındaki ana kaygılar arasında geçerliliğin , güvenilirliğin ve tekrarlanabilirliğin oluşturulması yer alır . Örneğin, bağımsız değişkenin dikkatli bir şekilde seçilmesi, ölçüm hatası riskinin azaltılması ve yöntemin dokümantasyonunun yeterince ayrıntılı olması sağlanarak bu endişeler kısmen giderilebilir. İlgili kaygılar, uygun istatistiksel güç ve duyarlılık düzeylerinin elde edilmesini içerir .

Doğru tasarlanmış deneyler, doğal ve sosyal bilimler ve mühendislikteki bilgileri ilerletir. Diğer uygulamalar, pazarlama ve politika oluşturmayı içerir. Deney tasarımının incelenmesi, metabilimde önemli bir konudur .

Tarih

Charles S. Peirce'i takip eden istatistiksel deneyler

Bir teori istatistiksel çıkarsama tarafından geliştirilen Charles S. Peirce "in Science Mantık Çizimler " (1877-1878) ve " Olası Çıkarım Teorisi " (1883), içinde randomizasyon tabanlı çıkarsama önemini vurguladı iki yayın İstatistik.

Rastgele deneyler

Charles S. Peirce, gönüllüleri , ağırlıkları ayırt etme yeteneklerini değerlendirmek için kör , tekrarlanan ölçüm tasarımına rastgele atadı . Peirce'in deneyi, 1800'lerde laboratuvarlarda ve özel ders kitaplarında rastgele deneylere yönelik bir araştırma geleneği geliştiren psikoloji ve eğitim alanındaki diğer araştırmacılara ilham verdi.

Regresyon modelleri için optimal tasarımlar

Charles S. Peirce ayrıca 1876'da regresyon modelleri için optimal tasarım üzerine ilk İngilizce yayına katkıda bulundu . 1815'te Gergonne tarafından polinom regresyonu için öncü bir optimal tasarım önerildi . 1918'de Kirstine Smith , derece altı polinomlar için optimal tasarımlar yayınladı ( ve daha az).

Deney dizileri

Her birinin tasarımının, deneyi durdurma olası kararı da dahil olmak üzere önceki deneylerin sonuçlarına bağlı olabileceği bir deney dizisinin kullanımı, Abraham Wald'ın öncülüğünde olduğu bir alan olan sıralı analiz kapsamındadır. istatistiksel hipotezlerin sıralı testleri. Herman Chernoff , optimal sıralı tasarımlara genel bir bakış yazarken, uyarlanabilir tasarımlar S. Zacks tarafından araştırıldı. Belirli bir sıralı tasarım türü, 1952'de Herbert Robbins tarafından erken çalışmaların yapıldığı çok kollu haydut için genelleştirilmiş "iki kollu haydut" dur.

Fisher'ın ilkeleri

Deney tasarlamak için bir metodoloji Ronald Fisher tarafından yenilikçi kitaplarında önerildi : The Arrangement of Field Experiments (1926) ve The Design of Experiments (1935). Öncü çalışmalarının çoğu, istatistiksel yöntemlerin tarımsal uygulamalarıyla ilgiliydi. Sıradan bir örnek olarak, belirli bir bayanın, sütün mü yoksa çayın bardağa mı konulduğunu yalnızca tadıyla ayırt edebileceğini söyleyen bayan çay tadımı hipotezinin nasıl test edileceğini açıkladı . Bu yöntemler biyolojik, psikolojik ve tarımsal araştırmalara geniş ölçüde uyarlanmıştır.

Karşılaştırmak
Bazı çalışma alanlarında, izlenebilir bir metroloji standardına göre bağımsız ölçümlere sahip olmak mümkün değildir . Tedaviler arasındaki karşılaştırmalar çok daha değerlidir ve genellikle tercih edilir ve genellikle temel olarak hareket eden bilimsel bir kontrol veya geleneksel tedavi ile karşılaştırılır .
rastgeleleştirme
Rastgele atama, bir deneyde bireylerin rastgele gruplara veya farklı gruplara atanması işlemidir, böylece popülasyonun her bir bireyinin çalışmaya katılma şansı aynıdır. Bireylerin gruplara (veya bir grup içindeki koşullara) rastgele atanması, titiz, "gerçek" bir deneyi, gözlemsel bir çalışmadan veya "yarı deneyden" ayırır. Bazı rasgele mekanizmalar (örneğin rasgele sayı tabloları veya iskambil kartları veya zarlar gibi rasgeleleştirme cihazlarının kullanımı gibi) aracılığıyla tedavilere birimlerin tahsis edilmesinin sonuçlarını araştıran kapsamlı bir matematik teorisi vardır. Tedavilere rastgele birimlerin atanması, tedaviden başka faktörlerden kaynaklanan etkilerin tedaviden kaynaklanıyormuş gibi görünmesine neden olan kafa karışıklığını azaltma eğilimindedir .
Rastgele tahsisle ilişkili riskler (bir tedavi grubu ile bir kontrol grubu arasında önemli bir özellikte ciddi bir dengesizlik olması gibi) hesaplanabilir ve dolayısıyla yeterli deneysel ünite kullanılarak kabul edilebilir bir düzeye indirilebilir. Ancak, evren bir şekilde farklılık gösteren birkaç alt popülasyona bölünmüşse ve araştırma her bir alt popülasyonun eşit büyüklükte olmasını gerektiriyorsa, tabakalı örnekleme kullanılabilir. Bu şekilde, her bir alt popülasyondaki birimler rastgele seçilir, ancak tüm örneklem değil. Bir deneyin sonuçları, ancak deneysel birimler daha büyük popülasyondan rastgele bir örnekse , deneysel birimlerden daha büyük bir istatistiksel birim popülasyonuna güvenilir bir şekilde genelleştirilebilir ; böyle bir ekstrapolasyonun olası hatası, diğer şeylerin yanı sıra, örnek boyutuna bağlıdır.
istatistiksel çoğaltma
Ölçümler genellikle varyasyona ve ölçüm belirsizliğine tabidir ; bu nedenle, varyasyon kaynaklarının belirlenmesine yardımcı olmak, tedavilerin gerçek etkilerini daha iyi tahmin etmek, deneyin güvenilirliğini ve geçerliliğini daha da güçlendirmek ve konuyla ilgili mevcut bilgilere katkıda bulunmak için tekrarlanırlar ve tam deneyler tekrarlanır. Bununla birlikte, deneyin tekrarı başlatılmadan önce belirli koşullar yerine getirilmelidir: orijinal araştırma sorusu, hakemli bir dergide yayınlanmış veya geniş çapta alıntılanmış, araştırmacı orijinal deneyden bağımsızdır, araştırmacı önce onu tekrarlamaya çalışmalıdır. Orijinal veriler kullanılarak yapılan orijinal bulgular ve yazım, yapılan çalışmanın orijinal çalışmayı mümkün olduğunca sıkı bir şekilde takip etmeye çalışan bir tekrarlama çalışması olduğunu belirtmelidir.
Engelleme
Bloklama, deneysel birimlerin birbirine benzer birimlerden oluşan gruplara (bloklara) rastgele olmayan şekilde düzenlenmesidir. Engelleme, birimler arasındaki bilinen ancak alakasız varyasyon kaynaklarını azaltır ve böylece incelenen varyasyon kaynağının tahmininde daha fazla kesinlik sağlar.
ortogonallik
Ortogonal faktöriyel tasarım örneği
Ortogonallik, meşru ve verimli bir şekilde gerçekleştirilebilen karşılaştırma biçimleri (karşıtlıklar) ile ilgilidir. Kontrastlar vektörlerle temsil edilebilir ve dikey kontrast kümeleri, veriler normalse korelasyonsuz ve bağımsız olarak dağıtılır. Bu bağımsızlık nedeniyle, her bir ortogonal tedavi, diğerlerine farklı bilgiler sağlar. Varsa T tedavileri ve T - 1 ortogonal kontrastlar, deneyden yakalanabilir tüm bilgiler tezat kümesinden elde edilebilecektir.
faktöriyel deneyler
Her seferinde bir faktör yöntemi yerine faktöriyel deneylerin kullanılması. Bunlar, çeşitli faktörlerin (bağımsız değişkenler) etkilerini ve olası etkileşimlerini değerlendirmede etkilidir . Analiz deney tasarımının temeli üzerine inşa edilmiştir varyans analizi , modellerin bir koleksiyon yapan deney tahmin veya test edilmelidir hangi faktörlerin göre bölme bileşenlerine gözlenen varyansı.

Örnek

1850.JPG tablosunda denge

Bu tasarım deneyleri örneği, Frank Yates'ten alınan örnekler üzerine inşa edilen Harold Hotelling'e atfedilmiştir . Bu örnekte tasarlanan deneyler kombinatoryal tasarımları içerir .

Sekiz nesnenin ağırlıkları, bir pan terazisi ve bir dizi standart ağırlık kullanılarak ölçülür . Her tartım, terazi dengeye gelene kadar daha hafif kefeye kalibre edilmiş ağırlıklar ekleyerek sol kefedeki nesneler ile sağ kefedeki herhangi bir cisim arasındaki ağırlık farkını ölçer. Her ölçümün rastgele bir hatası vardır . Ortalama hata sıfırdır; Standart sapmalar ve olasılık dağılımının farklı hata tartım aynı sayıda σ olduğu; Farklı tartımlardaki hatalar bağımsızdır . Gerçek ağırlıkları şu şekilde belirtin:

İki farklı deneyi ele alıyoruz:

  1. Her nesneyi bir kapta, diğer kap boşken tartın. i = 1, ..., 8 için nesnenin ölçülen ağırlığı X i olsun .
  2. Sekiz tartımı aşağıdaki çizelgeye göre yapın ve i = 1, ..., 8 için ölçülen fark Y i olsun :
Daha sonra ağırlık tahmini değeri İçeride ISTV melerin RWMAIWi'nin 1 olduğu
Diğer kalemlerin ağırlıkları için de benzer tahminler bulunabilir. Örneğin

Deney tasarımı sorusu şudur: Hangi deney daha iyi?

Tahminin varyansı X 1 arasında θ 1 olduğunu σ 2 biz ilk denemeyi kullanırsanız. Ancak ikinci deneyi kullanırsak, yukarıda verilen tahminin varyansı σ 2 /8'dir. Böylece ikinci deney bize tek bir öğenin tahmini için 8 kat daha fazla kesinlik verir ve tüm öğeleri aynı hassasiyetle aynı anda tahmin eder. İkinci deneyin sekiz ile elde ettiği şey, eğer parçalar ayrı ayrı tartılırsa 64 tartım gerektirecektir. Ancak, ikinci deneyde elde edilen maddelerin tahminlerinin birbiriyle ilişkili hatalara sahip olduğuna dikkat edin.

Deney tasarımının birçok problemi, bu örnekte ve diğerlerinde olduğu gibi kombinatoryal tasarımları içerir .

Yanlış pozitiflerden kaçınmak

Genellikle yayınlama baskısından veya yazarın kendi doğrulama yanlılığından kaynaklanan yanlış pozitif sonuçlar, birçok alanda doğal bir tehlikedir. Veri toplama aşamasında potansiyel olarak yanlış pozitiflere yol açan önyargıları önlemenin iyi bir yolu, çift kör bir tasarım kullanmaktır. Çift kör tasarım kullanıldığında, katılımcılar rastgele deney gruplarına atanır ancak araştırmacı hangi katılımcıların hangi gruba ait olduğunun farkında değildir. Bu nedenle araştırmacı, katılımcıların müdahaleye verdiği yanıtı etkileyemez. Açıklanmayan serbestlik derecelerine sahip deneysel tasarımlar bir problemdir. Bu, bilinçli veya bilinçsiz " p-hackleme "ye yol açabilir : istenen sonucu elde edene kadar birden fazla şeyi denemek. Tipik olarak, istatistiksel analiz sürecinin manipülasyonunu - belki de bilinçsizce - ve istatistiksel anlamlılığın p<.05 seviyesinin altında bir rakam verene kadar serbestlik derecelerini içerir. Dolayısıyla deneyin tasarımı, yapılacak analizleri öneren açık bir ifade içermelidir. P-hack, araştırmacıların veri analiz planlarını daha veri toplamaya başlamadan önce makalelerini yayınlamak istedikleri dergiye göndermeleri gereken ön kayıt yaptırılarak önlenebilir, bu nedenle veri manipülasyonu mümkün değildir ( https://osf ) .io ). Bunu önlemenin bir başka yolu, çift-kör tasarımı veri analizi aşamasına getirmektir; burada veriler, verileri karıştıran araştırmayla ilgisi olmayan bir veri analistine gönderilir, böylece daha önce hangi katılımcıların ait olduğunu bilmenin bir yolu yoktur. potansiyel olarak aykırı değerler olarak alınırlar.

Sonuçların tekrarını desteklemek için deneysel metodolojinin açık ve eksiksiz dokümantasyonu da önemlidir.

Deneysel bir tasarım kurarken tartışma konuları

Deneysel bir tasarım veya randomize bir klinik deney, deneyi gerçekten yapmadan önce birkaç faktörün dikkatli bir şekilde değerlendirilmesini gerektirir. Deneysel tasarım, deneyi yapmadan önce ayrıntılı bir deney planının düzenlenmesidir. Aşağıdaki konulardan bazıları, deneysel tasarım ilkeleri bölümünde zaten tartışılmıştır:

  1. Tasarımın kaç faktörü var ve bu faktörlerin seviyeleri sabit mi yoksa rastgele mi?
  2. Kontrol koşullarına ihtiyaç var mı ve bunlar ne olmalı?
  3. Manipülasyon kontrolleri; manipülasyon gerçekten işe yaradı mı?
  4. Arka plan değişkenleri nelerdir?
  5. Örnek boyutu nedir. Deneyin genellenebilir olması ve yeterli güce sahip olması için kaç birim toplanmalıdır ?
  6. Faktörler arasındaki etkileşimlerin önemi nedir?
  7. Asli faktörlerin gecikmeli etkilerinin sonuçlar üzerindeki etkisi nedir?
  8. Tepki değişiklikleri öz bildirim önlemlerini nasıl etkiler?
  9. Son test ve takip testleri ile aynı ölçü aletlerinin farklı durumlarda aynı birimlere tekrar tekrar uygulanması ne kadar mümkün?
  10. Bir proxy ön testi kullanmaya ne dersiniz?
  11. Gizli değişkenler var mı?
  12. Müşteri/hasta, araştırmacı ve hatta verilerin analisti koşullara karşı kör olmalı mı?
  13. Aynı birimlere farklı koşulların daha sonra uygulanmasının fizibilitesi nedir?
  14. Her bir kontrol ve gürültü faktöründen kaç tanesi dikkate alınmalıdır?

Bir çalışmanın bağımsız değişkeni genellikle birçok seviyeye veya farklı gruplara sahiptir. Gerçek bir deneyde, araştırmacılar, müdahale testinin hipotezin uygulandığı bir deney grubuna ve deney grubuyla aynı öğeye sahip bir kontrol grubuna müdahale öğesi olmadan sahip olabilir. Böylece, bir müdahale dışında diğer her şey sabit tutulduğunda, araştırmacılar, gözlemlenen değişikliğe neden olan şeyin bu tek unsur olduğunu kesin olarak onaylayabilirler. Bazı durumlarda, bir kontrol grubuna sahip olmak etik değildir. Bu bazen iki farklı deney grubu kullanılarak çözülür. Bazı durumlarda, örneğin farklı bir hastalığı olan iki grup arasındaki farkı test ederken veya cinsiyetler arasındaki farkı test ederken (açıkça katılımcıları atamak zor veya etik olmayan değişkenler) bağımsız değişkenler manipüle edilemez. Bu durumlarda, yarı deneysel bir tasarım kullanılabilir.

nedensel atıflar

Saf deneysel desende, bağımsız (yordayıcı) değişken araştırmacı tarafından manipüle edilir - yani araştırmaya katılan her katılımcı evrenden rastgele seçilir ve seçilen her katılımcı bağımsız değişkenin koşullarına rastgele atanır. Ancak bu yapıldığında, sonuç değişkenlerindeki farklılıkların nedeninin farklı koşullardan kaynaklandığının yüksek olasılıkla belgelenmesi mümkündür. Bu nedenle, araştırmacılar mümkün olduğunda diğer tasarım türleri yerine deneysel tasarımı seçmelidir. Ancak bağımsız değişkenin doğası her zaman manipülasyona izin vermez. Bu gibi durumlarda, araştırmacılar, tasarımları buna izin vermediğinde nedensel ilişkilendirmeyi onaylamadıklarının farkında olmalıdır. Örneğin, gözlemsel tasarımlarda, katılımcılar koşullara rastgele atanmaz ve bu nedenle, koşullar arasında sonuç değişkenlerinde bulunan farklılıklar varsa, sonuçlardaki farklılıklara neden olan koşullar arasındaki farklılıklardan başka bir şey olması muhtemeldir. is – üçüncü bir değişken. Aynı şey korelasyonel tasarımlı çalışmalar için de geçerlidir. (Adér & Mellenbergh, 2008).

istatistiksel kontrol

Tasarlanmış deneyleri gerçekleştirmeden önce bir sürecin makul istatistiksel kontrolde olması en iyisidir. Bu mümkün olmadığında, uygun engelleme, çoğaltma ve rastgeleleştirme, tasarlanmış deneylerin dikkatli bir şekilde yürütülmesine izin verir. Rahatsız edici değişkenleri kontrol etmek için, araştırmacılar ek önlemler olarak kontrol kontrolleri başlatır. Araştırmacılar, kontrolsüz etkilerin (örneğin, kaynak güvenilirliği algısı) çalışmanın bulgularını çarpıtmamasını sağlamalıdır. Bir manipülasyon kontrolü , bir kontrol kontrolünün bir örneğidir. Manipülasyon kontrolleri, müfettişlerin, bu değişkenlerin planlandığı gibi çalıştığına dair desteği güçlendirmek için ana değişkenleri izole etmelerine olanak tanır.

Deneysel araştırma tasarımlarının en önemli gereksinimlerinden biri, sahte , araya giren ve öncül değişkenlerin etkilerinin ortadan kaldırılması gerekliliğidir . En temel modelde neden (X) sonuca (Y) yol açar. Ancak (Y)'yi etkileyen üçüncü bir değişken (Z) olabilir ve X gerçek neden olmayabilir. Z'nin sahte bir değişken olduğu ve kontrol edilmesi gerektiği söylenir. Bunlar için de geçerlidir değişkenleri araya giren (gerçek nedeni olan bir değişkendir sözde neden önce (X)) (sözde neden (X) ve etkisi (Y) arasında bir değişken) ve değişkenlerin anteceding. Üçüncü bir değişken söz konusu olduğunda ve kontrol edilmediğinde, ilişkinin sıfır dereceli bir ilişki olduğu söylenir . Deneysel araştırma tasarımlarının çoğu pratik uygulamasında birkaç neden vardır (X1, X2, X3). Çoğu tasarımda, bir seferde bu nedenlerden yalnızca biri manipüle edilir.

Fisher'dan sonra deneysel tasarımlar

Birkaç ana etkiyi tahmin etmek için bazı etkili tasarımlar bağımsız olarak ve 1940 yılında Hindistan İstatistik Enstitüsü'nde Raj Chandra Bose ve K. Kishen tarafından neredeyse birbirini takip ederek bulundu , ancak Plackett-Burman tasarımları 1946'da Biometrika'da yayınlanana kadar çok az biliniyordu . aynı zamanda, CR Rao , ortogonal dizilerin kavramlarını deneysel tasarımlar olarak tanıttı . Bu kavram , 1950'lerin başında Hindistan İstatistik Enstitüsü'nü ziyareti sırasında gerçekleşen Genichi Taguchi tarafından Taguchi yöntemlerinin geliştirilmesinde merkezi bir rol oynadı . Yöntemleri Japon ve Hint endüstrileri tarafından başarıyla uygulandı ve benimsendi ve daha sonra bazı çekincelerle de olsa ABD endüstrisi tarafından da benimsendi.

1950'de Gertrude Mary Cox ve William Gemmell Cochran , daha sonra yıllarca istatistikçiler için deney tasarımı konusunda ana referans çalışması haline gelen Deneysel Tasarımlar kitabını yayınladı .

Doğrusal modeller teorisindeki gelişmeler, ilk yazarları ilgilendiren durumları kapsadı ve aştı. Bugün, teori lineer cebir , cebir ve kombinatorikteki ileri konulara dayanmaktadır .

İstatistik diğer dalları gibi, deney tasarımı hem de kullanılarak takip edilir frequentist ve Bayes yaklaşımlar: deney tasarımları gibi istatistiksel prosedürler değerlendirirken, frequentist istatistik çalışmalar örnek dağılımı ise Bayes istatistik bir güncelleştirir olasılık dağılımını parametre alanı.

Deneysel tasarımlar alanına bazı önemli katkı sağlayanlar CS Peirce , RA Fisher , F. Yates , RC Bose , AC Atkinson , RA Bailey , DR Cox , GEP Box , WG Cochran , WT Federer , VV Fedorov , AS Hedayat , J. Kiefer'dir. , O. Kempthorne , JA Nelder , Andrej Pázman , Friedrich Pukelsheim , D. Raghavarao , CR Rao , Shrikhande SS , JN Srivastava , William J. Studden , G. Taguchi ve HP Wynn .

D. Montgomery, R. Myers ve G. Box/W'nin ders kitapları. Hunter/JS Hunter, nesiller boyu öğrenci ve uygulayıcılara ulaşmıştır.

Sistem tanımlama (statik veya dinamik modeller için model oluşturma) bağlamında deneysel tasarımın bazı tartışmaları şurada verilmiştir ve

İnsan katılımcı kısıtlamaları

Yasalar ve etik düşünceler, insan deneklerle dikkatle tasarlanmış bazı deneyleri engeller. Yasal kısıtlamalar yargı yetkisine bağlıdır . Kısıtlamalar, hem klinik (tıbbi) denemeleri hem de davranışsal ve sosyal bilim deneylerini etkileyen kurumsal inceleme kurullarını , bilgilendirilmiş onam ve gizliliği içerebilir . Örneğin toksikoloji alanında, insanlar için güvenli maruz kalma sınırlarını belirlemek amacıyla laboratuvar hayvanları üzerinde deneyler yapılır . Kısıtlamaları dengelemek tıp alanından gelen görüşlerdir. Hastaların randomizasyonu ile ilgili olarak, "...hiç kimse hangi terapinin daha iyi olduğunu bilmiyorsa, şu ya da bu terapiyi kullanmak için etik bir zorunluluk yoktur." (s 380) Deneysel tasarımla ilgili olarak, "... kötü tasarlanmış bir çalışmada denekleri veri toplamak için riske atmak, bu durumdan kolayca kaçınılabilirken açıkça etik değildir...". (s 393)

Ayrıca bakınız

Referanslar

Kaynaklar

  • Peirce, CS (1877-1878), "Bilim Mantığının Çizimleri" (dizi), Popular Science Monthly , cilt. 12-13. İlgili bireysel belgeler:
    • (1878 Mart), "The Doctrine of Chances", Popular Science Monthly , cilt 12, Mart sayısı, s. 604 –615. İnternet Arşivi Eprint .
    • (1878 Nisan), "Tümevarım Olasılığı", Popular Science Monthly , cilt 12, s. 705 –718. İnternet Arşivi Eprint .
    • (1878 Haziran), "Doğa Düzeni", Popular Science Monthly , cilt 13, s. 203 –217. İnternet Arşivi Eprint .
    • (1878 Ağustos), "Tümdengelim, Tümevarım ve Hipotez", Popular Science Monthly , cilt 13, s. 470 –482. İnternet Arşivi Eprint .
    • (1883), "Muhtemel Çıkarım Teorisi", Mantık Çalışmaları , s. 126-181 , Little, Brown, and Company. (Yeniden basılmıştır 1983, John Benjamins Publishing Company, ISBN  90-272-3271-7 )

Dış bağlantılar