Simpson'ın paradoksu - Simpson's paradox

Nicel veriler için Simpson'ın paradoksu: olumlu bir eğilim ( ,  ) iki ayrı grup için görünürken, negatif bir eğilim ( ) gruplar birleştirildiğinde görünür.

Simpson'ın gerçek dünyadaki değişkenliğe benzeyen veriler üzerindeki paradoksunun görselleştirilmesi, gerçek ilişkinin yanlış değerlendirilmesi riskinin fark edilmesinin zor olabileceğini gösteriyor.

Simpson'ın başka isimlerle de anılan paradoksu , bir eğilimin birkaç veri grubunda göründüğü, ancak gruplar birleştirildiğinde kaybolduğu veya tersine döndüğü olasılık ve istatistikte bir olgudur . Bu sonuç genellikle sosyal bilimler ve tıp bilimi istatistiklerinde görülür ve özellikle sıklık verilerine gereğinden fazla nedensel yorumlar verildiğinde sorunludur . Karıştırıcı değişkenler ve nedensel ilişkiler istatistiksel modellemede uygun şekilde ele alındığında paradoks çözülebilir . Simpson'ın paradoksu, istatistiklerin kötüye kullanılmasının üretebileceği türden yanıltıcı sonuçları göstermek için kullanılmıştır .

Edward H. Simpson bu fenomeni ilk olarak 1951'de teknik bir makalede tanımladı, ancak istatistikçiler Karl Pearson ve diğerleri, 1899'da ve Udny Yule , 1903'te benzer etkilerden daha önce bahsetmişti. Simpson paradoksu adı Colin R. Blyth tarafından 1972'de tanıtıldı. Aynı zamanda Simpson'ın tersine çevrilmesi , Yule-Simpson etkisi , birleşme paradoksu veya geri dönüş paradoksu olarak da anılır .

Örnekler

UC Berkeley cinsiyet önyargısı

Simpson'ın paradoksunun en iyi bilinen örneklerinden biri , California Üniversitesi, Berkeley'e lisansüstü okula kabuller arasındaki cinsiyet yanlılığı üzerine yapılan bir çalışmadan gelir . 1973 sonbaharı için kabul rakamları, başvuran erkeklerin kadınlardan daha olası olduğunu ve farkın o kadar büyük olduğunu gösterdi ki, şans eseri olması pek mümkün değildi.

Bununla birlikte, tek tek bölümler incelendiğinde, 85 bölümden 6'sının erkeklere karşı önemli ölçüde önyargılı olduğu, 4'ünün ise kadınlara karşı önemli ölçüde önyargılı olduğu ortaya çıktı. Toplamda, havuzlanmış ve düzeltilmiş veriler "kadınlar lehine küçük ama istatistiksel olarak anlamlı bir önyargı" gösterdi. En büyük altı departmandan alınan veriler aşağıda listelenmiştir, her cinsiyet için başvuru sayısına göre ilk iki departman italik yazılmıştır.

Bickel ve ark. Kadınların, nitelikli başvuru sahipleri arasında bile (örneğin İngilizce bölümünde olduğu gibi) daha düşük kabul oranlarına sahip daha rekabetçi bölümlere başvurma eğiliminde oldukları sonucuna varırken, erkeklerin daha yüksek kabul oranlarına sahip daha az rekabetçi bölümlere (mühendislik bölümü gibi) başvurma eğiliminde oldukları sonucuna varmıştır. ).

Böbrek taşı tedavisi

Başka bir örnek, böbrek taşları için iki tedavinin başarı oranlarını karşılaştıran gerçek hayattaki bir tıbbi çalışmadan alınmıştır . Aşağıdaki tablo, Tedavi A'nın açık cerrahi prosedürleri ve Tedavi B'nin kapalı cerrahi prosedürleri içerdiği hem küçük hem de büyük böbrek taşlarını içeren tedaviler için başarı oranlarını (burada başarı oranı terimi aslında başarı oranı anlamına gelir) ve tedavilerin sayısını göstermektedir. Parantez içindeki sayılar, grubun toplam büyüklüğü üzerindeki başarı vakalarının sayısını gösterir.

Paradoksal sonuç, A tedavisinin küçük taşlarda ve aynı zamanda büyük taşlarda kullanıldığında daha etkili olduğu, ancak B tedavisinin her iki boyut aynı anda ele alındığında daha etkili olduğudur. Bu örnekte, paradoksa neden olan "gizli" değişken (veya kafa karıştırıcı değişken ), daha önce araştırmacılar tarafından etkileri dahil edilene kadar önemli olmadığı bilinen taşların boyutudur.

Hangi tedavinin daha iyi olduğu, hangi başarı oranının (başarı/toplam) daha büyük olduğuna göre belirlenir. Simpson paradoksunu oluşturan birleştirilmiş veriler göz önüne alındığında iki oran arasındaki eşitsizliğin tersine dönmesi, iki etkinin birlikte ortaya çıkması nedeniyle gerçekleşir:

1. Gizlenen değişken göz ardı edildiğinde birleştirilen grupların boyutları çok farklıdır. Doktorlar büyük taşları olan vakalara daha iyi tedavi A ve küçük taşları olan vakalara daha düşük tedavi B'yi verme eğilimindedir. Bu nedenle, toplamlara çok daha küçük iki grup 1 ve 4 tarafından değil, grup 3 ve 2 hakimdir.
2. Gizli değişken olan taş boyutu, oranlar üzerinde büyük bir etkiye sahiptir; yani başarı oranı, tedavi seçiminden ziyade vakanın ciddiyetinden daha güçlü bir şekilde etkilenir. Bu nedenle, A tedavisini kullanan büyük taşlı hasta grubu (grup 3), ikinci tedavi B'yi kullansa bile (grup 2) küçük taşlı gruptan daha kötü sonuç verir.

Bu etkilere dayanarak, paradoksal sonucun ortaya çıktığı görülmektedir, çünkü taşların boyutunun etkisi, daha iyi tedavinin faydalarını bastırmaktadır (A). Kısacası, daha az etkili olan B tedavisi, tedavisi daha kolay olan küçük taş vakalarına daha sık uygulandığı için daha etkili görünüyordu.

Vuruş ortalamaları

Simpson paradoksunun yaygın bir örneği, profesyonel beyzboldaki oyuncuların vuruş ortalamalarını içerir . Bir oyuncunun birkaç yıl boyunca her yıl diğer bir oyuncudan daha yüksek bir vuruş ortalamasına sahip olması mümkündür, ancak tüm bu yıllar boyunca daha düşük bir vuruş ortalamasına sahip olması mümkündür. Bu fenomen , yıllar arasında yarasa sayısında büyük farklılıklar olduğunda ortaya çıkabilir . Matematikçi Ken Ross , 1995 ve 1996 yıllarında iki beyzbol oyuncusu Derek Jeter ve David Justice'in vuruş ortalamasını kullanarak bunu gösterdi :

Hem 1995 hem de 1996'da Justice, Jeter'den daha yüksek bir vuruş ortalamasına (kalın harflerle) sahipti. Bununla birlikte, iki beyzbol sezonu birleştirildiğinde, Jeter, Adalet'ten daha yüksek bir vuruş ortalaması gösterir. Ross'a göre, bu fenomen olası oyuncu çiftleri arasında yılda yaklaşık bir kez gözlemlenecekti.

vektör yorumlama

Simpson paradoksunun vektör yorumu

Simpson'ın paradoksu, 2 boyutlu bir vektör uzayı kullanılarak da gösterilebilir . Bir başarı oranı (yani, başarıları / deneme ), bir ile temsil edilebilir vektör a, eğim arasında . Daha dik bir vektör daha büyük bir başarı oranını temsil eder. İki oran ise ve birleştirilir, yukarıda verilen örnekte olduğu gibi, sonuç vektörlerinin toplamı ile temsil edilebilir ve uygun, paralelkenar kural vektörüdür eğimle, . ${\displaystyle \textstyle {\frac {p}{q}}}$ ${\displaystyle {\overrightarrow {A}}=(q,p)}$${\displaystyle \textstyle {\frac {p}{q}}}$${\displaystyle \textstyle {\frac {p_{1}}{q_{1}}}}$${\displaystyle \textstyle {\frac {p_{2}}{q_{2}}}}$${\displaystyle (q_{1},p_{1})}$${\displaystyle (q_{2},p_{2})}$${\displaystyle (q_{1}+q_{2},p_{1}+p_{2})}$${\displaystyle \textstyle {\frac {p_{1}+p_{2}}{q_{1}+q_{2}}}}$

Simpson paradoksu, bir vektörün (şekilde turuncu renkte) diğer bir vektörden (mavi renkte) daha küçük bir eğime sahip olsa ve 'den daha küçük bir eğime sahip olsa bile , iki vektörün toplamının potansiyel olarak toplamından daha büyük bir eğime sahip olabileceğini söylüyor. örnekte gösterildiği gibi iki vektör . Bunun gerçekleşmesi için turuncu vektörlerden birinin mavi vektörlerden (burada ve ) birinden daha büyük bir eğime sahip olması gerekir ve bunlar genellikle alternatif olarak abone olunan vektörlerden daha uzun olacaktır ve bu nedenle genel karşılaştırmaya hakim olacaktır. ${\displaystyle {\overrightarrow {L_{1}}}}$${\displaystyle {\overrightarrow {B_{1}}}}$${\displaystyle {\overrightarrow {L_{2}}}}$${\displaystyle {\overrightarrow {B_{2}}}}$${\displaystyle {\overrightarrow {L_{1}}}+{\overrightarrow {L_{2}}}}$${\displaystyle {\overrightarrow {B_{1}}}+{\overrightarrow {B_{2}}}}$${\displaystyle {\overrightarrow {L_{2}}}}$${\displaystyle {\overrightarrow {B_{1}}}}$

değişkenler arasındaki korelasyon

Simpson'ın paradoksu, iki değişkenin (diyelim ki) birbiriyle pozitif bir korelasyona sahip gibi göründüğü, aslında negatif bir korelasyona sahip oldukları, tersine dönüşün "gizlenen" bir karıştırıcı tarafından getirildiği korelasyonlarda da ortaya çıkabilir . Berman et al. Bir veri kümesinin , beklentinin aksine, genel talebin fiyatla pozitif olarak ilişkili olduğunu (yani, daha yüksek fiyatların daha fazla talebe yol açtığını ) öne sürdüğü ekonomiden bir örnek verin . Analiz, zamanın kafa karıştırıcı değişken olduğunu ortaya koyuyor: hem fiyatı hem de talebi zamana karşı çizmek, çeşitli dönemler boyunca beklenen negatif korelasyonu ortaya çıkarır; bu, daha sonra, talebin fiyata karşı grafiğini çizerek zamanın etkisi göz ardı edilirse pozitife döner.

Psikoloji

Simpson'ın paradoksuna psikolojik ilgi, insanların, hem bir koşul altında hem de onun olumsuzlanması altında tercih edilen bir eylemin, koşul bilinmediğinde reddedilmesi gerektiği fikrinden rahatsız olarak, işaretin tersine çevrilmesini ilk başta imkansız gördüklerini açıklamaya çalışır. Soru, insanların bu güçlü sezgiyi nereden aldıkları ve bunun zihinde nasıl kodlandığıdır .

Simpson'ın paradoksu, bu sezginin ne klasik mantıktan ne de olasılık hesabından tek başına çıkarılamayacağını gösterir ve bu nedenle filozofları , insanları eylemler ve sonuçları hakkında akıl yürütmeye yönlendiren doğuştan gelen bir nedensel mantık tarafından desteklendiği konusunda spekülasyon yapmaya yönlendirir. Savage'ın kesinlik ilkesi , böyle bir mantığın neleri gerektirebileceğinin bir örneğidir. Vahşi'nin kesin bir şey ilkesinin nitelikli versiyonu gerçekten Pearl elde edilebilir do -calculus ve okur: "Bir eylem A artışları bir olay ihtimalini o B her alt popülasyonu, C _i arasında C de olasılığını arttırmak gerekir B nüfus olarak eylemin alt popülasyonların dağılımını değiştirmemesi şartıyla bir bütün. Bu, eylemler ve sonuçlar hakkındaki bilgilerin Nedensel Bayes Ağlarına benzeyen bir biçimde saklandığını gösterir .

olasılık

Pavlides ve Perlman'ın bir makalesi, Hadjicostas'tan dolayı, düzgün dağılımlı rastgele bir 2 × 2 × 2 tabloda, Simpson paradoksunun tam olarak 1 ⁄ 60 olasılıkla gerçekleşeceğinin bir kanıtını sunar . Kock tarafından yapılan bir araştırma, Simpson paradoksunun iki tahmin edici ve bir kriter değişkenli yol modellerinde (yani, yol analizi ile oluşturulan modeller) rastgele meydana gelme olasılığının yaklaşık yüzde 12.8 olduğunu; 8 yol modeli başına 1'den biraz daha yüksek.

Simpson'ın ikinci paradoksu

Daha az bilinen ikinci bir paradoks da Edward H. Simpson'ın 1951 tarihli makalesinde tartışıldı . Simpson paradoksunda olduğu gibi, "mantıklı yorum" mutlaka ayrılmış verilerde bulunmadığında ortaya çıkabilir, bunun yerine birleşik verilerde bulunabilir. Hangi veri biçiminin kullanılması gerektiği arka plana ve veriyi oluşturan sürece bağlıdır, yani verilerin doğru yorumlanması her zaman sadece tablolara bakarak belirlenemez.

Ayrıca bakınız

• Anscombe's quartet  – Aynı tanımlayıcı istatistiklere sahip ancak çok farklı dağılımlara sahip dört veri seti
• Berkson'ın paradoksu  - Koşullu olasılıkları içeren istatistiksel deneyleri yanlış yorumlama eğilimi
• Kiraz toplama  – Eksik kanıt yanılgısı
• Condorcet paradoksu  - Kolektif tercihlerin döngüsel olduğu sosyal seçim teorisindeki durum
• Ekolojik yanılgı  – Grup özellikleri bireylere uygulandığında ortaya çıkan mantıksal yanılgı
• Düşük doğum ağırlığı paradoksu  – Sigara içen annelerin çocuklarının doğum ağırlıkları ve ölüm oranlarında görünüşte paradoksal gözlem
• Değiştirilebilir alan birimi sorunu  – Mekansal olayların nokta tabanlı ölçümleri ilçelerde toplandığında karşılaşılan istatistiksel önyargı
• Savcının yanılgısı  – İstatistiksel muhakeme yanılgısı

Referanslar

bibliyografya

• Leila Schneps ve Coralie Colmez , Math yargılanıyor. Mahkeme salonunda sayıların nasıl kullanıldığı ve kötüye kullanıldığı , Basic Books, 2013. ISBN  978-0-465-03292-1 . (Altıncı bölüm: "Matematik hatası 6: Simpson paradoksu. Berkeley cinsiyet yanlılığı vakası: ayrımcılık tespiti").

Dış bağlantılar

• Simpson'ın Paradoksu , Stanford Felsefe Ansiklopedisi'nde, Jan Sprenger ve Naftali Weinberger tarafından.
• İstatistikler nasıl yanıltıcı olabilir – Mark Liddell – TED-Ed video ve ders.
• Pearl, Judea , "Simpson'ın Paradoksunu Anlamak" (PDF)
• Simpson's Paradox , Alexander Bogomolny tarafından Simpson'ın paradoksunun vektör yorumu üzerine kısa bir makale
• 2 Aralık 2009 tarihli Wall Street Journal sütunu "The Numbers Guy" , haberlerde Simpson paradoksunun son örneklerini ele aldı. Özellikle, 2009 durgunluğunun işsizlik oranlarının 1983 durgunluğu ile karşılaştırılmasında bir Simpson paradoksu.
• At the Plate, a Statistical Puzzler: Anlamak Simpson's Paradox by Arthur Smith, 20 Ağustos 2010
• Simpson's Paradox , MinutePhysics'ten Henry Reich tarafından hazırlanan bir video