Karşılıklı bilgi - Mutual information

bilgi teorisi
Entropi diferansiyel entropi koşullu entropi ortak entropi Karşılıklı bilgi Koşullu karşılıklı bilgi göreli entropi entropi oranı Ayrık noktaların sınırlama yoğunluğu Sonlu blok uzunluk bilgi teorisi
Asimptotik eşbölme özelliği Hız-bozulma teorisi
Shannon'ın kaynak kodlama teoremi Kanal kapasitesi Gürültülü kanal kodlama teoremi Shannon-Hartley teoremi
v T e

Olarak olasılık teorisi ve bilgi teorisi , karşılıklı bilgi ( MI iki) rastgele değişkenlerin karşılıklı bir ölçüsüdür bağlı iki değişken arasında. Daha spesifik olarak, diğer rastgele değişkeni gözlemleyerek bir rastgele değişken hakkında elde edilen " bilgi miktarını " ( shannons ( bits ), nats veya hartleys gibi birimlerde ) nicelendirir . Karşılıklı bilgi kavramı, rastgele bir değişkende tutulan beklenen "bilgi miktarını" ölçen bilgi teorisindeki temel bir kavram olan rastgele bir değişkenin entropisi ile yakından bağlantılıdır .

Reel değerli rassal değişkenler ve benzeri lineer bağımlılığı ile sınırlı değil korelasyon katsayısının , MI daha geneldir ve ne kadar farklı belirleyen ortak dağıtım çiftinin marjinal dağılımların üründen olduğunu ve . MI olan beklenen değer bir noktasal karşılıklı bilgi (PMI). ${\görüntüleme stili (X,Y)}$${\görüntüleme stili X}$${\görüntüleme stili Y}$

Miktar, Claude Shannon tarafından dönüm noktası niteliğindeki " A Mathematical Theory of Communication " adlı makalesinde tanımlandı ve analiz edildi , ancak buna "karşılıklı bilgi" demedi. Bu terim daha sonra Robert Fano tarafından icat edildi . Karşılıklı Bilgi, bilgi kazancı olarak da bilinir .

Tanım

Boşluk üzerinde değerleri olan bir rasgele değişken çifti olsun . Ortak dağılımları ise ve marjinal dağılımları ise ve ise, karşılıklı bilgi şu şekilde tanımlanır: ${\görüntüleme stili (X,Y)}$${\displaystyle {\mathcal {X}}\times {\mathcal {Y}}}$${\görüntüleme stili P_{(X,Y)}}$${\görüntüleme stili P_{X}}$${\görüntüleme stili P_{Y}}$

nerede olduğunu Kullback-Leibler sapma . ${\displaystyle D_{\mathrm {KL} }}$

Bildirim, malı göre Kullback-Leibler sapma , yani zaman marjinaller ürünü, ortak dağıtım çakışmaktadır tam olarak ne zaman sıfıra eşittir ve bağımsız (ve dolayısıyla gözlemleyerek hakkında hiçbir şey anlatır ). Genel olarak negatif değildir, gerçekte olmadıklarında, bir çift bağımsız rasgele değişken olarak kodlamanın fiyatının bir ölçüsüdür . ${\görüntüleme stili I(X;Y)}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili Y}$${\görüntüleme stili X}$${\görüntüleme stili I(X;Y)}$${\görüntüleme stili (X,Y)}$

Ayrık dağılımlar için PMF'ler açısından

Ortaklaşa ayrık iki rastgele değişkenin karşılıklı bilgisi ve çift ​​toplamı olarak hesaplanır: ${\görüntüleme stili X}$${\görüntüleme stili Y}$

burada bir birleşik olasılık kütle fonksiyonu arasında ve ve ve vardır marjinal olasılık kütle fonksiyonları ve sırasıyla. ${\görüntüleme stili p_{(X,Y)}}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili p_{X}}$${\görüntüleme stili p_{Y}}$${\görüntüleme stili X}$${\görüntüleme stili Y}$

Sürekli dağıtımlar için PDF'ler açısından

Ortak sürekli rasgele değişkenler söz konusu olduğunda, çift toplam, bir çift ​​katlı integral ile değiştirilir :

nerede şimdi ortak olasılığıdır yoğunluk fonksiyonu ve ve ve marjinal olasılık yoğunluk fonksiyonları ve sırasıyla. ${\görüntüleme stili p_{(X,Y)}}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili p_{X}}$${\görüntüleme stili p_{Y}}$${\görüntüleme stili X}$${\görüntüleme stili Y}$

Eğer günlük tabanı 2 kullanıldığında, karşılıklı bilgi birimleridir bit .

Motivasyon

Sezgisel olarak, karşılıklı bilgi, o ve paylaşılan bilgiyi ölçer : Bu değişkenlerden birinin bilinmesinin diğeri hakkındaki belirsizliği ne kadar azalttığını ölçer. Örneğin, eğer ve bağımsızlarsa, o zaman bilmek hakkında herhangi bir bilgi vermez ve bunun tersi, yani karşılıklı bilgileri sıfırdır. Diğer uçta ise, eğer deterministik bir fonksiyon ise ve onun deterministik bir fonksiyonu ise, o zaman tarafından iletilen tüm bilgiler paylaşılır : bilmek değerini belirler ve bunun tersi de geçerlidir. Bunun bir sonucu olarak, bu durumda, karşılıklı bilgi belirsizlik içinde ihtiva edilen ile aynıdır (ya da tek başına, yani) entropi arasında (ya da ). Üstelik bu karşılıklı bilgi, entropisi ve entropisi ile aynıdır . (Bunun çok özel bir durumu, ne zaman ve ne zaman aynı rastgele değişkendir.) ${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili Y}$${\görüntüleme stili X}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili Y}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili X}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili X}$${\görüntüleme stili Y}$

Karşılıklı bilgi olarak ifade doğasında bağımlılık bir ölçüsüdür ortak dağılım içinde ve marjinal dağılımı göreceli ve bağımsızlık varsayımı altında. Karşılıklı bilgi nedenle aşağıdaki anlamda bağımlılığını ölçen: ve ancak eğer ve bağımsız rasgele değişkenlerdir. Bunu bir yönde görmek kolaydır: eğer ve bağımsızsa, o zaman , ve bu nedenle: ${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\displaystyle \operatöradı {I} (X;Y)=0}$ ${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\displaystyle p_{(X,Y)}(x,y)=p_{X}(x)\cdot p_{Y}(y)}$

${\displaystyle \log {\sol({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{Y}(y)}}\sağ)} =\log 1=0.}$

Ayrıca, karşılıklı bilgi negatif değildir (yani aşağıya bakınız) ve simetriktir (yani aşağıya bakınız). ${\displaystyle \operatöradı {I} (X;Y)\geq 0}$${\displaystyle \operatöradı {I} (X;Y)=\operatöradı {I} (Y;X)}$

Diğer miktarlarla ilişkisi

olumsuzluk

Kullanılması Jensen eşitsizliği bunu gösterebiliriz karşılıklı bilgi tanımına negatif olmayan, yani ${\görüntüleme stili \operatöradı {I} (X;Y)}$

${\displaystyle \operatöradı {I} (X;Y)\geq 0}$

Simetri

${\displaystyle \operatöradı {I} (X;Y)=\operatöradı {I} (Y;X)}$

Koşullu ve ortak entropi ile ilişkisi

Karşılıklı bilgi eşdeğer olarak şu şekilde ifade edilebilir:

${\displaystyle {\begin{hizalanmış}\operatöradı {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X\orta Y)\\&{}\ equiv \mathrm {H} (Y)-\mathrm {H} (Y\mid X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H } (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X\mid Y)-\mathrm {H} (Y\mid X)\end{ hizalı}}}$

burada ve marjinal entropiler , ve vardır koşullu entropi ve bir ortak entropi arasında ve . ${\görüntüleme stili \mathrm {H} (X)}$${\görüntüleme stili \mathrm {H} (Y)}$${\displaystyle \mathrm {H} (X\orta Y)}$${\displaystyle \mathrm {H} (Y\orta X)}$${\görüntüleme stili \mathrm {H} (X,Y)}$${\görüntüleme stili X}$${\görüntüleme stili Y}$

İki kümenin birleşimi, farkı ve kesişimi ile ilgili analojiye dikkat edin: bu bağlamda, yukarıda verilen tüm formüller makalenin başında bildirilen Venn şemasından açıkça görülmektedir.

Çıktının girdinin gürültülü bir versiyonu olduğu bir iletişim kanalı açısından , bu ilişkiler şekilde özetlenmiştir: ${\görüntüleme stili Y}$${\görüntüleme stili X}$

Çünkü negatif değildir, dolayısıyla, . Burada , ortak ayrık rastgele değişkenler durumu için ayrıntılı kesintiyi veriyoruz : ${\görüntüleme stili \operatöradı {I} (X;Y)}$${\displaystyle \mathrm {H} (X)\geq \mathrm {H} (X\orta Y)}$${\displaystyle \operatöradı {I} (X;Y)=\mathrm {H} (Y)-\mathrm {H} (Y\mid X)}$

${\displaystyle {\begin{hizalanmış}\operatöradı {I} (X;Y)&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_ {(X,Y)}(x,y)\log {\frac {p_{(X,Y)}(x,y)}{p_{X}(x)p_{Y}(y)}}\ \&{}=\sum _{x\in {\matematik {X}},y\in {\matematik {Y}}}p_{(X,Y)}(x,y)\log {\frac { p_{(X,Y)}(x,y)}{p_{X}(x)}}-\toplam _{x\in {\matematiksel {X}},y\in {\matematiksel {Y}} }p_{(X,Y)}(x,y)\log p_{Y}(y)\\&{}=\sum _{x\in {\mathcal {X}},y\in {\matematiksel {Y}}}p_{X}(x)p_{Y\mid X=x}(y)\log p_{Y\mid X=x}(y)-\sum _{x\in {\matematiksel { X}},y\in {\matematik {Y}}}p_{(X,Y)}(x,y)\log p_{Y}(y)\\&{}=\sum _{x\in {\mathcal {X}}}p_{X}(x)\left(\sum _{y\in {\mathcal {Y}}}p_{Y\mid X=x}(y)\log p_{Y \mid X=x}(y)\sağ)-\toplam _{y\in {\matematiksel {Y}}}\sol(\sum _{x}p_{(X,Y)}(x,y) \sağ)\log p_{Y}(y)\\&{}=-\sum _{x\in {\mathcal {X}}}p(x)\mathrm {H} (Y\mid X=x )-\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\log p_{Y}(y)\\&{}=-\mathrm {H} (Y\mid X )+\mathrm {H} (Y)\\&{}=\mathrm {H} (Y)-\mathrm {H} (Y\mid X).\\\end{hizalı}}}$

Yukarıdaki diğer kimliklerin ispatları da benzerdir. Genel durumun kanıtı (yalnızca ayrık değil), toplamların yerini alan integrallerle benzerdir.

Entropi eğer Sezgisel, rastgele değişkenin hakkında bir belirsizlik ölçüsü olarak kabul edilir, ardından şeyin bir ölçüsüdür yok değil hakkında söylenecek . Bu, " bilindikten sonra kalan belirsizlik miktarıdır " ve dolayısıyla bu eşitliklerden ikincisinin sağ tarafı "'deki belirsizlik miktarı , eksi bilinenden sonra kalan belirsizlik miktarı " olarak okunabilir. " bilerek ortadan kaldırılan belirsizlik miktarı" ile eşdeğerdir . Bu, her iki değişkeni bilmenin diğeri hakkında sağladığı bilgi miktarı (yani, belirsizlikteki azalma) olarak karşılıklı bilginin sezgisel anlamını doğrular. ${\görüntüleme stili \mathrm {H} (Y)}$${\displaystyle \mathrm {H} (Y\orta X)}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili Y}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili Y}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili X}$

Ayrık durumda ve bu nedenle . Böylece , bir değişkenin kendisi hakkında en az diğer herhangi bir değişkenin sağlayabileceği kadar bilgi içerdiği temel ilkesi formüle edilebilir. ${\displaystyle \mathrm {H} (Y\orta Y)=0}$${\displaystyle \mathrm {H} (Y)=\operatöradı {I} (Y;Y)}$${\displaystyle \operatöradı {I} (Y;Y)\geq \operatöradı {I} (X;Y)}$

Kullback-Leibler ayrışması ile ilişkisi

Birlikte, ayrı veya birlikte sürekli çiftleri için , karşılıklı bilgi Kullback-Leibler ayrışmanın nin ürününden marjinal dağılımlar , ait ortak dağıtımı , yani, ${\görüntüleme stili (X,Y)}$${\displaystyle p_{X}\cdot p_{Y}}$ ${\görüntüleme stili p_{(X,Y)}}$

Ayrıca, koşullu kütle veya yoğunluk fonksiyonu olsun. O zaman kimliğimiz var ${\displaystyle p_{X\mid Y=y}(x)=p_{(X,Y)}(x,y)/p_{Y}(y)}$

Ortak ayrık rastgele değişkenlerin kanıtı aşağıdaki gibidir:

${\displaystyle {\begin{hizalanmış}\operatöradı {I} (X;Y)&=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}} }{p_{(X,Y)}(x,y)\log \left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{ Y}(y)}}\sağ)}\\&=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X\mid Y=y}(x)p_{Y}(y)\log {\frac {p_{X\mid Y=y}(x)p_{Y}(y)}{p_{X}(x)p_{ Y}(y)}}\\&=\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\sum _{x\in {\mathcal {X}}}p_{ X\mid Y=y}(x)\log {\frac {p_{X\mid Y=y}(x)}{p_{X}(x)}}\\&=\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\;D_{\text{KL}}\!\left(p_{X\mid Y=y}\parallel p_{X}\sağ)\\ &=\mathbb {E} _{Y}\left[D_{\text{KL}}\!\left(p_{X\mid Y}\parallel p_{X}\sağ)\sağ].\end{ hizalı}}}$

Benzer şekilde, bu özdeşlik ortak sürekli rasgele değişkenler için oluşturulabilir.

Burada Kullback-Leibler ayrışmasının yalnızca rastgele değişkenin değerleri üzerinden entegrasyonu içerdiğine ve ifadenin rastgele olduğu için yine de rastgele bir değişkeni gösterdiğine dikkat edin . Bu nedenle, karşılıklı bilgi aynı zamanda şu şekilde anlaşılabilir beklentisi içinde Kullback-Leibler farklılık tek değişkenli dağıtım bölgesinin gelen koşullu dağılımı arasında verilen : dağılımları daha fazla farklı ve daha, ortalama olarak bilgi kazancı . ${\görüntüleme stili X}$${\displaystyle D_{\text{KL}}(p_{X\mid Y}\paralel p_{X})}$${\görüntüleme stili Y}$ ${\görüntüleme stili p_{X}}$${\görüntüleme stili X}$ ${\displaystyle p_{X\orta Y}}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\displaystyle p_{X\orta Y}}$${\görüntüleme stili p_{X}}$

Karşılıklı bilginin Bayes tahmini

Ortak bir dağılımdan örnekler mevcutsa, bu dağılımın karşılıklı bilgilerini tahmin etmek için bir Bayes yaklaşımı kullanılabilir. Bunu yapan ilk çalışma, karşılıklı bilginin yanı sıra diğer birçok bilgi-teorik özelliğin Bayes tahmininin nasıl yapıldığını da gösteren çalışma olmuştur. Daha sonraki araştırmacılar bu analizi yeniden türetmiş ve genişletmiştir. Kendi başına karşılıklı bilgi tahminine özel olarak uyarlanmış bir önceki makaleye dayanan yakın tarihli bir makaleye bakın. Ayrıca, son zamanlarda sürekli ve çok değişkenli çıktıları hesaba katan bir tahmin yöntemi , 'de önerilmiştir. ${\görüntüleme stili Y}$

Bağımsızlık varsayımları

Karşılıklı bilginin Kullback-Leibler sapma formülasyonu , tamamen çarpanlara ayrılmış dış çarpımla karşılaştırma yapmakla ilgilenilmesine dayanır . Negatif olmayan matris çarpanlara ayırma gibi birçok problemde, daha az aşırı çarpanlara ayırma ile ilgilenilir; özellikle, bazı bilinmeyen değişkenlerde düşük dereceli bir matris yaklaşımıyla karşılaştırmak istenir ; yani, ne dereceye kadar sahip olabileceği ${\görüntüleme stili p(x,y)}$ ${\görüntüleme stili p(x)\cdot p(y)}$${\görüntüleme stili p(x,y)}$${\görüntüleme stili w}$

${\displaystyle p(x,y)\yaklaşık \toplam _{w}p^{\prime }(x,w)p^{\prime \prime }(w,y)}$

Alternatif olarak, çarpanlara ayırmada ne kadar daha fazla bilginin taşındığını bilmek ilginizi çekebilir . Böyle bir durumda, tam dağılımın matris çarpanlarına ayırma üzerinde taşıdığı fazla bilgi Kullback-Leibler sapması ile verilir. ${\görüntüleme stili p(x,y)}$${\görüntüleme stili p(x,y)}$

${\displaystyle \operatöradı {I} _{LRMA}=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p(x,y) \log {\left({\frac {p(x,y)}{\sum _{w}p^{\prime }(x,w)p^{\prime \prime }(w,y)}} \sağ)}},}$

Karşılıklı bilginin geleneksel tanımı, işlemin için yalnızca bir değere sahip olduğu aşırı durumda kurtarılır . ${\görüntüleme stili W}$${\görüntüleme stili w}$

Varyasyonlar

Çeşitli ihtiyaçlara uyacak şekilde karşılıklı bilgi üzerinde çeşitli varyasyonlar önerilmiştir. Bunlar arasında normalleştirilmiş varyantlar ve ikiden fazla değişkene genellemeler vardır.

Metrik

Birçok uygulama bir metrik , yani nokta çiftleri arasında bir mesafe ölçüsü gerektirir . Miktar

${\displaystyle {\begin{hizalı}d(X,Y)&=\mathrm {H} (X,Y)-\operatöradı {I} (X;Y)\\&=\mathrm {H} (X) +\mathrm {H} (Y)-2\operatöradı {I} (X;Y)\\&=\mathrm {H} (X\mid Y)+\mathrm {H} (Y\mid X)\end {hizalı}}}$

bir metriğin özelliklerini karşılar ( üçgen eşitsizliği , negatif olmama , ayırt edilemezlik ve simetri). Bu mesafe metriği, bilgi varyasyonu olarak da bilinir .

Eğer farklı rasgele değişkenlerdir sonra tüm entropi terimler, negatif olmayan, yani ve bir normalleştirilmiş mesafe tanımlayabilir ${\görüntüleme stili X,Y}$${\displaystyle 0\leq d(X,Y)\leq \mathrm {H} (X,Y)}$

${\displaystyle D(X,Y)={\frac {d(X,Y)}{\mathrm {H} (X,Y)}}\leq 1.}$

Metrik evrensel bir metriktir, çünkü başka herhangi bir mesafe ölçümü yer ve yakınsa, o zaman onları yakın olarak da değerlendirecektir. ${\görüntüleme stili D}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili D}$

Tanımları takmak şunu gösterir:

${\displaystyle D(X,Y)=1-{\frac {\operatöradı {I} (X;Y)}{\mathrm {H} (X,Y)}}.}$

Bilginin küme-teorik yorumunda ( Koşullu entropi için şekle bakın ), bu, ve arasındaki Jaccard mesafesidir . ${\görüntüleme stili X}$${\görüntüleme stili Y}$

Nihayet,

${\displaystyle D^{\prime }(X,Y)=1-{\frac {\operatöradı {I} (X;Y)}{\max \left\{\mathrm {H} (X),\mathrm {H} (Y)\sağ\}}}}$

aynı zamanda bir ölçüdür.

Koşullu karşılıklı bilgi

Bazen, üçte birine koşullanmış iki rastgele değişkenin karşılıklı bilgisini ifade etmek yararlıdır.

Ortak ayrık rasgele değişkenler için bu şu şekli alır:

${\displaystyle \operatöradı {I} (X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{ x\in {\mathcal {X}}}{p_{Z}(z)\,p_{X,Y|Z}(x,y|z)\log \sol[{\frac {p_{X,Y] |Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}}\sağ]},}$

olarak basitleştirilebilir

${\displaystyle \operatöradı {I} (X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{ x\in {\mathcal {X}}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z }(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.}$

Ortaklaşa sürekli rasgele değişkenler için bu şu şekli alır:

${\displaystyle \operatöradı {I} (X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}{p_{Z }(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y|Z}(x,y|z)}{p_{X |Z}\,(x|z)p_{Y|Z}(y|z)}}\sağ]}dxdydz,}$

olarak basitleştirilebilir

${\displaystyle \operatöradı {I} (X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}p_{X, Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x, z)p_{Y,Z}(y,z)}}dxdydz.}$

Üçüncü bir rasgele değişken üzerinde koşullandırma, karşılıklı bilgiyi artırabilir veya azaltabilir, ancak her zaman doğrudur.

${\displaystyle \operatöradı {I} (X;Y|Z)\geq 0}$

ayrık, ortak dağıtılmış rastgele değişkenler için . Bu sonuç, bilgi teorisindeki diğer eşitsizlikleri kanıtlamak için temel bir yapı taşı olarak kullanılmıştır . ${\görüntüleme stili X,Y,Z}$

Etkileşim bilgileri

Toplam korelasyon (veya çoklu bilgi) ve ikili toplam korelasyon gibi, ikiden fazla rastgele değişkene karşılıklı bilginin çeşitli genellemeleri önerilmiştir . Çok değişkenli yüksek dereceli karşılıklı bilginin ifadesi ve incelenmesi, görünüşte bağımsız iki çalışmada elde edildi: bu işlevleri "etkileşim bilgisi" olarak adlandıran McGill (1954) ve Hu Kuo Ting (1962). Etkileşim bilgileri bir değişken için aşağıdaki gibi tanımlanır:

${\displaystyle \operatöradı {I} (X_{1})=\mathrm {H} (X_{1})}$

ve için ${\görüntüleme stili n>1,}$

${\displaystyle \operatöradı {I} (X_{1};\,...\,;X_{n})=\operatöradı {I} (X_{1};\,...\,;X_{n -1})-\operatöradı {I} (X_{1};\,...\,;X_{n-1}\mid X_{n}).}$

Bazı yazarlar, rastgele değişkenlerin sayısı tek olduğunda işareti değiştiren önceki denklemin sağ tarafındaki terimlerin sırasını tersine çevirir. (Ve bu durumda, tek değişkenli ifade entropinin negatifi olur.)

${\displaystyle I(X_{1};\ldots ;X_{n-1}\mid X_{n})=\mathbb {E} _{X_{n}}[D_{\mathrm {KL} }(P_ {(X_{1},\ldots ,X_{n-1})\mid X_{n}}\|P_{X_{1}\mid X_{n}}\otimes \cdots \otimes P_{X_{n -1}\mid X_{n}})].}$

Çok değişkenli istatistiksel bağımsızlık

Çok değişkenli karşılıklı bilgi işlevleri, eğer ve sadece eğer , isteğe bağlı çok sayıda değişken için olduğunu belirten ikili bağımsızlık durumunu genelleştirir . n değişken, ancak ve ancak karşılıklı bilgi fonksiyonları (teorem 2) ile ortadan kalkarsa karşılıklı olarak bağımsızdır . Bu anlamda, rafine bir istatistiksel bağımsızlık kriteri olarak kullanılabilir. ${\displaystyle X_{1},X_{2}}$${\displaystyle I(X_{1};X_{2})=0}$${\ Displaystyle 2^{n}-n-1}$${\displaystyle I(X_{1};\ldots ;X_{k})=0}$${\görüntüleme stili n\geq k\geq 2}$${\displaystyle I(X_{1};\ldots ;X_{k})=0}$

Uygulamalar

3 değişken için Brenner ve ark. çok değişkenli karşılıklı bilgiyi sinirsel kodlamaya uyguladı ve olumsuzluğunu "sinerji" olarak adlandırdı ve Watkinson ve ark. bunu genetik ifadeye uyguladı. Keyfi k değişkenler için Tapia ve ark. gen ifadesine uygulanan çok değişkenli karşılıklı bilgi). Sıfır, pozitif veya negatif olabilir. Pozitiflik, ikili bağıntıları genelleştiren ilişkilere karşılık gelir, hiçlik rafine bir bağımsızlık kavramına karşılık gelir ve olumsuzluk yüksek boyutlu "ortaya çıkan" ilişkileri ve kümelenmiş veri noktalarını tespit eder).

Ortak dağılım ve diğer hedef değişkenler arasındaki karşılıklı bilgiyi maksimize eden bir yüksek boyutlu genelleme şeması, öznitelik seçiminde faydalı bulunmuştur .

Karşılıklı bilgi, iki sinyal arasındaki benzerliğin bir ölçüsü olarak sinyal işleme alanında da kullanılır . Örneğin, FMI metriği, kaynaşmış görüntünün kaynak görüntüler hakkında içerdiği bilgi miktarını ölçmek için karşılıklı bilgileri kullanan bir görüntü birleştirme performans ölçüsüdür. Matlab bu metrik için kod bulunabilir. Tüm çok değişkenli karşılıklı bilgileri, koşullu karşılıklı bilgileri, ortak entropileri, toplam korelasyonları, n değişkenlik bir veri kümesindeki bilgi mesafesini hesaplamak için bir python paketi mevcuttur.

Yönlendirilmiş bilgi

Yönlendirilmiş bilgiler , önlemler işleminden bilgi akışı miktarı için , vektör ifade eder ve O anlamına gelir . Yönlendirilmiş bilgi terimi James Massey tarafından ortaya atılmış ve şu şekilde tanımlanmıştır: ${\displaystyle \operatöradı {I} \left(X^{n}\to Y^{n}\sağ)}$${\görüntüleme stili X^{n}}$${\görüntüleme stili Y^{n}}$${\görüntüleme stili X^{n}}$${\displaystyle X_{1},X_{2},...,X_{n}}$${\görüntüleme stili Y^{n}}$${\displaystyle Y_{1},Y_{2},...,Y_{n}}$

${\displaystyle \operatöradı {I} \left(X^{n}\to Y^{n}\sağ)=\sum _{i=1}^{n}\operatöradı {I} \left(X^{ i};Y_{i}\orta Y^{i-1}\sağ)}$.

Yönlendirilmiş bilgilerin karşılıklı bilgi haline geldiğini unutmayın . Yönlendirilmiş bilgi, geri beslemeli kanalın kapasitesi gibi nedenselliğin önemli rol oynadığı problemlerde birçok uygulamaya sahiptir . ${\görüntüleme stili n=1}$

Normalleştirilmiş varyantlar

Karşılıklı bilginin normalleştirilmiş varyantları, kısıtlama , belirsizlik katsayısı veya yeterlilik katsayıları tarafından sağlanır :

${\displaystyle C_{XY}={\frac {\operatör adı {I} (X;Y)}{\mathrm {H} (Y)}}~~~~{\mbox{and}}~~~~C_ {YX}={\frac {\operatöradı {I} (X;Y)}{\mathrm {H} (X)}}.}$

İki katsayı [0, 1] arasında değişen bir değere sahiptir, ancak mutlaka eşit değildir. Bazı durumlarda, aşağıdaki fazlalık ölçüsü gibi simetrik bir ölçü istenebilir :

${\displaystyle R={\frac {\operatöradı {I} (X;Y)}{\mathrm {H} (X)+\mathrm {H} (Y)}}}$

değişkenler bağımsız olduğunda minimum sıfıra ve maksimum değere ulaşan

${\displaystyle R_{\max }={\frac {\min \sol\{\mathrm {H} (X),\mathrm {H} (Y)\sağ\}}{\mathrm {H} (X) +\mathrm {H} (Y)}}}$

bir değişken diğerinin bilgisi ile tamamen gereksiz hale geldiğinde. Ayrıca bkz. Artıklık (bilgi teorisi) .

Bir başka simetrik ölçü, simetrik belirsizliktir ( Witten & Frank 2005 ).

${\displaystyle U(X,Y)=2R=2{\frac {\operatör adı {I} (X;Y)}{\mathrm {H} (X)+\mathrm {H} (Y)}}}$

bu , iki belirsizlik katsayısının harmonik ortalamasını temsil eder . ${\ Displaystyle C_{XY},C_{YX}}$

Karşılıklı bilgiyi toplam korelasyon veya ikili toplam korelasyonun özel bir durumu olarak düşünürsek , normalize edilmiş versiyon sırasıyla,

${\displaystyle {\frac {\operatöradı {I} (X;Y)}{\min \sol[\mathrm {H} (X),\mathrm {H} (Y)\sağ]}}}$ ve ${\displaystyle {\frac {\operatöradı {I} (X;Y)}{\mathrm {H} (X,Y)}}\;.}$

Toplam belirsizliğe karşı başka bir değişkene dayalı bir değişkenin bilgi miktarını ölçen Bilgi Kalite Oranı (IQR) olarak da bilinen bu normalleştirilmiş sürüm :

${\displaystyle IQR(X,Y)=\operatöradı {E} [\operatöradı {I} (X;Y)]={\frac {\operatöradı {I} (X;Y)}{\mathrm {H} ( X,Y)}}={\frac {\toplam _{x\in X}\toplam _{y\in Y}p(x,y)\log {p(x)p(y)}}{\ toplam _{x\in X}\toplam _{y\Y}p(x,y)\log {p(x,y)}}}-1}$

Karşılıklı bilgiyi ilk olarak kovaryansa bir analog olarak düşünmekten türetilen bir normalleştirme vardır (böylece Shannon entropisi varyansa benzerdir ). Daha sonra normalleştirilmiş karşılıklı bilgi, Pearson korelasyon katsayısına benzer şekilde hesaplanır ,

${\displaystyle {\frac {\operatöradı {I} (X;Y)}{\sqrt {\mathrm {H} (X)\mathrm {H} (Y)}}}\;.}$

Ağırlıklı varyantlar

Karşılıklı bilginin geleneksel formülasyonunda,

${\displaystyle \operatöradı {I} (X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y) }{p(x)\,p(y)}},}$

tarafından belirtilen her olay veya nesne , karşılık gelen olasılıkla ağırlıklandırılır . Bu, tüm nesnelerin veya olayların meydana gelme olasılıkları dışında eşdeğer olduğunu varsayar . Bununla birlikte, bazı uygulamalarda, belirli nesnelerin veya olayların diğerlerinden daha önemli olduğu veya belirli çağrışım kalıplarının anlamsal olarak diğerlerinden daha önemli olduğu durumlar olabilir. ${\görüntüleme stili (x,y)}$${\görüntüleme stili p(x,y)}$

Örneğin, deterministik eşleme, deterministik eşlemeden daha güçlü olarak görülebilir , ancak bu ilişkiler aynı karşılıklı bilgiyi verir. Bunun nedeni, karşılıklı bilginin, değişken değerlerdeki herhangi bir doğal sıralamaya hiç duyarlı olmamasıdır ( Cronbach 1954 , Coombs, Dawes & Tversky 1970 , Lockhead 1970 ) ve bu nedenle , arasındaki ilişkisel eşleme biçimine hiç duyarlı değildir . ilişkili değişkenler. Tüm değişken değerler üzerinde anlaşma gösteren önceki ilişkinin sonraki ilişkiden daha güçlü olarak değerlendirilmesi istenirse, aşağıdaki ağırlıklı karşılıklı bilgiyi kullanmak mümkündür ( Guiasu 1977 ). ${\görüntüleme stili \{(1,1),(2,2),(3,3)\}}$${\görüntüleme stili \{(1,3),(2,1),(3,2)\}}$

${\displaystyle \operatöradı {I} (X;Y)=\sum _{y\in Y}\sum _{x\in X}w(x,y)p(x,y)\log {\frac { p(x,y)}{p(x)\,p(y)}},}$

bu , her bir değişken değerinin birlikte ortaya çıkma olasılığına ağırlık verir, . Bu, belirli olasılıkların diğerlerinden daha fazla veya daha az önem taşıyabilmesine ve dolayısıyla ilgili bütünsel veya Prägnanz faktörlerinin nicelleştirilmesine izin verir . Yukarıdaki örnekte, daha büyük nispi ağırlıklar kullanılarak , ve daha değerlendirmek etkiye sahip olacaktır bilgi verici ilişkisi için ilişki için daha model algılaması, bazı durumlarda tercih edilebilir, ve benzeri yer alır. Bu ağırlıklı karşılıklı bilgi, bazı girdiler için negatif değerler aldığı bilinen bir ağırlıklı KL-Iraksama biçimidir ve ağırlıklı karşılıklı bilgilerin de negatif değerler aldığı örnekler vardır. ${\görüntüleme stili w(x,y)}$${\görüntüleme stili p(x,y)}$${\görüntüleme stili w(1,1)}$${\görüntüleme stili w(2,2)}$${\görüntüleme stili w(3,3)}$${\görüntüleme stili \{(1,1),(2,2),(3,3)\}}$${\görüntüleme stili \{(1,3),(2,1),(3,2)\}}$

Düzeltilmiş karşılıklı bilgi

Bir olasılık dağılımı, bir kümenin bir bölümü olarak görülebilir . O zaman şu sorulabilir: Bir küme rastgele bölünseydi, olasılıkların dağılımı ne olurdu? Karşılıklı bilginin beklenti değeri ne olurdu? Ayarlanmış, karşılıklı bilgi ya da AMI iki dağılımları özdeş olduğunda AMI sıfır ila iki farklı dağılımları rastlantısal ve biridir ki, MI beklenti değeri çıkarır. AMI, bir kümenin iki farklı bölümünün ayarlanmış Rand indeksine benzer şekilde tanımlanır .

Mutlak karşılıklı bilgi

Kolmogorov karmaşıklığı fikirlerini kullanarak, herhangi bir olasılık dağılımından bağımsız olarak iki dizinin karşılıklı bilgisi düşünülebilir:

${\displaystyle \operatöradı {I} _{K}(X;Y)=K(X)-K(X\orta Y).}$

Bu miktarın bir logaritmik faktöre ( ) kadar simetrik olduğunu belirlemek için Kolmogorov karmaşıklığı için zincir kuralı gerekir ( Li & Vitányi 1997 ). Bu miktarın sıkıştırma yoluyla yaklaşıkları, diziler hakkında herhangi bir alan bilgisine sahip olmadan dizilerin hiyerarşik bir kümelenmesini gerçekleştirmek için bir mesafe ölçüsü tanımlamak için kullanılabilir ( Cilibrasi & Vitányi 2005 ). ${\displaystyle \operatöradı {I} _{K}(X;Y)\yaklaşık \operatöradı {I} _{K}(Y;X)}$

Doğrusal korelasyon

Ürün momenti korelasyon katsayısı gibi korelasyon katsayılarından farklı olarak , karşılıklı bilgi, korelasyon katsayısı ölçüleri olarak yalnızca doğrusal bağımlılık değil, tüm bağımlılık (doğrusal ve doğrusal olmayan) hakkında bilgi içerir. Bununla birlikte, ortak dağılımın ve iki değişkenli normal dağılım olduğu dar durumda (özellikle her iki marjinal dağılımın normal dağıldığını ima eder), korelasyon katsayısı ile arasında kesin bir ilişki vardır ( Gel'fand & Yaglom 1957 ). ${\görüntüleme stili X}$${\görüntüleme stili Y}$${\ Displaystyle \ operatör adı {I} }$${\görüntüleme stili \rho }$

${\displaystyle \operatöradı {I} =-{\frac {1}{2}}\log \left(1-\rho ^{2}\sağ)}$

Yukarıdaki denklem iki değişkenli bir Gauss için aşağıdaki gibi türetilebilir:

${\displaystyle {\begin{aligned}{\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}&\sim {\mathcal {N}}\left({\begin{pmatrix}) \mu _{1}\\\mu _{2}\end{pmatrix}},\Sigma \sağ),\qquad \Sigma ={\begin{pmatrix}\sigma _{1}^{2}&\ rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\\\mathrm {H} (X_{i})&={\frac {1}{2}}\log \left(2\pi e\sigma _{i}^{2}\sağ)={\frac {1} {2}}+{\frac {1}{2}}\log(2\pi )+\log \left(\sigma _{i}\sağ),\quad i\in \{1,2\} \\\mathrm {H} (X_{1},X_{2})&={\frac {1}{2}}\log \left[(2\pi e)^{2}|\Sigma |\ right]=1+\log(2\pi )+\log \left(\sigma _{1}\sigma _{2}\right)+{\frac {1}{2}}\log \left(1 -\rho ^{2}\sağ)\\\end{hizalı}}}$

Öyleyse,

${\displaystyle \operatorname {I} \left(X_{1};X_{2}\right)=\mathrm {H} \left(X_{1}\right)+\mathrm {H} \left(X_{ 2}\right)-\mathrm {H} \left(X_{1},X_{2}\right)=-{\frac {1}{2}}\log \left(1-\rho ^{2 }\sağ)}$

Ayrık veriler için

Zaman ve durumları ayrı bir sayıda olması ile sınırlıdır, gözlem verileri özetlenmiştir durum tablo satır değişkeni, (ya da ) ve sütun değişken (veya ). Karşılıklı bilgi, satır ve sütun değişkenleri arasındaki ilişki veya korelasyon ölçülerinden biridir . Diğer ilişki ölçütleri, Pearson'ın ki-kare test istatistiklerini, G-test istatistiklerini, vb. içerir. Aslında, karşılıklı bilgi, G-test istatistiklerinin , örneklem büyüklüğünün nerede olduğu ile bölünmesine eşittir . ${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili X}$${\görüntüleme stili ben}$${\görüntüleme stili Y}$${\görüntüleme stili j}$${\görüntüleme stili 2N}$${\görüntüleme stili N}$

Uygulamalar

Birçok uygulamada, genellikle koşullu entropiyi en aza indirmeye eşdeğer olan karşılıklı bilgiyi en üst düzeye çıkarmak (böylece artan bağımlılıklar) istenir . Örnekler şunları içerir:

• Gelen arama motoru teknolojisi , deyimler ve bağlamlar arasında karşılıklı bilgi için bir özellik olarak kullanılır kümeleme k-ortalama anlamsal kümeleri (kavramlar) keşfetmek için. Örneğin, bir bigramın karşılıklı bilgisi şu şekilde hesaplanabilir:

burada xy bigramının korpusta görünme sayısı, x unigramının korpusta görünme sayısı, B toplam bigram sayısı ve U toplam unigram sayısıdır.${\displaystyle f_{XY}}$${\ Displaystyle f_{X}}$

• Olarak telekomünikasyon , kanal kapasitesi tüm giriş dağılımı üzerinde maksimum karşılıklı bilgi, eşittir.
• Gizli Markov modelleri için ayırt edici eğitim prosedürleri , maksimum karşılıklı bilgi (MMI) kriterine dayalı olarak önerilmiştir .
• Çoklu dizi hizalamasından RNA ikincil yapı tahmini .
• İkili mevcut ve fonksiyonel olarak bağlantılı genlerin kaybolmasından filogenetik profilleme tahmini .
• Makine öğrenmesinde öznitelik seçimi ve öznitelik dönüşümleri için karşılıklı bilgi bir ölçüt olarak kullanılmıştır . Minimum fazlalık özellik seçimi gibi değişkenlerin hem alaka düzeyini hem de fazlalığını karakterize etmek için kullanılabilir .
• Karşılıklı bilgi, bir veri kümesinin iki farklı kümelenmesinin benzerliğini belirlemede kullanılır . Bu nedenle, geleneksel Rand endeksine göre bazı avantajlar sağlar .
• Kelimelerin Karşılıklı bilgiler genelde hesaplanması için bir önem fonksiyonu olarak kullanılır eşdizimlilik içinde korpus dilbilim . Bu, hiçbir kelime örneğinin iki farklı kelimenin bir örneği olmaması gibi ek karmaşıklığa sahiptir; bunun yerine, 2 kelimenin bitişik veya yakın olduğu durumlar sayılır; Bu, hesaplamayı biraz karmaşıklaştırır, çünkü bir kelimenin diğerinin kelimelerinin içinde meydana gelmesi beklenen olasılık , ile artar .${\görüntüleme stili N}$${\görüntüleme stili N}$
• Tıbbi görüntülemede görüntü kaydı için karşılıklı bilgi kullanılır . Bir referans görüntü (örneğin, bir beyin taraması) ve referans görüntü ile aynı koordinat sistemine yerleştirilmesi gereken ikinci bir görüntü verildiğinde, bu görüntü, referans görüntü ile arasındaki karşılıklı bilgi maksimize edilene kadar deforme edilir.
• Algılama faz senkronizasyonu olarak zaman serisi analizi
• Gelen Infomax Infomax dahil tabanlı-nöral net ve otomatik öğrenme için yöntem bağımsız bileşen analizi algoritması
• Gecikme gömme teoremindeki ortalama karşılıklı bilgi , gömme gecikme parametresini belirlemek için kullanılır .
• İfade mikrodizi verilerinde genler arasındaki karşılıklı bilgi , gen ağlarının yeniden yapılandırılması için ARACNE algoritması tarafından kullanılır .
• Gelen istatistiksel mekanik , Loschmidt paradoksu karşılıklı bilgi açısından ifade edilebilir. Loschmidt, zamanın tersine çevrilmesi simetrisinden yoksun bir fizik kanununu (örneğin termodinamiğin ikinci kanunu ) sadece bu simetriye sahip fizik kanunlarından belirlemenin imkansız olması gerektiğine dikkat çekti . Boltzmann'ın H-teoreminin , bir gazdaki parçacıkların hızlarının kalıcı olarak ilişkisiz olduğu varsayımını yaptığına ve bu da H-teoreminin doğasında bulunan zaman simetrisini ortadan kaldırdığına dikkat çekti . Bir sistem faz uzayında bir olasılık yoğunluğu ile tanımlanırsa , o zaman Liouville teoremi , dağılımın ortak bilgisinin (ortak entropinin negatifi) zaman içinde sabit kaldığını ima eder. Ortak bilgi, her parçacık koordinatı için karşılıklı bilgi artı tüm marjinal bilgilerin (marjinal entropilerin negatifi) toplamına eşittir. Boltzmann'ın varsayımı, termodinamik entropiyi (Boltzmann sabitine bölünen) veren entropinin hesaplanmasında karşılıklı bilgiyi göz ardı etmek anlamına gelir.
• Karşılıklı bilgi, GlobalMIT araç setinde örneklendiği gibi rastgele değişkenler arasındaki nedensel ilişkiyi açıkladığı düşünülen Bayes ağlarının / dinamik Bayes ağlarının yapısını öğrenmek için kullanılır : Karşılıklı Bilgi Testi kriteri ile global olarak optimal dinamik Bayes ağının öğrenilmesi.
• Karşılıklı bilgi, Gibbs örnekleme algoritmasında güncelleme prosedürü sırasında iletilen bilgiyi ölçmek için kullanılır .
• Karar ağacı öğrenmede popüler maliyet fonksiyonu .
• Karşılıklı bilgi, büyük ölçekli ortamların Galaksi Hayvanat Bahçesindeki galaksi özellikleri üzerindeki etkisini test etmek için kozmolojide kullanılır .
• Karşılıklı bilgiler Güneş Fiziğinde güneş diferansiyel dönüş profilini, güneş lekeleri için bir seyahat zamanı sapma haritası ve sessiz-Güneş ölçümlerinden bir zaman-mesafe diyagramını türetmek için kullanıldı.
• Etiketsiz veri verilmeyen sinir ağı sınıflandırıcılarını ve görüntü bölütleyicilerini otomatik olarak eğitmek için Değişmez Bilgi Kümelemesinde kullanılır.

Ayrıca bakınız

• Noktasal karşılıklı bilgi
• Kuantum karşılıklı bilgi

Notlar

Referanslar

• Baudot, P.; Tapia, M.; Bennequin, D.; Goaillard, JM (2019). "Topolojik Bilgi Veri Analizi". entropi . 21 (9). 869. arXiv : 1907.04242 . Bibcode : 2019Entrp..21..869B . doi : 10.3390/e21090869 . S2CID  195848308 .
• Cilibrasi, R.; Vitanyi, Paul (2005). "Sıkıştırma ile kümeleme" (PDF) . Bilgi Teorisi Üzerine IEEE İşlemleri . 51 (4): 1523–1545. arXiv : cs/0312044 . doi : 10.1109/TIT.2005.844059 . S2CID  911 .
• Cronbach, LJ (1954). "Psikolojide bilgi önlemlerinin rasyonel olmayan uygulaması üzerine". Gelen Quastler, Henry (ed.). Psikolojide Bilgi Kuramı: Sorunlar ve Yöntemler . Glencoe, Illinois: Özgür Basın. s. 14–30.
• Coombs, CH; Dawes, RM; Tversky, A. (1970). Matematiksel Psikoloji: Temel Bir Giriş . Englewood Kayalıkları, New Jersey: Prentice-Hall.
• Kilise, Kenneth Ward; Hanks, Patrick (1989). "Kelime ilişkilendirme normları, karşılıklı bilgi ve sözlükbilimi" . Hesaplamalı Dilbilim Derneği'nin 27. Yıllık Toplantısının Tutanakları : 76-83. doi : 10.3115/981623.981633 .
• Gel'fand, IM; Yaglom, AM (1957). "Bu tür başka bir işlevde bulunan rastgele bir işlev hakkında bilgi miktarının hesaplanması". Amerikan Matematik Derneği Çeviriler . Seri 2. 12 : 199–246. doi : 10.1090/trans2/012/09 . ISBN'si 9780821817124.Orijinalin Uspekhi Matematicheskikh Nauk'taki İngilizce çevirisi 12  (1): 3-52.
• Guiasu, Silviu (1977). Uygulamalı Bilgi Teorisi . McGraw-Hill, New York. ISBN'si 978-0-07-025109-0.
• Li, Ming; Vitanyi, Paul (Şubat 1997). Kolmogorov karmaşıklığına ve uygulamalarına giriş . New York: Springer-Verlag . ISBN'si 978-0-387-94868-3.
• Lockhead, GR (1970). "Tanımlama ve çok boyutlu ayrımcılık uzayının biçimi". Deneysel Psikoloji Dergisi . 85 (1): 1–10. doi : 10.1037/h0029508 . PMID  5458322 .
• David JC MacKay. Bilgi Teorisi, Çıkarım ve Öğrenme Algoritmaları Cambridge: Cambridge University Press, 2003. ISBN  0-521-64298-1 (çevrimiçi ücretsiz)
• Haghighat, MBA; Aghagolzadeh, A.; Seyedarabi, H. (2011). "Görüntü özelliklerinin karşılıklı bilgisine dayanan referans olmayan bir görüntü füzyon metriği". Bilgisayar ve Elektrik Mühendisliği . 37 (5): 744–756. doi : 10.1016/j.compeleceng.2011.07.012 .
• Athanasios Papulis . Olasılık, Rastgele Değişkenler ve Stokastik Süreçler , ikinci baskı. New York: McGraw-Hill, 1984. (Bkz. Bölüm 15.)
• Witten, Ian H. & Frank, Eibe (2005). Veri Madenciliği: Pratik Makine Öğrenimi Araçları ve Teknikleri . Morgan Kaufmann, Amsterdam. ISBN'si 978-0-12-374856-0.
• Peng, HC; Uzun, F. & Ding, C. (2005). "Karşılıklı bilgilere dayalı özellik seçimi: maksimum bağımlılık, maksimum uygunluk ve minimum artıklık kriterleri" . Model Analizi ve Makine Zekası Üzerine IEEE İşlemleri . 27 (8): 1226–1238. CiteSeerX  10.1.1.63.5765 . doi : 10.1109/tpami.2005.159 . PMID  16119262 . S2CID  206764015 .
• Andre S. Ribeiro; Stuart A. Kauffman; Jason Lloyd-Price; Björn Samuelsson ve Joshua Socolar (2008). "Düzenleyici ağların Rastgele Boole modellerinde Karşılıklı Bilgi". Fiziksel İnceleme E . 77 (1): 011901. arXiv : 0707.3642 . Bibcode : 2008PhRvE..77a1901R . doi : 10.1103/physreve.77.011901 . PMID  18351870 . S2CID  15232112 .
• Wells, WM III; Viola, P.; Atsumi, H.; Nakajima, S.; Kikinis, R. (1996). "Karşılıklı bilgilerin maksimize edilmesiyle çok modlu hacim kaydı" (PDF) . Tıbbi Görüntü Analizi . 1 (1): 35–51. doi : 10.1016/S1361-8415(01)80004-9 . PMID  9873920 . Orijinalinden (PDF) 2008-09-06 tarihinde arşivlendi . 2010-08-05 alındı .
• Pandey, Biswajit; Sarkar, Suman (2017). "Bir galaksi, geniş ölçekli çevresi hakkında ne kadar şey biliyor?: Bir bilgi teorik perspektif". Kraliyet Astronomi Topluluğu Mektuplarının Aylık Bildirimleri . 467 (1): L6. arXiv : 1611.0283 . Bibcode : 2017MNRAS.467L...6P . doi : 10.1093/mnrasl/slw250 . S2CID  119095496 .