Renyi entropisi - Rényi entropy

Gelen bilgi teorisi , Rényi entropi genelleştirir Hartley entropi , Shannon entropi , çarpışma entropi ve min-entropi . Entropiler, bir sistemin çeşitliliğini, belirsizliğini veya rastgeleliğini ölçer. Entropi, Alfréd Rényi'nin adını almıştır . Fraktal boyut tahmini bağlamında , Rényi entropisi, genelleştirilmiş boyutlar kavramının temelini oluşturur .

Rényi entropisi, ekoloji ve istatistikte çeşitlilik indeksi olarak önemlidir . Rényi entropisi, dolanıklığın bir ölçüsü olarak kullanılabileceği kuantum bilgisinde de önemlidir . Heisenberg XY spin zinciri modelinde, α'nın bir fonksiyonu olarak Rényi entropisi , modüler grubun belirli bir alt grubuna göre otomorfik bir fonksiyon olduğu gerçeği sayesinde açıkça hesaplanabilir . Olarak teorik bilgisayar biliminin , min-entropi bağlamında kullanılan rastgele presi .

Tanım

Rényi düzen entropisi , nerede ve , şu şekilde tanımlanır ${\görüntüleme stili \alfa }$${\ Displaystyle \ alfa \ geq 0}$${\displaystyle \alpha \neq 1}$

${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {1}{1-\alpha }}\log {\Bigg (}\sum _{i=1}^{n}p_) {i}^{\alfa }{\Bigg )}}$ .

Burada, kümedeki olası sonuçları ve karşılık gelen olasılıkları olan ayrık bir rastgele değişkendir . Logaritması geleneksel özellikle bağlamında, baz 2 olarak alınır bilgi teorisi bitleri kullanılır. Olasılıklar tümü için ise, dağılımın tüm Rényi entropileri eşittir: . Genel olarak, tüm ayrık rasgele değişkenler için , artmayan bir fonksiyondur . ${\görüntüleme stili X}$${\displaystyle {\mathcal {A}}=\{x_{1},x_{2},...,x_{n}\}}$${\displaystyle p_{i}\doteq \Pr(X=x_{i})}$${\görüntüleme stili i=1,\noktalar,n}$${\displaystyle p_{i}=1/n}$${\görüntüleme stili i=1,\noktalar,n}$${\displaystyle \mathrm {H} _{\alpha }(X)=\log n}$${\görüntüleme stili X}$${\displaystyle \mathrm {H} _{\alpha }(X)}$${\görüntüleme stili \alfa }$

Uygulamalar genellikle Rényi entropisi ile olasılık vektörünün p- normu arasındaki aşağıdaki ilişkiden yararlanır :

${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {\alpha {1-\alpha }}\log \left(\|P\|_{\alpha }\sağ)}$ .

Burada, aralıklı olasılık dağılımı içinde bir vektör olarak yorumlanır ile ve . ${\displaystyle P=(p_{1},\dots ,p_{n})}$${\displaystyle \mathbb {R} ^{n}}$${\displaystyle p_{i}\geq 0}$${\displaystyle \sum _{i=1}^{n}p_{i}=1}$

Herhangi biri için Rényi entropisi Schur içbükeydir . ${\ Displaystyle \ alfa \ geq 0}$

Özel durumlar

p _1'e karşı iki olası sonucu olan bir rastgele değişkenin Rényi entropisi , burada P = ( p ₁ , 1 - p ₁ ) . Gösterilenler H ₀ , H ₁ , H ₂ ve H _∞ , birimleriyle Shannons .

Gibi α sıfıra yaklaşır, Rényi giderek bakılmaksızın olasılıklar, daha eşit sıfırdan farklı olasılığı tüm olayları ağırlığında entropi. α → 0 limitinde , Rényi entropisi, X desteğinin boyutunun sadece logaritmasıdır . α → 1 için sınır Shannon entropisidir . Gibi α sonsuza yaklaşan, Rényi entropi giderek en yüksek olasılık olaylar tarafından belirlenir.

Hartley veya maksimum entropi

Olasılıklar sıfırdan farklı olan şartıyla logaritması olan kardinalitesi alfabenin ( bir) , bazen denilen Hartley entropi arasında , ${\displaystyle \mathrm {H} _{0}}$${\görüntüleme stili {\matematiksel {A}}}$${\görüntüleme stili X}$${\görüntüleme stili X}$

${\displaystyle \mathrm {H} _{0}(X)=\log n=\log |{\mathcal {A}}|\,}$

Shannon entropisi

α → 1 olarak sınır değeri Shannon entropisidir : ${\displaystyle \mathrm {H} _{\alpha }}$

${\displaystyle \mathrm {H} _{1}(X)\equiv \lim _{\alpha \to 1}\mathrm {H} _{\alpha }(X)=-\sum _{i=1} ^{n}p_{i}\log p_{i}}$

çarpışma entropisi

Bazen sadece "Rényi entropisi" olarak adlandırılan çarpışma entropisi , α = 2 durumunu ifade eder ,

${\displaystyle \mathrm {H} _{2}(X)=-\log \sum _{i=1}^{n}p_{i}^{2}=-\log P(X=Y), }$

burada X, ve Y'nin olan bağımsız ve aynı dağıtılmış . Çarpışma entropisi, tesadüf indeksi ile ilgilidir .

Min-entropi

As limitinde , Rényi entropisi min-entropiye yakınsar : ${\displaystyle \alpha \rightarrow \infty }$${\displaystyle \mathrm {H} _{\alpha }}$ ${\displaystyle \mathrm {H} _{\infty }}$

${\displaystyle \mathrm {H} _{\infty }(X)\doteq \min _{i}(-\log p_{i})=-(\max _{i}\log p_{i})= -\log \max _{i}p_{i}\,.}$

Eşdeğer olarak, min-entropi , tüm olayların en fazla olasılıkla meydana geldiği en büyük b gerçek sayısıdır . ${\displaystyle \mathrm {H} _{\infty }(X)}$${\ Displaystyle 2^{-b}}$

Min-entropi adı , Rényi entropileri ailesindeki en küçük entropi ölçüsü olması gerçeğinden kaynaklanmaktadır. Bu anlamda, kesikli bir rastgele değişkenin bilgi içeriğini ölçmenin en güçlü yoludur. Özellikle min-entropi asla Shannon entropisinden daha büyük değildir .

Min-entropi için önemli uygulamaları vardır rasgelelik extractors içinde teorik bilgisayar bilimleri : Aspiratörler büyük min-entropili rastgele kaynaklardan rastlantısallığını ayıklamak edebiliyoruz; sadece büyük bir Shannon entropisine sahip olmak bu görev için yeterli değildir.

α'nın farklı değerleri arasındaki eşitsizlikler

Bu , türevleme ile kanıtlanabilen herhangi bir olasılık dağılımı için artmaz. ${\displaystyle \mathrm {H} _{\alpha }}$${\görüntüleme stili \alfa }$${\displaystyle p_{i}}$

${\displaystyle -{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}={\frac {1}{(1-\alpha )^{2}}}\sum _{ i=1}^{n}z_{i}\log(z_{i}/p_{i}),}$

bu, Kullback-Leibler sapması ile orantılıdır (ki bu her zaman negatif değildir), burada . ${\displaystyle z_{i}=p_{i}^{\alpha }/\sum _{j=1}^{n}p_{j}^{\alpha }}$

Belirli durumlarda eşitsizlikler Jensen eşitsizliği ile de kanıtlanabilir :

${\displaystyle \log n=\mathrm {H} _{0}\geq \mathrm {H} _{1}\geq \mathrm {H} _{2}\geq \mathrm {H} _{\infty } .}$

değerleri için , diğer yöndeki eşitsizlikler de geçerlidir. Özellikle, sahip olduğumuz ${\displaystyle \alfa >1}$

${\displaystyle \mathrm {H} _{2}\leq 2\mathrm {H} _{\infty}.}$

Öte yandan, Shannon entropisi , belirli bir minimum entropiye sahip rastgele bir değişken için keyfi olarak yüksek olabilir . ${\displaystyle \mathrm {H} _{1}}$${\görüntüleme stili X}$

Renyi sapması

Mutlak Rényi entropilerinin yanı sıra, Rényi ayrıca Kullback-Leibler sapmasını genelleştiren bir sapma ölçüleri yelpazesi tanımladı .

Rényi diverjans emri a ya da alfa-farklılık bir dağılımı P bir dağıtım ile ilgili Q olarak tanımlanır

${\displaystyle D_{\alpha }(P\|Q)={\frac {1}{\alpha -1}}\log {\Bigg (}\sum _{i=1}^{n}{\frac) {p_{i}^{\alpha }}{q_{i}^{\alpha -1}}}{\Bigg )}\,}$

zaman 0 < α <∞ ve α ≠ 1 . α = 0, 1, ∞ özel değerleri için Rényi diverjansını bir limit alarak tanımlayabiliriz ve özellikle α → 1 limiti Kullback–Leibler diverjansını verir.

Bazı özel durumlar:

${\displaystyle D_{0}(P\|Q)=-\log Q(\{i:p_{i}>0\})}$ : Eksi altında günlük olasılığı Q o p _i > 0 ;

${\displaystyle D_{1/2}(P\|Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}}}$ : eksi Bhattacharyya katsayısının logaritmasının iki katı ; ( Nielsen & Boltz (2010) )

${\displaystyle D_{1}(P\|Q)=\sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}}$ : Kullback-Leibler ayrışması ;

${\displaystyle D_{2}(P\|Q)=\log {\Big \langle }{\frac {p_{i}}{q_{i}}}{\Big \rangle }}$ : olasılıkların beklenen oranının günlüğü;

${\displaystyle D_{\infty }(P\|Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}}$ : olasılıkların maksimum oranının günlüğü.

Rényi sapması gerçekten bir sapmadır , yani basitçe sıfırdan büyük veya sıfıra eşittir ve yalnızca P = Q olduğunda sıfırdır . Herhangi bir sabit dağılım P ve Q için , Rényi diverjansı, α mertebesinin bir fonksiyonu olarak azalmaz ve sonlu olduğu α setinde süreklidir . ${\displaystyle D_{\alpha }(P\|Q)}$

Finansal yorumlama

Bir çift olasılık dağılımı, dağılımlardan birinin resmi oranları tanımladığı ve diğerinin gerçek olasılıkları içerdiği bir şans oyunu olarak görülebilir. Gerçek olasılıkların bilgisi, bir oyuncunun oyundan kâr etmesini sağlar. Beklenen kar oranı, Rényi sapmasına aşağıdaki gibi bağlanır.

${\displaystyle {\rm {BeklenenOran}}={\frac {1}{R}}\,D_{1}(b\|m)+{\frac {R-1}{R}}\,D_{ 1/R}(b\|m)\,,}$

oyun için resmi oranları (yani "piyasa") tanımlayan dağılım nerede , yatırımcının inandığı dağılımdır ve yatırımcının riskten kaçınmasıdır (Arrow-Pratt göreli riskten kaçınma). ${\görüntüleme stili m}$${\görüntüleme stili b}$${\görüntüleme stili R}$

Gerçek dağılım ise (mutlaka yatırımcının inancıyla örtüşmüyorsa ), uzun vadeli gerçekleşen oran, benzer bir matematiksel yapıya sahip olan gerçek beklentiye yakınsar. ${\görüntüleme stili p}$${\görüntüleme stili b}$

${\displaystyle {\rm {RealizedRate}}={\frac {1}{R}}\,{\Big (}D_{1}(p\|m)-D_{1}(p\|b){ \Big )}+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,.}$

α = 1 neden özeldir?

Değeri α = 1 verir, Shannon entropi ve Kullback-Leibler sapma en çünkü sadece, özel bir α = 1 olduğu şartlı olasılık zincir kuralı tam olarak geçerlidir:

${\displaystyle \mathrm {H} (A,X)=\mathrm {H} (A)+\mathbb {E} _{a\sim A}{\big [}\mathrm {H} (X|A= Büyük bir ]}}$

mutlak entropiler için ve

${\displaystyle D_{\mathrm {KL} }(p(x|a)p(a)\|m(x,a))=D_{\mathrm {KL} }(p(a)\|m(a) ))+\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)\|m(x|a))\},}$

göreli entropiler için.

Özellikle araçlarında ikincisi biz bir dağıtım isterlerse p ( x , bir ) bazı temel önceden önlem sapmalara minimize m ( x , bir ) ve sadece dağılımını etkileyen yeni bilgiler elde bir , daha sonra dağıtımı p ( x | a ) değişmeden m ( x | a ) olarak kalır.

Diğer Rényi sapmaları, pozitif ve sürekli olma kriterlerini karşılar; 1'e 1 koordinat dönüşümleri altında değişmez olma; ve A ve X bağımsız olduğunda toplamsal olarak birleştirme , böylece p ( A , X ) = p ( A ) p ( X ) , o zaman

${\displaystyle \mathrm {H} _{\alpha }(A,X)=\mathrm {H} _{\alpha }(A)+\mathrm {H} _{\alpha }(X)\;}$

ve

${\displaystyle D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\ alfa }(P(X)\|Q(X)).}$

α = 1 niceliklerinin iletişim teorisinden koşullu bilgi ve karşılıklı bilgi tanımlamasına izin veren daha güçlü özellikleri, diğer uygulamalarda çok önemli olabilir veya bu uygulamaların gereksinimlerine bağlı olarak tamamen önemsiz olabilir.

üstel aileler

Üstel bir aile için Rényi entropileri ve sapmaları basit ifadeleri kabul eder

${\displaystyle \mathrm {H} _{\alpha }(p_{F}(x;\theta ))={\frac {1}{1-\alpha }}\left(F(\alpha \theta )- \alpha F(\theta )+\log E_{p}[e^{(\alpha -1)k(x)}]\sağ)}$

ve

${\displaystyle D_{\alpha }(p:q)={\frac {J_{F,\alpha }(\theta :\theta ')}{1-\alpha }}}$

nerede

${\displaystyle J_{F,\alpha }(\theta :\theta ')=\alpha F(\theta )+(1-\alpha )F(\theta ')-F(\alpha \theta +(1- \alfa )\teta ')}$

Jensen fark diverjansıdır.

Fiziksel anlam

Kuantum fiziğindeki Rényi entropisi , yoğunluk matrisine doğrusal olmayan bağımlılığı nedeniyle gözlemlenebilir olarak kabul edilmez . (Bu doğrusal olmayan bağımlılık, Shannon entropisinin özel durumunda bile geçerlidir.) Bununla birlikte, enerji transferlerinin iki zamanlı ölçümleri (tam sayım istatistikleri olarak da bilinir) yoluyla operasyonel bir anlam verilebilir.

Olarak Rényi entropi sınırı olan Von Neumann entropi . ${\ Displaystyle \ alfa \ 1'e}$

Ayrıca bakınız

• çeşitlilik endeksleri
• Tsallis entropisi
• Genelleştirilmiş entropi indeksi

Notlar

Referanslar