Bilgi teorisi - Information theory

Bilgi teorisi bilimsel çalışmadır miktar , depolama ve haberleşme ait sayısal bilgiler . Alan temel olarak 1920'lerde Harry Nyquist ve Ralph Hartley'in ve 1940'larda Claude Shannon'ın çalışmalarıyla kuruldu . Alan, olasılık teorisi , istatistik , bilgisayar bilimi , istatistiksel mekanik , bilgi mühendisliği ve elektrik mühendisliğinin kesiştiği noktadadır .

Bilgi teorisinde anahtar ölçü entropidir . Entropi, rastgele bir değişkenin değerinde veya rastgele bir sürecin sonucunda yer alan belirsizlik miktarını ölçer . Örneğin, adil bir yazı tura sonucunun belirlenmesi (iki eşit olası sonuçla), bir zarın yuvarlanmasından (eşit olasılığa sahip altı sonuçla) sonucu belirtmekten daha az bilgi (düşük entropi ) sağlar. Bilgi teorisindeki diğer bazı önemli ölçüler, karşılıklı bilgi , kanal kapasitesi, hata üsleri ve bağıl entropidir . Bilgi teorisinin önemli alt alanları arasında kaynak kodlama , algoritmik karmaşıklık teorisi , algoritmik bilgi teorisi , bilgi-teorik güvenlik ve sonlu blok uzunluklu bilgi teorisi yer alır .

Bilgi teorisinin temel konularının uygulamaları arasında kayıpsız veri sıkıştırması (örneğin ZIP dosyaları ), kayıplı veri sıkıştırması (örneğin MP3'ler ve JPEG'ler ) ve kanal kodlaması (örneğin DSL için ) bulunur. Etkisi, Voyager'ın derin uzay misyonlarının başarısı , kompakt diskin icadı , cep telefonlarının fizibilitesi ve İnternet'in gelişimi için çok önemli olmuştur. Teori ayrıca istatistiksel çıkarım , kriptografi , nörobiyoloji , algı , dilbilim, moleküler kodların evrimi ve işlevi ( biyoinformatik ), termal fizik , moleküler dinamik , kuantum hesaplama , kara delikler , bilgi alma , istihbarat toplama gibi diğer alanlarda da uygulamalar bulmuştur. , intihal tespiti , örüntü tanıma , anormallik tespiti ve hatta sanat oluşturma.

genel bakış

Bilgi teorisi, bilginin iletimini, işlenmesini, çıkarılmasını ve kullanımını inceler. Soyut olarak bilgi, belirsizliğin çözümü olarak düşünülebilir. Bilginin gürültülü bir kanal üzerinden iletilmesi durumunda, bu soyut kavram 1948'de Claude Shannon tarafından A Mathematical Theory of Communication başlıklı bir makalede resmileştirildi ve burada bilginin bir dizi olası mesaj olarak düşünüldü ve amaç, bu mesajları gürültülü bir kanal üzerinden göndermek ve alıcının mesajı kanal gürültüsüne rağmen düşük hata olasılığıyla yeniden yapılandırmasını sağlamak. Shannon'ın ana sonucu, gürültülü kanal kodlama teoremi , birçok kanal kullanımının sınırında, asimptotik olarak ulaşılabilir bilgi hızının kanal kapasitesine eşit olduğunu gösterdi; bu miktar, yalnızca mesajların üzerinden geçtiği kanalın istatistiklerine bağlı bir miktardır. gönderilir.

Kodlama teorisi, verimliliği artırmak ve gürültülü kanallar üzerinden veri iletişiminin hata oranını kanal kapasitesine yakın bir düzeye indirmek için kod adı verilen açık yöntemleri bulmakla ilgilenir . Bu kodlar kabaca veri sıkıştırma (kaynak kodlama) ve hata düzeltme (kanal kodlama) tekniklerine ayrılabilir . İkinci durumda, Shannon'ın çalışmasının kanıtladığı yöntemlerin mümkün olduğunu bulmak uzun yıllar aldı.

Bilgi teorisi kodları için üçüncü bir sınıf şifreleme algoritmaları (her ikisi de kodlar ve şifrelere ). Kodlama teorisi ve bilgi teorisinden elde edilen kavramlar, yöntemler ve sonuçlar kriptografi ve kriptanalizde yaygın olarak kullanılmaktadır . Tarihsel bir uygulama için makale yasağına (birim) bakın.

Tarihsel arka plan

Enformasyon teorisi disiplinini kuran ve onu hemen tüm dünyanın dikkatine sunan dönüm noktası niteliğindeki olay , Temmuz ve Ekim 1948'de Claude E. Shannon'ın klasik "A Mathematical Theory of Communication" makalesinin Bell System Technical Journal'da yayınlanmasıydı .

Bu makaleden önce, Bell Laboratuarlarında sınırlı bilgi-teorik fikirler geliştirilmişti ve bunların tümü dolaylı olarak eşit olasılıklı olayları varsayıyordu. Harry Nyquist'in 1924 tarihli, Telgraf Hızını Etkileyen Belirli Faktörler adlı makalesi, W = K log m ( Boltzmann'ın sabitini hatırlatan) ilişkisini vererek, "zeka" ve bir iletişim sistemi tarafından iletilebileceği "hat hızı"nı ölçen teorik bir bölüm içerir. ), burada W zekanın iletim hızıdır, m her zaman adımında seçilebilecek farklı voltaj seviyelerinin sayısıdır ve K bir sabittir. Ralph Hartley 'in kağıt 1928, bilgi aktarımı , kelime kullanan bilgi bir ayırt alıcının yeteneğini yansıtan bir ölçülebilir miktar olarak semboller dizisi olarak başka, bu şekilde ölçülmesi bilgilerden H = log S , n = n- log S , S olası sembollerin sayısıydı ve n bir aktarımdaki sembollerin sayısıydı. Bu nedenle bilgi birimi, ondalık basamaktı ve o zamandan beri bazen bir bilgi birimi veya ölçeği veya ölçüsü olarak onuruna hartley olarak adlandırıldı . 1940'ta Alan Turing , Alman ikinci dünya savaşı Enigma şifrelerinin kırılmasının istatistiksel analizinin bir parçası olarak benzer fikirleri kullandı .

Farklı olasılıklardaki olaylarla bilgi teorisinin arkasındaki matematiğin çoğu, Ludwig Boltzmann ve J. Willard Gibbs tarafından termodinamik alanı için geliştirildi . 1960'larda Rolf Landauer'in önemli katkıları da dahil olmak üzere bilgi-teorik entropi ve termodinamik entropi arasındaki bağlantılar , termodinamik ve bilgi teorisinde Entropi'de araştırılır .

Shannon'ın 1944 yılı sonunda Bell Laboratuarlarında büyük ölçüde tamamlanmış olan devrim niteliğindeki ve çığır açan makalesinde, Shannon ilk kez bilgi teorisinin altında yatan istatistiksel bir süreç olarak nitel ve nicel iletişim modelini tanıttı ve şu iddiayla başladı:

"İletişimin temel sorunu, bir noktada, tam olarak veya yaklaşık olarak, başka bir noktada seçilen bir mesajı yeniden üretmektir."

Onunla birlikte fikirler geldi

  • bir kaynağın bilgi entropisi ve fazlalığı ve kaynak kodlama teoremi yoluyla uygunluğu ;
  • gürültülü kanal kodlama teoremi tarafından verilen mükemmel kayıpsız iletişim vaadi de dahil olmak üzere gürültülü bir kanalın karşılıklı bilgi ve kanal kapasitesi;
  • bir Gauss kanalının kanal kapasitesi için Shannon-Hartley yasasının pratik sonucu ; birlikte
  • Bit bilginin en temel birimi görme yeni bir yol -a.

bilgi miktarları

Bilgi teorisi, olasılık teorisi ve istatistiğe dayanmaktadır . Bilgi teorisi genellikle rastgele değişkenlerle ilişkili dağılımların bilgi ölçümleriyle ilgilenir. Önemli bilgi miktarları, tek bir rastgele değişkendeki bilginin bir ölçüsü olan entropi ve iki rastgele değişken arasındaki ortak bir bilgi ölçüsü olan karşılıklı bilgidir. Birinci nicelik, rastgele bir değişkenin olasılık dağılımının bir özelliğidir ve verilen dağılıma sahip bağımsız örnekler tarafından üretilen verilerin güvenilir bir şekilde sıkıştırılabileceği hız konusunda bir sınır verir. İkincisi, iki rastgele değişkenin ortak dağılımının bir özelliğidir ve kanal istatistikleri ortak dağıtım tarafından belirlendiğinde, uzun blok uzunlukları sınırında gürültülü bir kanal boyunca maksimum güvenilir iletişim oranıdır .

Aşağıdaki formüllerde logaritmik taban seçimi , kullanılan bilgi entropisi birimini belirler . Ortak bir bilgi birimi, ikili logaritmayı temel alan bittir . Diğer birimler , doğal logaritmayı temel alan nat ve ortak logaritmayı temel alan ondalık basamağı içerir .

Aşağıda, p log p formunun bir ifadesinin, p = 0 olduğunda, geleneksel olarak sıfıra eşit olduğu kabul edilir . Bu, herhangi bir logaritmik taban için haklıdır .

Bir bilgi kaynağının entropisi

İletilecek her kaynak sembolünün olasılık kütle fonksiyonuna dayalı olarak, Shannon entropisi H bit birimi (sembol başına) olarak şu şekilde verilir:

burada p i , kaynak sembolünün i -inci olası değerinin ortaya çıkma olasılığıdır . Bu denklem, entropiyi "bit" (sembol başına) biriminde verir, çünkü 2 tabanının logaritmasını kullanır ve bu taban-2 entropi ölçüsüne bazen onun onuruna shannon denir . Entropi, aynı zamanda , sembol başına nats cinsinden bir entropi ölçümü üreten ve bazen formüllere fazladan sabitler ekleme gereğini ortadan kaldırarak analizi basitleştiren doğal logaritma (temel e , burada e Euler sayısıdır) kullanılarak da hesaplanır . Diğer bazlar da mümkündür, ancak daha az yaygın olarak kullanılır. Örneğin, 2 8 = 256 tabanlı bir logaritma, sembol başına bayt cinsinden bir ölçüm üretecek ve 10 tabanlı bir logaritma, sembol başına ondalık basamak (veya hartley ) cinsinden bir ölçüm üretecektir .

Sezgisel olarak, kesikli bir rastgele değişken X'in entropisi H X , yalnızca dağılımı bilindiğinde X'in değeriyle ilişkili belirsizlik miktarının bir ölçüsüdür .

Bağımsız ve özdeş olarak dağıtılmış (iid) N sembol dizisi yayan bir kaynağın entropisi NH bittir ( N sembollü mesaj başına ). Kaynak veri sembolleri aynı dağıtılmış fakat bağımsız değildir, satır uzunluğu bir mesajın entropi N daha az olacaktır , NH .

Başarı olasılığının bir fonksiyonu olarak bir Bernoulli denemesinin entropisi , genellikle ikili entropi fonksiyonu , H b ( p ) olarak adlandırılır . Entropi, tarafsız bir yazı turasında olduğu gibi, iki olası sonuç eşit derecede olası olduğunda, deneme başına 1 bitte maksimize edilir.

1000 bit (0s ve 1s) iletilirse ve bu bitlerin her birinin değeri, iletim öncesinde alıcı tarafından biliniyorsa (kesinlikle belirli bir değeri varsa), hiçbir bilginin iletilmediği açıktır. Bununla birlikte, her bitin bağımsız olarak 0 veya 1 olma olasılığı eşitse, 1000 shannon bilgi (daha sık olarak bit olarak adlandırılır) iletilmiştir. Bu iki uç arasında bilgi aşağıdaki gibi nicelleştirilebilir. Eğer bütün mesajların kümesi olan { x 1 , ..., x , n } o X'in olabilir ve p ( x ) bir olasılığıdır , daha sonra entropi, H bölgesinin X tanımlanır:

(Burada, ben ( x ) olan öz-bilgi bireysel mesajın entropi katkıdır, ve bir beklenen değer .) Entropi bir özellik mesajı uzayda bütün mesajları equiprobable olduğunda o maksimize edilmesidir p ( x ) = 1/ n ; yani, en tahmin edilemez, bu durumda H ( X ) = log n .

İki sonucu olan bir rastgele değişken için bilgi entropisinin özel durumu, genellikle logaritmik taban 2'ye alınan ikili entropi işlevidir, bu nedenle birim olarak shannon (Sh) bulunur:

ortak entropi

Ortak entropi iki farklı rastgele değişkenler X ve Y : sadece kendi eşleştirme entropisidir ( X , Y ) . Bu ise anlamına gelir X ve Y'nin olan bağımsız , daha sonra ortak bir entropi bireysel entropi toplamıdır.

Örneğin, ( X , Y ) piece- bir satranç konumunu temsil X satır ve Y, kolon, daha sonra parça ve parça sütun sırasının ortak entropi pozisyonuna entropi olacak adet.

Benzer gösterime rağmen, ortak entropi, çapraz entropi ile karıştırılmamalıdır .

Koşullu entropi (kaçırma)

Koşullu entropi veya koşullu belirsizlik ve X rastgele değişken verilen Y (aynı zamanda kelime oyunu ve X ile ilgili Y ) üzerinden ortalama koşullu entropi olan Y :

Entropi, rastgele bir değişkene veya bu rastgele değişkenin belirli bir değere göre koşullandırılabileceğinden, ilki daha yaygın olarak kullanılan bu iki koşullu entropi tanımını karıştırmamaya özen gösterilmelidir. Bu koşullu entropi biçiminin temel bir özelliği şudur:

Karşılıklı bilgi (dönüştürme)

Karşılıklı bilgi , bir rastgele değişken hakkında diğerini gözlemleyerek elde edilebilecek bilgi miktarını ölçer. Gönderilen ve alınan sinyaller arasında paylaşılan bilgi miktarını en üst düzeye çıkarmak için kullanılabileceği iletişimde önemlidir. X'in Y'ye görekarşılıklı bilgisişu şekilde verilir:

nerede SI ( S pecific karşılıklı I nformation) 'dir noktasal karşılıklı bilgi .

Karşılıklı bilginin temel bir özelliği şudur:

Bilerek olan Y , biz bir ortalama kaydedebilir I ( X ; Y ) bit kodlayan içinde X bilmeden kıyasla Y .

Karşılıklı bilgi simetriktir :

Karşılıklı bilgiler arasındaki ortalama Kullback-Leibler sapma (bilgi kazancı) olarak ifade edilebilir , posterior olasılık dağılımı arasında X değeri belirli bir Y ve önceden dağılımı ile ilgili X :

Başka bir deyişle, bu, bize Y değeri verilirse, X üzerindeki olasılık dağılımının ortalama olarak ne kadar değişeceğinin bir ölçüsüdür . Bu genellikle marjinal dağılımların ürününden gerçek ortak dağılıma olan sapma olarak yeniden hesaplanır:

Karşılıklı bilgi, olasılık tabloları ve çok terimli dağılım bağlamında log-olabilirlik oranı testiyle ve Pearson'ın χ 2 testiyle yakından ilişkilidir : karşılıklı bilgi, bir çift değişken arasındaki bağımsızlığı değerlendirmek için bir istatistik olarak kabul edilebilir ve iyi bir belirtilen asimptotik dağılım.

Kullback-Leibler ayrışması (bilgi kazancı)

Kullback-Leibler sapma (veya bilgi sapma , bilgi kazancı veya nispi entropi "gerçek":) İki dağılımlarını karşılaştıran bir yoludur olasılık dağılımı ve keyfi bir olasılık dağılımı . Verileri, bazı verilerin altında yatan dağılım olduğunu varsayarak sıkıştırırsak , gerçekte doğru dağılım olduğunda, Kullback-Leibler ayrışması, sıkıştırma için gerekli veri başına ortalama ek bit sayısıdır. Bu şekilde tanımlanır

Bazen bir 'mesafe metriği' olarak kullanılsa da, KL diverjansı simetrik olmadığı ve üçgen eşitsizliğini karşılamadığı için gerçek bir metrik değildir (yarı yarı-quasimetrik yapar).

KL sapmasının bir başka yorumu, bir önceki tarafından gerçeklerden getirilen "gereksiz sürpriz"dir: Diyelim ki , olasılık dağılımına sahip ayrık bir kümeden rastgele bir X sayısı çekilmek üzere . Eğer Alice gerçek dağılımı biliyorsa, Bob dağılımın olduğuna inanıyorsa ( öncesi var ) , o zaman Bob , X'in değerini gördüğünde ortalama olarak Alice'ten daha fazla şaşıracaktır . KL sapması, Bob'un (öznel) sürprizinin eksi Alice'in sürprizinin (nesnel) beklenen değeridir, log 2 tabanında ise bit olarak ölçülür. onu ne kadar "gereksiz yere şaşırtması" bekleniyor.

Diğer miktarlar

Diğer önemli bilgi teorik nicelikleri arasında Rényi entropisi ( entropinin genelleştirilmesi), diferansiyel entropi (bilgi miktarlarının sürekli dağılımlara genelleştirilmesi) ve koşullu karşılıklı bilgi bulunur .

kodlama teorisi

Bir CD-R'nin okunabilir yüzeyindeki çizikleri gösteren bir resim. Müzik ve veri CD'leri hata düzeltme kodları kullanılarak kodlanmıştır ve bu nedenle hata algılama ve düzeltme kullanılarak küçük çizikler olsa bile okunabilir .

Kodlama teorisi, bilgi teorisinin en önemli ve doğrudan uygulamalarından biridir. Kaynak kodlama teorisi ve kanal kodlama teorisi olarak ikiye ayrılabilir . Veriler için istatistiksel bir tanım kullanarak, bilgi teorisi, kaynağın bilgi entropisi olan verileri tanımlamak için gereken bit sayısını ölçer.

  • Veri sıkıştırma (kaynak kodlama): Sıkıştırma sorunu için iki formül vardır:
  • Hata düzeltme kodları (kanal kodlama): Veri sıkıştırma mümkün olduğunca fazla fazlalığı ortadan kaldırırken, bir hata düzeltme kodu, verileri gürültülü bir kanalda verimli ve güvenilir bir şekilde iletmek için gereken doğru türde artıklığı (yani hata düzeltme) ekler.

Kodlama teorisinin sıkıştırma ve iletime bu şekilde bölünmesi, bilgi iletim teoremleri veya birçok bağlamda bilgi için evrensel para birimi olarak bitlerin kullanımını haklı çıkaran kaynak-kanal ayırma teoremleri tarafından doğrulanır. Ancak, bu teoremler yalnızca, gönderen bir kullanıcının alıcı bir kullanıcıyla iletişim kurmak istediği durumlarda geçerlidir. Birden fazla vericinin (çoklu erişim kanalı), birden fazla alıcının ( yayın kanalı ) veya aracı "yardımcıların" ( röle kanalı ) veya daha genel ağların bulunduğu senaryolarda , sıkıştırma ve ardından iletim artık optimal olmayabilir. Ağ bilgi teorisi , bu çok etmenli iletişim modellerini ifade eder.

kaynak teorisi

Ardışık mesajlar üreten herhangi bir süreç bir bilgi kaynağı olarak kabul edilebilir . Ergodiklik ve durağanlık özellikleri daha az kısıtlayıcı kısıtlamalar getirirken, hafızasız bir kaynak, her mesajın bağımsız, aynı şekilde dağıtılmış bir rastgele değişken olduğu bir kaynaktır . Bu tür kaynakların tümü stokastiktir . Bu terimler, kendi doğru bilgi dışı teorilerinde iyi çalışılmıştır.

Oran

Bilgi oranı , sembol başına ortalama entropidir. Hafızasız kaynaklar için, bu sadece her sembolün entropisi iken, durağan bir stokastik süreç durumunda,

yani, üretilen önceki tüm semboller verilen bir sembolün koşullu entropisi. Mutlaka sabit olmayan bir işlemin daha genel durum için, ortalama oran olduğu

yani, sembol başına ortak entropi sınırı. Durağan kaynaklar için bu iki ifade aynı sonucu verir.

Bilgi oranı şu şekilde tanımlanır:

Bilgi teorisinde bir dilin "oran" veya "entropisinden" bahsetmek yaygındır. Bu, örneğin bilgi kaynağı İngilizce düzyazı olduğunda uygundur. Bir bilgi kaynağının hızı, kaynak kodlamanın konusu olan fazlalığı ve ne kadar iyi sıkıştırılabileceği ile ilgilidir .

Kanal kapasitesi

Bir kanal üzerinden iletişim, bilgi teorisinin birincil motivasyonudur. Bununla birlikte, kanallar genellikle bir sinyalin tam olarak yeniden oluşturulmasını sağlamada başarısız olur; gürültü, sessizlik dönemleri ve diğer sinyal bozulması biçimleri genellikle kaliteyi düşürür.

Ayrı bir kanal üzerinden iletişim sürecini düşünün. Sürecin basit bir modeli aşağıda gösterilmiştir:

Burada X , iletilen mesajların alanını ve Y , kanalımız üzerinden birim zamanda alınan mesajların alanını temsil eder . Let s ( y | X ) olmak koşullu olasılık arasında dağılım fonksiyonu Y'nin verilen X . Biz ele alacağız p ( y | x ) (doğasını temsil eden iletişim kanalının doğal sabit özellik olarak gürültü bizim kanalın). Daha sonra X ve Y'nin ortak dağılımı tamamen kanalımız tarafından ve kanal üzerinden göndermeyi seçtiğimiz mesajların marjinal dağılımı olan f ( x ) seçimimizle belirlenir . Bu kısıtlamalar altında , kanal üzerinden iletişim kurabileceğimiz bilgi veya sinyal oranını maksimize etmek istiyoruz . Bunun için uygun ölçü karşılıklı bilgidir ve bu maksimum karşılıklı bilgi kanal kapasitesi olarak adlandırılır ve şu şekilde verilir:

Bu kapasite, R bilgi hızında iletişimle ilgili aşağıdaki özelliğe sahiptir (burada R genellikle sembol başına bittir). Herhangi bir bilgi oranı R < C ve kodlama hatası e > 0 için, yeterince büyük N için , N uzunluğunda ve ≥ R hızında bir kod ve bir kod çözme algoritması vardır, öyle ki blok hatasının maksimum olasılığı ≤ ε olur ; yani, keyfi olarak küçük blok hatasıyla iletmek her zaman mümkündür. Ek olarak, herhangi bir R > C oranı için , keyfi olarak küçük blok hatası ile iletmek imkansızdır.

Kanal kodlaması , verileri gürültülü bir kanal üzerinden kanal kapasitesine yakın bir oranda küçük bir kodlama hatasıyla iletmek için kullanılabilecek bu tür neredeyse optimal kodları bulmakla ilgilidir.

Belirli kanal modellerinin kapasitesi

  • Gauss gürültüsüne maruz kalan sürekli zamanlı bir analog iletişim kanalı — bkz. Shannon-Hartley teoremi .
  • Bir ikili simetrik kanal geçiş olasılığı ile (BSC) p olasılığı ile, giriş bit döndüren bir ikili giriş, dijital çıkış kanalı p . BSC, kanal kullanımı başına 1 − H b ( p ) bitlik bir kapasiteye sahiptir ; burada H b , taban-2 logaritmasına göre ikili entropi işlevidir:
İkili simetrik kanal.svg
  • Bir ikili sılme kanal silme olasılığı ile (BEC) p bir ikili giriş, üçlü çıkış kanalıdır. Olası kanal çıkışları 0, 1 ve silme adı verilen üçüncü bir 'e' sembolüdür. Silme, bir giriş biti hakkında tam bilgi kaybını temsil eder. BEC'nin kapasitesi, kanal kullanımı başına 1 - p bittir.
İkili silme channel.svg

Hafızalı ve yönlendirilmiş bilgi içeren kanallar

Pratikte birçok kanalın hafızası vardır. Yani kanal, zaman zaman koşullu olasılık tarafından verilir . Notasyonu kullanmak genellikle daha rahattır ve kanal olur . Böyle bir durumda kapasite, geri bildirim olmadığında karşılıklı bilgi oranı ve geri bildirimin olması veya olmaması durumunda Yönlendirilmiş bilgi oranı tarafından verilir (geri bildirim yoksa yönlendirilen bilgi j karşılıklı bilgiye eşittir).

Diğer alanlara uygulamalar

İstihbarat kullanımları ve gizlilik uygulamaları

Bilgi teorik kavramları kriptografi ve kriptoanaliz için geçerlidir. Turing'in bilgi birimi olan yasak , Ultra projesinde kullanılmış , Alman Enigma makine kodunu kırmış ve Avrupa'da II . Shannon'ın kendisi, şimdi birlik mesafesi olarak adlandırılan önemli bir kavramı tanımladı . Düz metnin fazlalığına bağlı olarak, benzersiz deşifre edilebilirliği sağlamak için gereken minimum miktarda şifreli metin vermeye çalışır .

Bilgi teorisi, sır saklamanın ilk bakışta göründüğünden çok daha zor olduğuna inanmamıza yol açar. Bir kaba kuvvet saldırısı , asimetrik anahtar algoritmalarına veya blok şifreler gibi simetrik anahtar algoritmalarının (bazen gizli anahtar algoritmaları olarak da adlandırılır) en sık kullanılan yöntemlerine dayalı sistemleri bozabilir . Bu tür yöntemlerin tümünün güvenliği şu anda bilinen hiçbir saldırının onları pratik bir süre içinde kıramayacağı varsayımından kaynaklanmaktadır.

Bilgi teorik güvenliği , bu tür kaba kuvvet saldırılarına karşı savunmasız olmayan tek seferlik pad gibi yöntemleri ifade eder . Bu gibi durumlarda, düz metin ve şifreli metin arasındaki ( anahtar üzerinde koşullu ) pozitif koşullu karşılıklı bilgi , düzgün iletimi sağlarken, düz metin ve şifreli metin arasındaki koşulsuz karşılıklı bilgi sıfır kalır ve kesinlikle güvenli iletişimle sonuçlanır. Başka bir deyişle, bir dinleyici, şifreli metin hakkında bilgi edinerek, ancak anahtar hakkında değil, düz metin tahminini geliştiremez. Ancak, diğer herhangi bir şifreleme sisteminde olduğu gibi, bilgi teorik olarak güvenli yöntemleri bile doğru şekilde uygulamak için özen gösterilmelidir; Venona projesi nedeniyle anahtar malzemenin kendi uygunsuz yeniden kullanım için Sovyetler Birliği'nin tek seferlik yastıkları çatlak başardı.

Sahte rasgele sayı üretimi

Sözde rasgele sayı üreteçleri , bilgisayar dili kitaplıklarında ve uygulama programlarında yaygın olarak bulunur. Modern bilgisayar ekipmanı ve yazılımının belirleyici doğasından kaçınmadıkları için neredeyse evrensel olarak kriptografik kullanıma uygun değildirler. Gelişmiş rasgele sayı üreteçleri sınıfına kriptografik olarak güvenli sözde rasgele sayı üreteçleri denir , ancak bunlar bile amaçlandığı gibi çalışmak için yazılımın dışında rasgele tohumlar gerektirir . Bunlar dikkatli bir şekilde yapılırsa aspiratörlerle elde edilebilir . Çıkarıcılarda yeterli rastgeleliğin ölçüsü min-entropi , Shannon entropisi ile Rényi entropisi ile ilgili bir değerdir ; Rényi entropisi, kriptografik sistemlerde rastgeleliğin değerlendirilmesinde de kullanılır. İlişkili olmasına rağmen, bu ölçüler arasındaki ayrımlar, yüksek Shannon entropisi olan bir rastgele değişkenin, bir çıkarıcıda ve dolayısıyla kriptografi kullanımlarında kullanım için mutlaka tatmin edici olmadığı anlamına gelir.

sismik keşif

Bilgi teorisinin ilk ticari uygulamalarından biri sismik petrol arama alanındaydı. Bu alandaki çalışmalar, istenmeyen gürültüyü istenen sismik sinyalden ayırmayı ve ayırmayı mümkün kıldı. Bilgi teorisi ve dijital sinyal işleme , önceki analog yöntemlere göre çözünürlük ve görüntü netliğinde büyük bir gelişme sunar.

göstergebilim

Semioticians Doede Nauta ve Winfried Noth hem kabul Charles Sanders Peirce göstergebilim üzerine eserlerinde bir bilgi teorisi yarattı sahip olarak. Nauta, semiyotik bilgi teorisini "kodlama, filtreleme ve bilgi işlemenin iç süreçleri" çalışması olarak tanımladı.

Fazlalık ve kod kontrolü gibi bilgi teorisinden gelen kavramlar, Umberto Eco ve Ferruccio Rossi-Landi gibi göstergebilimciler tarafından ideolojiyi, egemen bir sosyal sınıfın yüksek derecede bir güç sergileyen işaretler kullanarak mesajını yaydığı bir mesaj iletimi biçimi olarak açıklamak için kullanılmıştır. artıklık, öyle ki, bir dizi rakip mesaj arasından yalnızca bir mesajın kodu çözülür.

Çeşitli uygulamalar

Bilgi teorisinin ayrıca Kumar ve bilgi teorisi , kara delikler ve biyoinformatikte uygulamaları vardır .

Ayrıca bakınız

Uygulamalar

Tarih

teori

kavramlar

Referanslar

klasik çalışma

Diğer dergi makaleleri

  • JL Kelly, Jr., Princeton , "Bilgi Oranının Yeni Bir Yorumu" Bell System Teknik Dergisi , Cilt. 35, Temmuz 1956, s. 917–26.
  • R. Landauer, IEEE.org , "Bilgi Fizikseldir" Proc. Fizik ve Hesaplama Çalıştayı PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) s. 1–4.
  • Landauer, R. (1961). "Bilgisayar Sürecinde Tersinmezlik ve Isı Üretimi" (PDF) . IBM J. Res. dev . 5 (3): 183–191. doi : 10.1147/rd.53.0183 .
  • Timme, Nicholas; Alford, Wesley; Flecker, Benjamin; Beggs, John M. (2012). "Çok değişkenli bilgi önlemleri: bir deneycinin bakış açısı". arXiv : 1111.6857 [ cs.IT ].

bilgi teorisi üzerine ders kitapları

Diğer kitaplar

MOOC bilgi teorisi üzerine

Dış bağlantılar