Veri azaltma - Data reduction

Veri indirgeme, ampirik veya deneysel olarak elde edilen sayısal veya alfabetik sayısal bilgilerin düzeltilmiş, sıralı ve basitleştirilmiş bir forma dönüştürülmesidir. Veri azaltmanın amacı iki yönlü olabilir: geçersiz verileri ortadan kaldırarak veri kayıtlarının sayısını azaltmak veya çeşitli uygulamalar için farklı toplama seviyelerinde özet veriler ve istatistikler üretmek.

Enstrüman okumalarından bilgi elde edildiğinde, analogdan dijital forma bir dönüşüm de olabilir . Veriler zaten dijital biçimde olduğunda, verilerin 'indirgenmesi' tipik olarak bazı düzenleme, ölçekleme , kodlama , sıralama , harmanlama ve tablo özetleri üretmeyi içerir. Gözlemler ayrık, ancak altta yatan fenomen sürekli olduğunda, genellikle düzleştirme ve enterpolasyona ihtiyaç duyulur. Veri indirgeme, genellikle okuma veya ölçüm hatalarının varlığında yapılır . En olası değer belirlenmeden önce bu hataların doğası hakkında bazı fikirlere ihtiyaç vardır.

Astronomide bir örnek , Kepler uydusundaki veri azalmasıdır . Bu uydu, her altı saniyede bir 95 megapiksel görüntüleri kaydeder ve saniyede düzinelerce megabayt veri üretir; bu, 550 KBps'lik aşağı bağlantı bant genişliğinden daha fazla büyüklük sırasıdır. Yerleşik veri azaltma, ham karelerin otuz dakika boyunca birlikte eklenmesini ve bant genişliğinin 300 kat azaltılmasını kapsar. Ayrıca, ilginç hedefler önceden seçilir ve toplamın %6'sı olan yalnızca ilgili pikseller işlenir. Bu azaltılmış veriler daha sonra işleneceği Dünya'ya gönderilir.

Giyilebilir (kablosuz) cihazlarda veri azaltmanın sağlık izleme ve teşhis uygulamaları için kullanımı konusunda da araştırmalar yapılmıştır. Örneğin, epilepsi teşhisi bağlamında, tanı ile ilgili EEG verilerini seçip ileterek ve arka plan aktivitesini atarak giyilebilir bir EEG cihazının pil ömrünü artırmak için veri azaltma kullanılmıştır.

Veri Azaltma Türleri

Boyutsal küçülme

Boyutsallık arttığında, veriler giderek seyrekleşirken, kümeleme ve aykırı değer analizi için kritik olan noktalar arasındaki yoğunluk ve mesafe daha az anlamlı hale gelir. Boyut azaltma , verilerdeki paraziti azaltmaya yardımcı olur ve aşağıdaki örnekte olduğu gibi, 3 boyutlu verilerin gizli kısımları göstermek için 2 boyuta dönüştürüldüğü örnekte olduğu gibi daha kolay görselleştirmeye olanak tanır. Boyut azaltmanın bir yöntemi, verilerin farklı çözünürlük seviyelerindeki nesneler arasındaki bağıl mesafeyi korumak için dönüştürüldüğü ve genellikle görüntü sıkıştırma için kullanıldığı dalgacık dönüşümüdür .

Boyut küçültme örneği.

Sayı Azaltma

Bu veri azaltma yöntemi, alternatif, daha küçük veri temsili biçimleri seçerek veri hacmini azaltır. Sayısallık azaltma 2 gruba ayrılabilir: parametrik ve parametrik olmayan yöntemler. Parametrik yöntemler (örneğin regresyon), verilerin bir modele uyduğunu varsayar, model parametrelerini tahmin eder, yalnızca parametreleri depolar ve verileri atar. Bunun bir örneği, işlenecek veri hacminin daha spesifik kriterlere göre azaltıldığı aşağıdaki resimdedir. Başka bir örnek , uygun marjinal alt uzaylarda çarpım olarak mD uzayında bir noktada bir değer elde eden log-doğrusal bir model olabilir . Parametrik olmayan yöntemler modelleri varsaymaz, bazı örnekler histogramlar, kümeleme, örnekleme vb.

Sayısallık azaltma yoluyla veri azaltma örneği

istatistiksel modelleme

Veri azaltma, veriler için istatistiksel bir model varsayılarak elde edilebilir. Klasik veri indirgeme ilkeleri, yeterlilik , olasılık , koşulluluk ve denkliği içerir .

En iyi uygulamalar

Bunlar, veri azaltmada kullanılan yaygın tekniklerdir.

  • Boyutun bir yönüne göre sipariş verin.
  • Tablo köşegenleştirme , bu sayede, tabloların satırları ve sütunları, desenlerin daha kolay görülebilmesi için yeniden düzenlenir (şemaya bakın).
  • Büyük ölçüde bir veya en fazla iki etkili basamağa yuvarlayın (etkili basamaklar, verilerin o bölümünde değişen sayılardır).
  • Özetin yanı sıra görsel bir odak sağlamak için ortalamaları kullanın.
  • Gözü yönlendirmek için düzeni ve etiketlemeyi kullanın.
  • Resimler ve çizgiler gibi chartjunk öğesini kaldırın .
  • Kısa bir sözlü özet verin.

Ayrıca bakınız

Referanslar

daha fazla okuma