Olay kamerası - Event camera

Bir olay kamera aynı zamanda bir olarak bilinen nöromorfik kamera , silikon retinada veya dinamik vizyon sensörü , bir olan görüntüleme sensörü parlaklık yerel değişikliklere tepki verdiğini. Olay kameraları , geleneksel kameraların yaptığı gibi bir deklanşör kullanarak görüntü yakalamaz . Bunun yerine, bir olay kamerası içindeki her piksel bağımsız ve eşzamansız olarak çalışır, parlaklıktaki değişiklikleri meydana geldikçe bildirir ve aksi takdirde sessiz kalır. Modern olay kameraları, mikrosaniyelik zamansal çözünürlüğe, 120 dB dinamik aralığa ve çerçeve kameralarından daha az düşük /fazla pozlama ve hareket bulanıklığına sahiptir.

Fonksiyonel Açıklama

Olay kameraları, meydana geldikçe parlaklıktaki değişikliklere bağımsız olarak yanıt veren pikseller içerir. Her piksel bir referans parlaklık seviyesi depolar ve bunu sürekli olarak mevcut parlaklık seviyesiyle karşılaştırır. Parlaklık farkı önceden ayarlanmış bir eşiği aşarsa, o piksel referans seviyesini sıfırlar ve bir olay oluşturur: piksel adresini ve zaman damgasını içeren ayrı bir bilgi paketi. Olaylar ayrıca bir parlaklık değişiminin polaritesini (artış veya azalış) veya mevcut aydınlatma seviyesinin anlık ölçümünü de içerebilir. Böylece olay kameraları, sahne aydınlatmasındaki değişiklikler tarafından tetiklenen asenkron bir olay akışı verir.

Bir olay kamerası ve geleneksel bir kamera tarafından üretilen verilerin karşılaştırılması.

^{*İnsan gözü ve olay kameraları kare çıkışı vermediği için zamansal çözünürlüğü gösterir.}

Türler

Tüm olay kameraları, parlaklıktaki yerel değişikliklere tepki verirken, birkaç çeşidi vardır. Zamansal kontrast sensörleri (öncü DVS (Dinamik Görüntü Sensörü) veya sDVS (hassas-DVS) gibi) polariteyi (parlaklıkta artış veya azalma) gösteren olaylar üretirken, geçici görüntü sensörleri her olayla anlık yoğunluğu gösterir . DAVIS (Dinamik ve Aktif Piksel Görüntü Sensörü) , aynı fotosensör dizisini paylaşan dinamik görüntü sensörüne (DVS) ek olarak bir global obtüratör aktif piksel sensörü (APS) içerir. Böylece olayların yanında görüntü çerçeveleri de üretebilme özelliğine sahiptir. Birçok olay kamerası ayrıca bir atalet ölçüm birimi (IMU) taşır .

algoritmalar

Görüntü Yeniden Yapılandırma

Geceleri araba farlarının önünden bir yaya koşar. Solda: geleneksel bir kamerayla çekilen görüntü, ciddi hareket bulanıklığı ve yetersiz pozlama sergiliyor. Sağ: Soldaki görüntünün bir olay kamerasındaki olaylarla birleştirilmesiyle yeniden oluşturulan görüntü.

Olaylardan görüntü rekonstrüksiyonu, yüksek dinamik aralık, yüksek zamansal çözünürlük ve minimum hareket bulanıklığı ile görüntü ve video oluşturma potansiyeline sahiptir. Görüntü rekonstrüksiyonu, örneğin yüksek geçişli veya tamamlayıcı filtre gibi geçici yumuşatma kullanılarak gerçekleştirilebilir . Alternatif yöntemler, optimizasyon ve gradyan tahminini ve ardından Poisson entegrasyonunu içerir .

Mekansal Evrişimler

Uzamsal Olaya Dayalı Evrişim kavramı ilk olarak 1999'da (DVS icadından önce) kabul edildi, ancak daha sonra AB projesi CAVIAR (DVS'nin icat edildiği sırada) sırasında olaydan olaya rastgele bir evrişim çekirdeğini olay koordinatı etrafında yansıtarak genelleştirildi. bir dizi entegre ve ateş pikselinde. Çok çekirdekli olay güdümlü evrişimlerin genişletilmesi, olay güdümlü derin evrişimli sinir ağlarına izin verir.

Referanslar