3D poz tahmini - 3D pose estimation

Bu konunun daha geniş kapsamı için bkz. Poz (bilgisayar görüşü) .
Hareket yakalama sisteminde poz tahmini

3B poz tahmini , bir görüntü veya 3B tarama verilen kullanıcı tanımlı bir referans pozdan bir nesnenin dönüşümünü tahmin etme işlemidir . Bir nesnenin pozunun veya dönüşümünün Bilgisayar Destekli Tasarım modellerinin hizalanması, nesnenin tanımlanması, kavranması veya manipülasyonu için kullanılabileceği bilgisayarlı görme veya robotikte ortaya çıkar .

Kalibre edilmemiş bir 2D kameradan

Nesnenin yaklaşık bir 3B modeli biliniyorsa ve 2B görüntüdeki karşılık gelen noktalar biliniyorsa, tek bir 2B fotoğraftan bir 3B nesnenin 3B dönüşünü ve ötelenmesini tahmin etmek mümkündür . Son zamanlarda bunu çözmek için yaygın bir teknik, 3B pozun doğrudan 3B model noktalarından ve 2B görüntü noktalarından tahmin edildiği ve tek bir görüntüden iyi bir tahmin bulunana kadar hataları yinelemeli olarak düzelttiği "POSIT" olmuştur. POSIT'in çoğu uygulaması yalnızca eş düzlemli olmayan noktalarda çalışır (başka bir deyişle, düz nesneler veya düzlemlerle çalışmaz).

Diğer bir yaklaşım, poz parametrelerine göre uygun bir mesafe ölçüsünü optimize ederek bilinen bir nesnenin fotoğrafı üzerine bir 3B CAD modeli kaydetmektir . Mesafe ölçümü, fotoğraftaki nesne ile belirli bir pozdaki 3B CAD model projeksiyonu arasında hesaplanır . Kullanılan poz gösterimine bağlı olarak perspektif projeksiyon veya ortogonal projeksiyon mümkündür. Bu yaklaşım, bilinen bir nesnenin (veya nesne kategorisinin) 3B CAD modelinin mevcut olduğu uygulamalar için uygundur.

Kalibre edilmiş bir 2D kameradan

Bir nesnenin 2 boyutlu görüntüsü ve bir dünya koordinat sistemine göre kalibre edilmiş kamera verildiğinde, nesne koordinat sisteminde 3 boyutlu nesneyi veren pozu bulmak da mümkündür. Bu aşağıdaki gibi çalışır.

2B'den 3B'yi çıkarma

2B görüntüden başlayarak, görüntüdeki köşelere karşılık gelen görüntü noktaları çıkarılır. Görüntü noktalarından gelen projeksiyon ışınları, 2B noktalardan yeniden oluşturulur, böylece yeniden oluşturulan ışınlarla karşılaşması gereken 3B noktalar belirlenebilir.

sözde kod

Poz tahminini belirleme algoritması, yinelemeli en yakın nokta algoritmasına dayanır . Ana fikir, 2B görüntü özellikleri ile 3B model eğrisi üzerindeki noktalar arasındaki yazışmaları belirlemektir. 

(a) Reconstruct projection rays from the image points
(b) Estimate the nearest point of each projection ray to a point on the 3D contour
(c) Estimate the pose of the contour with the use of this correspondence set
(d) goto (b)

Yukarıdaki algoritma, kısmen kapatılmış bir nesneyi içeren görüntüleri hesaba katmaz. Aşağıdaki algoritma, tüm konturların sıkı bir şekilde birleştiğini varsayar, yani bir konturun pozu başka bir konturun pozunu tanımlar. 

(a) Reconstruct projection rays from the image points
(b) For each projection ray R:
     (c) For each 3D contour:
          (c1) Estimate the nearest point P1 of ray R to a point on the contour
          (c2) if (n == 1) choose P1 as actual P for the point-line correspondence
          (c3) else compare P1 with P:
                   if dist(P1, R) is smaller than dist(P, R) then
                       choose P1 as new P
(d) Use (P, R) as correspondence set.
(e) Estimate pose with this correspondence set
(f) Transform contours, goto (b)

Karşılaştırma yoluyla pozu tahmin etme

Bir giriş görüntüsünü poz tahmini ile karşılaştırmak için farklı dönüşlerde ve çevirilerde bir nesnenin veritabanını kullanan sistemler mevcuttur. Bu sistemlerin doğruluğu, görüntü veritabanlarında temsil edilen durumlarla sınırlıdır, ancak amaç, bir pozu belirlemek yerine tanımaktır.

Yazılım

  • posest , 3D-2D yazışmalardan 6DoF poz tahmini için bir GPL C / C++ kitaplığı.
  • diffgeom2pose , 6DoF poz için hızlı Matlab çözücü, noktaların yönlerle (vektörler) veya eğrilerdeki noktaların (nokta-tanjantlar) yalnızca iki 3D-2D eşleşmesinden tahmin eder . Noktalar, özellik yönleriyle SIFT ile ilişkilendirilebilir.
  • EKSİ : (göreli) için C++ paketi üç görünümün tahminini oluşturur. Bu noktalarda çizgilerle karşılık gelen üç noktanın (özellik konumları ve yönelimlerinde veya teğetli eğri noktalarında olduğu gibi) ve ayrıca üç karşılık gelen nokta ve bir çizgi yazışması durumlarını içerir.

Ayrıca bakınız

Referanslar

bibliyografya

Dış bağlantılar