Hareket yakalama - Motion capture

Aynı parçayı çalan iki piyanistin sağ elinin hareket yakalaması (ağır çekim, ses yok)
Hareket yakalama sistemi kullanılarak kaydedilen bir yürüme dizisinin iki tekrarı

Hareket yakalama (bazen mo-cap veya kısaca mocap olarak anılır), nesnelerin veya insanların hareketini kaydetme işlemidir . Askeri , eğlence , spor , tıbbi uygulamalarda ve bilgisayarlı görü ve robotların doğrulanması için kullanılır . Film yapımında ve video oyunu geliştirmede , insan aktörlerin eylemlerinin kaydedilmesi ve bu bilgilerin 2 boyutlu veya 3 boyutlu bilgisayar animasyonunda dijital karakter modellerini canlandırmak için kullanılması anlamına gelir . Yüz ve parmakları içerdiğinde veya ince ifadeleri yakaladığında, genellikle şu şekilde adlandırılır:performans yakalama Birçok alanda, hareket yakalamaya bazen hareket izleme denir , ancak film yapımında ve oyunlarda hareket izleme genellikle daha çok eşleşme hareketini ifade eder .

Hareket yakalama oturumlarında, bir veya daha fazla aktörün hareketleri saniyede birçok kez örneklenir. İlk teknikler , 3D konumları hesaplamak için birden fazla kameradan gelen görüntüleri kullanırken , genellikle hareket yakalamanın amacı, görsel görünümlerini değil, yalnızca aktörün hareketlerini kaydetmektir. Bu animasyon verileri , modelin oyuncu ile aynı eylemleri gerçekleştirmesi için bir 3B modele eşlenir. Bu süreç, eski rotoskop tekniğiyle çelişebilir .

Kamera hareketleri aynı zamanda hareket yakalanabilir, böylece sahnedeki sanal bir kamera, oyuncu performans gösterirken bir kamera operatörü tarafından yönlendirilen sahnenin etrafında pan, tilt veya dolly yapacaktır. Aynı zamanda, hareket yakalama sistemi, oyuncunun performansının yanı sıra kamerayı ve sahne malzemelerini de yakalayabilir. Bu, bilgisayar tarafından oluşturulan karakterlerin, görüntülerin ve setlerin kameradan alınan video görüntüleri ile aynı perspektife sahip olmasını sağlar. Bir bilgisayar verileri işler ve aktörün hareketlerini görüntüler, setteki nesneler açısından istenen kamera konumlarını sağlar. Yakalanan görüntüden geriye dönük olarak kamera hareketi verilerinin elde edilmesi, eşleşme hareketi veya kamera izleme olarak bilinir .

Avantajlar

Hareket yakalama, bir 3D modelin geleneksel bilgisayar animasyonuna göre çeşitli avantajlar sunar :

  • Düşük gecikme, gerçek zamana yakın sonuçlar alınabilir. Eğlence uygulamalarında bu, ana kareye dayalı animasyonun maliyetlerini azaltabilir . Devir teslim tekniği buna bir örnektir.
  • İşin miktarı, performansın karmaşıklığına veya uzunluğuna göre geleneksel teknikleri kullanırken olduğu kadar değişmez. Bu, birçok testin farklı stiller veya teslimatlarla yapılmasına izin vererek, yalnızca oyuncunun yeteneğiyle sınırlı olan farklı bir kişilik kazandırır.
  • İkincil hareketler, ağırlık ve kuvvet alışverişi gibi karmaşık hareketler ve gerçekçi fiziksel etkileşimler, fiziksel olarak doğru bir şekilde kolayca yeniden oluşturulabilir.
  • Belirli bir süre içinde üretilebilecek animasyon verilerinin miktarı, geleneksel animasyon teknikleri ile karşılaştırıldığında oldukça fazladır. Bu, hem maliyet etkinliğine hem de üretim sürelerinin karşılanmasına katkıda bulunur.
  • Maliyetlerini azaltan ücretsiz yazılım ve üçüncü taraf çözümleri için potansiyel.

Dezavantajları

  • Verileri elde etmek ve işlemek için özel donanım ve özel yazılım programları gereklidir.
  • Gerekli yazılım, ekipman ve personelin maliyeti küçük üretimler için engelleyici olabilir.
  • Yakalama sistemi, kamera görüş alanına veya manyetik bozulmaya bağlı olarak çalıştırıldığı alan için özel gereksinimlere sahip olabilir.
  • Sorunlar oluştuğunda, verileri manipüle etmeye çalışmak yerine sahneyi tekrar çekmek daha kolaydır. Yalnızca birkaç sistem, işlemin yeniden yapılması gerekip gerekmediğine karar vermek için verilerin gerçek zamanlı olarak görüntülenmesine izin verir.
  • İlk sonuçlar, verilerin fazladan düzenlenmesi olmaksızın yakalama hacmi içinde gerçekleştirilebileceklerle sınırlıdır.
  • Fizik yasalarına uymayan hareketler yakalanamaz.
  • Squash ve streç animasyon tekniklerinde olduğu gibi, beklenti ve devam etme üzerine ek vurgu, ikincil hareket veya karakterin şeklini manipüle etme gibi geleneksel animasyon teknikleri daha sonra eklenmelidir.
  • Bilgisayar modeli, yakalanan özneden farklı oranlara sahipse, yapaylıklar meydana gelebilir. Örneğin, bir çizgi film karakterinin büyük, büyük boy elleri varsa, insan oyuncu fiziksel hareketlerine dikkat etmezse, bunlar karakterin vücudunu kesebilir.

Uygulamalar

Buckinghamshire New University'den hareket yakalama sanatçıları

Video oyunları , sporcuları, dövüş sanatçılarını ve diğer oyun içi karakterleri canlandırmak için genellikle hareket yakalamayı kullanır . 1988 gibi erken bir tarihte , Martech'in video oyunu Vixen'in (model Corinne Russell tarafından gerçekleştirildi ) ve Magical Company'nin 2D arcade dövüş oyunu Last Apostle Puppet Show'un (dijitalleştirilmiş animasyonu canlandırmak için) 2D oyuncu karakterlerini canlandırmak için erken bir hareket yakalama biçimi kullanıldı. sprite ). Hareket yakalama daha sonra özellikle Sega Model atari oyunları Virtua Fighter (1993) ve Virtua Fighter 2 (1994) 'deki 3D karakter modellerini canlandırmak için kullanıldı. 1995'in ortalarında, geliştirici/yayıncı Acclaim Entertainment , karargahında yerleşik kendi şirket içi hareket yakalama stüdyosuna sahipti. Namco'nun 1995 arcade oyunu Soul Edge , hareket yakalama için pasif optik sistem işaretçileri kullandı.

Filmler, bazı durumlarda geleneksel cel animasyonunun yerini alan CG efektleri için ve Gollum , The Mummy , King Kong , Karayip Korsanları'ndan Davy Jones , Avatar filminden Na'vi gibi tamamen bilgisayar tarafından oluşturulan yaratıklar için hareket yakalamayı kullanır . ve Tron: Legacy'den Clu . The Great Goblin, üç Stone-trols , 2012 filmi The Hobbit: An Unexpected Journey'deki birçok ork ve goblin ve Smaug , hareket yakalama kullanılarak yaratıldı.

Batman Forever (1995) filmi , belirli özel efektler için bir miktar hareket yakalama kullandı. Warner Bros , filmin yapımında kullanılmak üzere arcade video oyunu şirketi Acclaim Entertainment'tan hareket yakalama teknolojisi satın almıştı . Acclaim'in aynı adı taşıyan 1995 video oyunu da sayısallaştırılmış hareketli grafikleri canlandırmak için aynı hareket yakalama teknolojisini kullandı .

Star Wars: Episode I – The Phantom Menace (1999), hareket yakalama kullanılarak oluşturulan bir ana karakter (o karakter, Ahmed Best tarafından oynanan Jar Jar Binks ) ve Hint - Amerikan filmi Sinbad: Beyond'u içeren ilk uzun metrajlı filmdi. The Veil of Mists (2000), çok sınırlı bir gösterime sahip olan filmde birçok karakter animatörü de çalışmış olsa da, öncelikle hareket yakalama ile yapılan ilk uzun metrajlı filmdi. 2001'deki Final Fantasy: The Spirits Within , öncelikle hareket yakalama teknolojisiyle yapılan, geniş çapta yayınlanan ilk filmdi. Zayıf gişe alımına rağmen, hareket yakalama teknolojisinin destekçileri dikkat çekti. Total Recall , röntgen tarayıcısı ve iskeletler sahnesinde bu tekniği zaten kullanmıştı.

Yüzüklerin Efendisi: İki Kule , gerçek zamanlı hareket yakalama sistemini kullanan ilk uzun metrajlı filmdi. Bu yöntem, oyuncu Andy Serkis'in eylemlerini , gerçekleştirilirken Gollum / Smeagol'ün bilgisayarda oluşturulan dış görünümüne aktardı.

2006 En İyi Animasyon Filmi Akademi Ödülü adaylarından ikisi ( Monster House ve kazanan Happy Feet ) hareket yakalama kullandı ve yalnızca Disney · Pixar 's Cars hareket yakalama olmadan canlandırıldı. Pixar'ın Ratatouille filminin bitiş jeneriğinde, filmi "%100 Pure Animation – No Motion Capture!" şeklinde etiketleyen bir damga görünür.

2001'den beri, hareket yakalama, neredeyse fotogerçekçi dijital karakter modelleriyle , canlı aksiyon sinemasının görünümünü simüle etmek veya yaklaşık olarak tahmin etmek için yaygın olarak kullanılmaktadır . Polar Express , Tom Hanks'in birkaç farklı dijital karakter (sesleri de kendisi sağladı) olarak performans göstermesine izin vermek için hareket yakalamayı kullandı . Beowulf destanının 2007 uyarlaması , görünüşleri kısmen hareketlerini ve seslerini sağlayan aktörlere dayanan dijital karakterleri canlandırdı. James Cameron'ın son derece popüler Avatar'ı , Pandora'da yaşayan Na'vi'yi yaratmak için bu tekniği kullandı. Walt Disney Company , bu tekniği kullanarak Robert Zemeckis'in A Christmas Carol'ını üretti . 2007'de Disney, Zemeckis' ImageMovers Digital'i (hareket yakalama filmleri üreten) satın aldı, ancak daha sonra Mars Needs Moms'ın gişe başarısızlığından sonra 2011'de kapattı .

Tamamen hareket yakalama animasyonuyla üretilen televizyon dizileri arasında Kanada'da Laflaque , Hollanda'da Sprookjesboom ve Cafe de Wereld ve İngiltere'de Headcases yer alıyor.

uSens ve Gestigon gibi sanal gerçeklik ve Artırılmış gerçeklik sağlayıcıları, kullanıcıların el hareketlerini yakalayarak dijital içerikle gerçek zamanlı olarak etkileşime girmesine olanak tanır. Bu, eğitim simülasyonları, görsel algı testleri veya bir 3B ortamda sanal incelemeler yapmak için faydalı olabilir. Hareket yakalama teknolojisi, bilgisayar tarafından oluşturulan karakterleri gerçek zamanlı olarak çalıştırmak için dijital kukla sistemlerinde sıklıkla kullanılır .

Yürüyüş analizi , klinik tıpta hareket yakalamanın bir uygulamasıdır . Teknikler, klinisyenlerin çoğu zaman bu bilgileri canlı olarak analitik yazılıma aktarırken insan hareketini çeşitli biyomekanik faktörler üzerinden değerlendirmesine olanak tanır.

Bazı fizik tedavi klinikleri, hastanın ilerlemesini ölçmek için nesnel bir yol olarak hareket yakalamayı kullanır.

James Cameron'ın Avatarı'nın çekimleri sırasında, bu süreci içeren tüm sahneler , yönetmenin ve oyuncunun filmde nasıl görüneceklerini görmelerini sağlayan ve yönetmeyi kolaylaştıran bir ekran görüntüsü oluşturmak için Autodesk MotionBuilder yazılımı kullanılarak gerçek zamanlı olarak yönetildi. film, izleyici tarafından görüleceği gibi. Bu yöntem, önceden oluşturulmuş bir animasyondan mümkün olmayan görünümlere ve açılara izin verdi. Cameron elde ettiği sonuçlardan o kadar gurur duyuyordu ki, sistemi çalışırken görmek için Steven Spielberg ve George Lucas'ı sete davet etti.

Marvel'in Yenilmezler'inde Mark Ruffalo , önceki filmlerde olduğu gibi sadece CGI olması yerine karakteri Hulk'u oynayabilmek için hareket yakalamayı kullandı ve Ruffalo'yu Bruce Banner'ın hem insan hem de Hulk versiyonlarını oynayan ilk aktör yaptı.

FaceRig yazılımı, bir oyuncunun yüz ifadelerini eşlemek için ULSee.Inc'in yüz tanıma teknolojisini ve vücut hareketini bir 3D veya 2D karakterin ekranındaki hareketine eşlemek için Perception Neuron'un vücut izleme teknolojisini kullanır.

San Francisco'daki Oyun Geliştiricileri Konferansı 2016 sırasında Epic Games , Unreal Engine'de canlı olarak tam vücut hareket yakalamayı gösterdi. Yaklaşan Hellblade oyunundan Senua adlı bir kadın savaşçı hakkındaki tüm sahne gerçek zamanlı olarak işlendi. Açılış konuşması Unreal Engine , Ninja Theory , 3Lateral , Cubic Motion , IKinema ve Xsens arasındaki işbirliğiydi .

Ramayana'ya dayanan Hint filmi Adipurush . Filmin, Hollywood tarafından Adipurush dünyasını hayata geçirmek için kullanılan Xsens hareket yakalama ve yüz yakalama gibi üst düzey ve gerçek zamanlı teknolojileri kullanan bir başyapıt olduğu söyleniyor. Adipurush, Lord Ram'ın hikayesidir.

Yöntemler ve sistemler

Vücut yer işaretlerini ve vücut bölümlerinin 3 boyutlu hareketini tanımlamak için cilde iliştirilmiş yansıtıcı işaretler
Siluet izleme

Hareket izleme veya hareket yakalama, 1970'lerde ve 1980'lerde biyomekanik araştırmalarında bir fotogrametrik analiz aracı olarak başladı ve teknoloji olgunlaştıkça eğitim, öğretim, spor ve son zamanlarda televizyon , sinema ve video oyunları için bilgisayar animasyonuna genişledi. 20. yüzyıldan beri icracı, hareketi işaretleyiciler arasındaki konumlar veya açılarla tanımlamak için her eklemin yakınında işaretleyiciler takmak zorundadır. Akustik, atalet, LED , manyetik veya yansıtıcı işaretçiler veya bunların herhangi birinin kombinasyonları, optimal olarak istenen hareketin frekans oranının en az iki katı olacak şekilde izlenir. Hareket bulanıklığı düşük çözünürlükle hemen hemen aynı sorunlara neden olduğundan, sistemin çözünürlüğü hem uzaysal çözünürlükte hem de zamansal çözünürlükte önemlidir. 21. yüzyılın başından itibaren teknolojinin hızla gelişmesi nedeniyle yeni yöntemler geliştirilmiştir. Çoğu modern sistem, sanatçının siluetini arka plandan çıkarabilir. Daha sonra silüete matematiksel bir model oturtularak tüm eklem açıları hesaplanır. Silüette bir değişiklik göremediğiniz hareketler için, her ikisini de (marka ve siluet) yapabilen, ancak daha az işaretleyici olan hibrit Sistemler mevcuttur. Robotikte, bazı hareket yakalama sistemleri eş zamanlı lokalizasyon ve haritalamaya dayalıdır .

optik sistemler

Optik sistemler , örtüşen projeksiyonlar sağlamak üzere kalibre edilmiş iki veya daha fazla kamera arasında bir öznenin 3B konumunu üçgenlemek için görüntü sensörlerinden yakalanan verileri kullanır . Veri toplama geleneksel olarak bir aktöre iliştirilmiş özel işaretler kullanılarak gerçekleştirilir; bununla birlikte, daha yeni sistemler, her bir belirli konu için dinamik olarak tanımlanan yüzey özelliklerini izleyerek doğru veriler üretebilmektedir. Çok sayıda sanatçıyı takip etmek veya yakalama alanını genişletmek, daha fazla kameranın eklenmesiyle gerçekleştirilir. Bu sistemler, her bir işaretleyici için üç serbestlik derecesine sahip veriler üretir ve dönme bilgisi, üç veya daha fazla işaretçinin göreli oryantasyonundan çıkarılmalıdır; örneğin dirsek açısını sağlayan omuz, dirsek ve bilek işaretleri. Daha yeni hibrit sistemler, tıkanmayı azaltmak, kullanıcı sayısını artırmak ve verileri manuel olarak temizlemek zorunda kalmadan izleme yeteneğini geliştirmek için atalet sensörlerini optik sensörlerle birleştiriyor.

Pasif belirteçler

Optik hareket yakalama sisteminde kullanılan takım elbise giyen bir dansçı
Yüz optik hareket yakalama sırasında bir oyuncunun yüzündeki belirli noktalara işaretleyiciler yerleştirilir.

Pasif optik sistemler , kamera merceğinin yakınında üretilen ışığı yansıtmak için retroreflektif bir malzemeyle kaplanmış işaretçiler kullanır . Kameranın eşiği, ten ve kumaş göz ardı edilerek yalnızca parlak yansıtıcı işaretler örneklenecek şekilde ayarlanabilir.

İşaretçinin ağırlık merkezi, yakalanan iki boyutlu görüntü içindeki bir konum olarak tahmin edilir. Her pikselin gri tonlama değeri, Gauss'un ağırlık merkezini bularak alt piksel doğruluğu sağlamak için kullanılabilir .

Kameraları kalibre etmek ve konumlarını elde etmek için bilinen konumlara işaretleyiciler eklenmiş bir nesne kullanılır ve her kameranın lens distorsiyonu ölçülür. İki kalibre edilmiş kamera bir işaretleyici görürse, üç boyutlu bir düzeltme elde edilebilir. Tipik olarak bir sistem yaklaşık 2 ila 48 kameradan oluşacaktır. İşaret takasını azaltmaya çalışmak için üç yüzden fazla kameradan oluşan sistemler mevcuttur. Yakalanan öznenin ve birden çok öznenin tam kapsama alanı için ekstra kameralar gereklidir.

Satıcılar, tüm pasif işaretleyiciler aynı göründüğünden, işaretçi değiştirme sorununu azaltmak için kısıtlama yazılımına sahiptir. Aktif işaret sistemleri ve manyetik sistemlerin aksine pasif sistemler, kullanıcının kablo veya elektronik ekipman takmasını gerektirmez. Bunun yerine, yüzlerce lastik top, periyodik olarak değiştirilmesi gereken yansıtıcı bantla yapıştırılmıştır. İşaretleyiciler genellikle doğrudan cilde yapıştırılır (biyomekanikte olduğu gibi) veya hareket yakalama için özel olarak tasarlanmış tam vücut spandeks/likralı elbise giyen bir sanatçıya cırt cırtla yapıştırılır . Bu tür bir sistem, çözünürlüğü düşürerek ve daha küçük bir ilgi alanını izleyerek 10.000 fps'ye kadar izleyebilmesine rağmen, genellikle 120 ila 160 fps civarında kare hızlarında çok sayıda işaretleyici yakalayabilir.

aktif işaretleyici

vücut hareketi yakalama

Aktif optik sistemler, bir seferde bir LED'i çok hızlı bir şekilde ya da birden fazla LED'i, bir şekilde göksel navigasyona benzer şekilde, göreceli konumlarına göre tanımlamak için yazılımla aydınlatarak konumları üçgenler. Harici olarak üretilen ışığı geri yansıtmak yerine, işaretleyicilerin kendilerine kendi ışıklarını yaymaları için güç verilir. Ters kare kanunu, mesafenin iki katı kadar gücün dörtte birini sağladığından, bu, mesafeleri ve yakalama hacmini artırabilir. Bu aynı zamanda yüksek sinyal-gürültü oranı sağlayarak çok düşük işaretçi titreşimi ve sonuçta yüksek ölçüm çözünürlüğü (genellikle kalibre edilmiş hacim içinde 0,1 mm'ye kadar) ile sonuçlanır.

TV dizisi Stargate SG1 , VFX için aktif bir optik sistem kullanarak bölümler üretti ve oyuncunun diğer aktif olmayan optik sistemler için hareket yakalamayı zorlaştıracak sahne malzemeleri arasında dolaşmasına izin verdi.

ILM , Weta'nın Rise of the Planet of the Apes'teki aktif işaretleyicileri kullanmasına benzer şekilde, Drakula'nın uçan gelinlerini çok büyük setlerde yakalamasına izin vermek için Van Helsing'de aktif işaretleyiciler kullandı . Her bir işaretleyiciye giden güç, elde edilen kare hızına bir maliyetle belirli bir yakalama çerçevesi için her işaretçinin benzersiz bir tanımlamasını sağlayan yakalama sistemi ile aşamalı olarak sağlanabilir. Her bir işaretçiyi bu şekilde tanımlama yeteneği, gerçek zamanlı uygulamalarda faydalıdır. İşaretçileri tanımlamanın alternatif yöntemi, bunu, verilerin fazladan işlenmesini gerektiren algoritmik olarak yapmaktır.

Renkli LED işaretleyicileri kullanarak konumu bulma olanakları da vardır. Bu sistemlerde her renk vücudun belirli bir noktasına atanır.

1980'lerdeki en eski aktif işaretleyici sistemlerinden biri, dönen aynalar ve renkli cam yansıtıcı işaretleyiciler içeren ve maskeli doğrusal dizi detektörleri kullanan hibrit bir pasif-aktif mocap sistemiydi.

Zaman modülasyonlu aktif işaretleyici

Gerçek zamanlı milimetre-altı konumlar sağlayan 960 hertz'de 3.600 × 3.600 çözünürlüğe sahip, benzersiz bir şekilde tanımlanmış yüksek çözünürlüklü aktif işaret sistemi

Aktif işaretleyici sistemleri, bir seferde bir işaretçiyi stroblayarak veya zaman içinde birden fazla işaretçiyi izleyerek ve işaretçi kimliği sağlamak için genliği veya darbe genişliğini modüle ederek daha da iyileştirilebilir. 12 megapiksel uzamsal çözünürlük modülasyonlu sistemler, hem daha yüksek uzamsal hem de zamansal çözünürlüğe sahip olarak 4 megapiksel optik sistemlerden daha ince hareketler gösterir. Yönetmenler, oyuncuların performansını gerçek zamanlı olarak görebilir ve sonuçları hareket yakalama odaklı CG karakteri üzerinde izleyebilir. Benzersiz işaretçi kimlikleri, işaretçi değiştirmeyi ortadan kaldırarak ve diğer teknolojilerden çok daha temiz veriler sağlayarak geri dönüşü azaltır. Yerleşik işleme ve radyo senkronizasyonlu LED'ler, yüksek hızlı elektronik deklanşör sayesinde saniyede 120 ila 960 kare çekerken, doğrudan güneş ışığında açık havada hareket yakalamaya olanak tanır. Modüle edilmiş kimliklerin bilgisayarla işlenmesi, daha düşük işletme maliyetleri için daha az el temizliğine veya filtrelenmiş sonuçlara izin verir. Bu daha yüksek doğruluk ve çözünürlük, pasif teknolojilerden daha fazla işlem gerektirir, ancak ek işlem, çözünürlüğü artırmak için bir alt piksel veya merkez işleme yoluyla kamerada yapılır ve hem yüksek çözünürlük hem de yüksek hız sağlar. Bu hareket yakalama sistemleri, bir oyuncu ile sekiz kamera, 12 megapiksel uzamsal çözünürlüklü 120 hertz sistem için tipik olarak 20.000 $ 'dır.

IR sensörleri, örneğin hareket halindeki bir arabada, mobil çoklu LED yayıcılar tarafından aydınlatıldığında konumlarını hesaplayabilir. İşaretçi başına kimlik ile, bu sensör etiketleri giysilerin altına takılabilir ve güpegündüz 500 Hz'de izlenebilir.

Yarı pasif algılanamaz işaretleyici

Yüksek hızlı kameralara dayalı geleneksel yaklaşım tersine çevrilebilir. Prakash gibi sistemler, pahalı olmayan çok LED'li yüksek hızlı projektörler kullanır. Özel olarak oluşturulmuş çok LED'li IR projektörler, alanı optik olarak kodlar. Sistem, optik sinyallerin kodunu çözmek için retro-yansıtıcı veya aktif ışık yayan diyot (LED) işaretleyiciler yerine ışığa duyarlı işaretleyici etiketler kullanır. Sahne noktalarına foto sensörlü etiketler ekleyerek, etiketler yalnızca her noktanın kendi konumlarını değil, aynı zamanda kendi yönelimlerini, olay aydınlatmasını ve yansımalarını da hesaplayabilir.

Bu izleme etiketleri, doğal aydınlatma koşullarında çalışır ve giysilere veya diğer nesnelere fark edilmeden yerleştirilebilir. Sistem, bir sahnede sınırsız sayıda etiketi destekler ve her etiket, işaretleyici yeniden edinme sorunlarını ortadan kaldırmak için benzersiz şekilde tanımlanır. Sistem, yüksek hızlı bir kamerayı ve buna karşılık gelen yüksek hızlı görüntü akışını ortadan kaldırdığından, önemli ölçüde daha düşük veri bant genişliği gerektirir. Etiketler aynı zamanda, sentetik elemanlar eklenirken sahne aydınlatmasını eşleştirmek için kullanılabilecek olay aydınlatma verilerini de sağlar. Teknik, sette hareket yakalama veya sanal setlerin gerçek zamanlı yayını için ideal görünüyor, ancak henüz kanıtlanmadı.

Sualtı hareket yakalama sistemi

Hareket yakalama teknolojisi, araştırmacılar ve bilim adamları için birkaç on yıldır mevcuttu ve bu, birçok alana yeni bir bakış açısı kazandırdı.

Sualtı kameraları

Sistemin hayati parçası olan su altı kamerası, su geçirmez bir muhafazaya sahiptir. Muhafaza, lavabolarda ve yüzme havuzlarında kullanım için mükemmel kılan korozyona ve klora dayanıklı bir kaplamaya sahiptir. İki tür kamera vardır. Endüstriyel yüksek hızlı kameralar, kızılötesi kameralar olarak da kullanılabilir. Kızılötesi sualtı kameraları, su altında minimum düşüş için tipik IR ışığı yerine camgöbeği ışık flaşı ve bir LED ışıklı veya görüntü işleme seçeneği ile yüksek hızlı kameralar konisi ile birlikte gelir.

Sualtı hareket yakalama kamerası
Görüntü işleme kullanarak yüzmede hareket takibi
ölçüm hacmi

Bir sualtı kamerası, su kalitesine, kameraya ve kullanılan işaretleyicinin türüne bağlı olarak tipik olarak 15-20 metreyi ölçebilir. Şaşırtıcı olmayan bir şekilde, en iyi menzil, su berrak olduğunda elde edilir ve her zaman olduğu gibi, ölçüm hacmi de kamera sayısına bağlıdır. Farklı koşullar için bir dizi su altı işaretçisi mevcuttur.

kişiye özel

Farklı havuzlar, farklı montaj ve armatürler gerektirir. Bu nedenle, tüm sualtı hareket yakalama sistemleri, her bir özel havuz kurulumuna uyacak şekilde benzersiz bir şekilde uyarlanmıştır. Havuzun ortasına yerleştirilen kameralar için özel tasarlanmış, vantuzlu tripodlar sağlanmaktadır.

işaretsiz

Bilgisayarlı görü alanında ortaya çıkan teknikler ve araştırmalar, hareket yakalamaya yönelik işaretsiz yaklaşımın hızla gelişmesine yol açmaktadır. Stanford Üniversitesi , Maryland Üniversitesi , MIT ve Max Planck Enstitüsü'nde geliştirilenler gibi işaretsiz sistemler , nesnelerin izleme için özel ekipman giymelerini gerektirmez. Özel bilgisayar algoritmaları, sistemin birden fazla optik girdi akışını analiz etmesine ve insan formlarını tanımlamasına ve izleme için onları kurucu parçalara ayırmasına izin verecek şekilde tasarlanmıştır. The Matrix Reloaded ve The Matrix Revolutions filmlerini çekmek için fotogerçekçi dijital benzerler de dahil olmak üzere sanal sinematografiyi etkinleştirmek için özel olarak oluşturulan Warner Brothers Pictures'ın bir yan kuruluşu olan ESC eğlencesi , 7 kamera kurulumu ve optik akışı izlemeyi kullanan Universal Capture adlı bir teknik kullandı . Fotogerçekçi sonuçlara yol açan hareket, jest ve yüz ifadesi yakalama için kameraların tüm 2 boyutlu düzlemleri üzerindeki tüm piksellerin birleştirilmesi.

Geleneksel sistemler

Geleneksel olarak işaretsiz optik hareket takibi, uçaklar, fırlatma araçları, füzeler ve uydular dahil olmak üzere çeşitli nesneleri takip etmek için kullanılır. Bu tür optik hareket izleme uygulamalarının çoğu, farklı lens ve kamera konfigürasyonları gerektiren açık havada gerçekleşir. İzlenen hedefin yüksek çözünürlüklü görüntüleri, bu sayede sadece hareket verisinden daha fazla bilgi sağlayabilir. Challenger uzay mekiğinin ölümcül fırlatılmasında NASA'nın uzun menzilli takip sisteminden elde edilen görüntü, kazanın nedeni hakkında önemli kanıtlar sağladı. Optik takip sistemleri, nesnelerin yeterli ışığı yansıtması veya yayması gerektiği için radara kıyasla dezavantajı olmasına rağmen, bilinen uzay aracı ve uzay enkazını tanımlamak için de kullanılır.

Bir optik izleme sistemi tipik olarak üç alt sistemden oluşur: optik görüntüleme sistemi, mekanik izleme platformu ve izleme bilgisayarı.

Optik görüntüleme sistemi, hedef alandan gelen ışığı, izleme bilgisayarının işleyebileceği dijital görüntüye dönüştürmekten sorumludur. Optik izleme sisteminin tasarımına bağlı olarak, optik görüntüleme sistemi standart bir dijital kamera kadar basitten, bir dağın tepesindeki astronomik teleskop kadar özelleşmişe kadar değişebilir. Optik görüntüleme sisteminin özellikleri, izleme sisteminin etkin menzilinin üst sınırını belirler.

Mekanik izleme platformu, optik görüntüleme sistemini tutar ve optik görüntüleme sistemini, her zaman izlenen hedefi gösterecek şekilde manipüle etmekten sorumludur. Optik görüntüleme sistemi ile birlikte mekanik izleme platformunun dinamikleri, izleme sisteminin hızı hızla değişen bir hedef üzerinde kilit tutma yeteneğini belirler.

İzleme bilgisayarı, optik görüntüleme sisteminden görüntüleri yakalamak, hedef konumunu çıkarmak için görüntüyü analiz etmek ve hedefi takip etmek için mekanik izleme platformunu kontrol etmekten sorumludur. Birkaç zorluk var. Öncelikle izleme bilgisayarı, görüntüyü nispeten yüksek bir kare hızında yakalayabilmelidir. Bu, görüntü yakalama donanımının bant genişliğine ilişkin bir gereksinim gönderir. İkinci zorluk, görüntü işleme yazılımının hedef görüntüyü arka planından çıkarabilmesi ve konumunu hesaplayabilmesidir. Bu görev için birkaç ders kitabı görüntü işleme algoritması tasarlanmıştır. İzleme sistemi, izleyeceği tüm hedeflerde ortak olan belirli özellikleri bekleyebilirse, bu sorun basitleştirilebilir. Sıradaki bir sonraki sorun, hedefi takip etmek için izleme platformunu kontrol etmektir. Bu, sistem dinamiklerini modellemeyi ve onu kontrol etmek için kontrolörler tasarlamayı içeren bir zorluktan ziyade tipik bir kontrol sistemi tasarım problemidir . Ancak, sistemin çalışması gereken izleme platformu gerçek zamanlı olarak tasarlanmadıysa, bu bir zorluk haline gelecektir.

Bu tür sistemleri çalıştıran yazılımlar da ilgili donanım bileşenleri için özelleştirilmiştir. Bu tür yazılımlara bir örnek, uçaklar ve uydular gibi uzak mesafelerdeki hareketli nesneleri izlemek için bilgisayarlı teleskopları kontrol eden OpticTracker'dır. Diğer bir seçenek ise, işaretleyicilerle birlikte hibrit olarak da kullanılabilen SimiShape yazılımıdır.

RGB-D Kameralar

Kinect gibi RGB-D kameralar hem renkli hem de derinlik görüntülerini yakalar. İki görüntüyü birleştirerek, 3B renkli volex yakalanabilir, bu da 3B insan hareketinin ve insan yüzeyinin gerçek zamanlı olarak hareket yakalanmasına olanak tanır.

Tek görüşlü bir kameranın kullanılması nedeniyle, yakalanan hareketler genellikle gürültülüdür. Tembel öğrenme ve Gauss modelleri gibi yöntemler kullanılarak, bu tür gürültülü hareketleri otomatik olarak daha yüksek kaliteli hareketlere dönüştürmek için makine öğrenme teknikleri önerilmiştir . Bu yöntem, ergonomik değerlendirme gibi ciddi uygulamalar için yeterince doğru hareket üretir.

Optik olmayan sistemler

atalet sistemleri

Ataletsel hareket yakalama teknolojisi, minyatür atalet sensörlerine, biyomekanik modellere ve sensör füzyon algoritmalarına dayanmaktadır. Atalet sensörlerinin ( atalet kılavuz sistemi ) hareket verileri genellikle kablosuz olarak hareketin kaydedildiği veya görüntülendiği bir bilgisayara iletilir. Çoğu atalet sistemi, dönme oranlarını ölçmek için jiroskop, manyetometre ve ivmeölçer kombinasyonunu içeren atalet ölçüm birimlerini (IMU'lar) kullanır. Bu döndürmeler yazılımda bir iskelete çevrilir. Optik işaretleyicilere çok benzer şekilde, IMU sensörleri ne kadar fazlaysa veriler o kadar doğaldır. Göreceli hareketler için harici kameralar, emitörler veya işaretleyiciler gerekli değildir, ancak istenirse kullanıcının mutlak konumunu vermeleri gerekir. Ataletsel hareket yakalama sistemleri, bir insanın tam altı serbestlik dereceli vücut hareketini gerçek zamanlı olarak yakalar ve bir manyetik yatak sensörü içeriyorsa sınırlı yön bilgisi verebilir, ancak bunlar çok daha düşük çözünürlüklü ve elektromanyetik gürültüye duyarlıdır. Atalet sistemlerini kullanmanın faydaları arasında şunlar yer alır: dar alanlar, çözüm olmaması, taşınabilirlik ve geniş yakalama alanları dahil olmak üzere çeşitli ortamlarda yakalama. Dezavantajları, daha düşük konumsal doğruluk ve zamanla birleşebilen konumsal sapmayı içerir. Bu sistemler Wii denetleyicilerine benzer ancak daha hassastır ve daha yüksek çözünürlük ve güncelleme oranlarına sahiptir. Yere olan yönü bir dereceye kadar doğru bir şekilde ölçebilirler. Atalet sistemlerinin popülaritesi, temel olarak hızlı bir boru hattıyla sonuçlanan hızlı ve kolay kurulum nedeniyle oyun geliştiricileri arasında artıyor. Artık çeşitli üreticilerden bir dizi takım elbise mevcuttur ve taban fiyatlar 1.000 ila 80.000 ABD Doları arasında değişmektedir.

mekanik hareket

Mekanik hareket yakalama sistemleri doğrudan vücut eklem açılarını izler ve sensörlerin vücuda bağlanma şekli nedeniyle genellikle dış iskelet hareket yakalama sistemleri olarak adlandırılır. Bir icracı, iskelet benzeri yapıyı vücuduna bağlar ve onlar hareket ettikçe, eklemli mekanik parçalar da, icracının göreli hareketini ölçerek yapar. Mekanik hareket yakalama sistemleri, gerçek zamanlı, nispeten düşük maliyetli, tıkanıklık içermeyen ve sınırsız yakalama hacmine sahip kablosuz (bağsız) sistemlerdir. Tipik olarak, gövdenin eklemlerinde eklemlenen potansiyometrelerle birbirine bağlanmış eklemli, düz metal veya plastik çubuklardan oluşan sert yapılardır. Bu takımlar 25.000 ila 75.000 ABD Doları aralığında artı bir harici mutlak konumlandırma sistemi içinde olma eğilimindedir. Bazı giysiler sınırlı güç geri bildirimi veya dokunsal girdi sağlar.

Manyetik sistemler

Manyetik sistemler, hem verici hem de her alıcı üzerindeki üç dikey bobinin göreli manyetik akısıyla konum ve yönelimi hesaplar. Üç bobinin voltajının veya akımının göreceli yoğunluğu, bu sistemlerin izleme hacmini titizlikle haritalayarak hem menzili hem de yönelimi hesaplamasına olanak tanır. Sensör çıkışı, optik sistemlerde gerekli olan işaretçi sayısının üçte ikisi ile elde edilen faydalı sonuçları sağlayan 6DOF'tur ; dirsek konumu ve açısı için biri üst kolda ve diğeri alt kolda. İşaretleyiciler metalik olmayan nesneler tarafından kapatılmaz, ancak manyetik alanı etkileyen inşaat demiri (betondaki çelik takviye çubukları) veya kablolar gibi ortamdaki metal nesnelerden ve monitörler, ışıklar, kablolar ve bilgisayarlar. Sensör yanıtı, özellikle yakalama alanının kenarlarına doğru doğrusal değildir. Sensörlerden gelen kablolama, aşırı performans hareketlerini engelleme eğilimindedir. Manyetik sistemlerle, bir hareket yakalama seansının sonuçlarını gerçek zamanlı olarak izlemek mümkündür. Manyetik sistemler için yakalama hacimleri, optik sistemler için olduğundan çok daha küçüktür. Manyetik sistemlerde, alternatif akım (AC) ve doğru akım (DC) sistemleri arasında bir ayrım vardır : DC sistemi kare darbeler kullanır, AC sistemler sinüs dalgası darbesi kullanır.

Streç sensörleri

Germe sensörleri, esneme, bükülme, kesme veya basıncı ölçen ve tipik olarak silikondan üretilen esnek paralel plakalı kapasitörlerdir. Sensör esnediğinde veya sıkıştırdığında kapasitans değeri değişir. Bu veriler Bluetooth veya doğrudan giriş yoluyla iletilebilir ve vücut hareketindeki küçük değişiklikleri tespit etmek için kullanılabilir. Streç sensörler, manyetik parazitten etkilenmez ve tıkanıklık içermez. Sensörlerin gerilebilir doğası, aynı zamanda, atalet sistemlerinde yaygın olan konumsal sapmadan etkilenmedikleri anlamına gelir.

İlgili teknikler

Yüz hareketi yakalama

Çoğu geleneksel hareket yakalama donanımı satıcıları, aktif veya pasif bir işaret sistemi ile 32 ila 300 işaretleyiciyi herhangi bir yerde kullanan bir tür düşük çözünürlüklü yüz yakalama sağlar. Tüm bu çözümler, işaretleyicileri uygulamak, konumları kalibre etmek ve verileri işlemek için gereken süre ile sınırlıdır. Nihayetinde teknoloji, çözünürlüklerini ve ham çıktı kalite seviyelerini de sınırlar.

Performans yakalama olarak da bilinen yüksek sadakatli yüz hareketi yakalama, aslına uygunluğun yeni neslidir ve daha yüksek derecelerde duygu yakalamak için insan yüzündeki daha karmaşık hareketleri kaydetmek için kullanılır. Yüz yakalama şu anda kendisini geleneksel hareket yakalama verileri, karışım şekilli tabanlı çözümler, bir oyuncunun yüzünün gerçek topolojisini yakalama ve tescilli sistemler dahil olmak üzere birkaç farklı kampta düzenliyor.

İki ana teknik, yüz ifadelerini birden fazla açıdan yakalayan ve bir 3D yüzey ağı oluşturmak için OpenCV'den stereo ağ çözücü gibi yazılımları kullanan veya yüzey normallerini hesaplamak için ışık dizilerini kullanan bir dizi kameraya sahip sabit sistemlerdir. ışık kaynağı, kamera konumu veya her ikisi de değiştikçe parlaklıktaki varyans. Bu teknikler, yalnızca kamera çözünürlüğü, görünen nesne boyutu ve kamera sayısı ile özellik çözünürlüğünde sınırlı olma eğilimindedir. Kullanıcının yüzü, kameranın çalışma alanının yüzde 50'sini kaplıyorsa ve bir kamera megapiksel çözünürlüğe sahipse, çerçeveler karşılaştırılarak milimetrenin altındaki yüz hareketleri algılanabilir. Son zamanlarda yapılan çalışmalar, sadece aktörün ve ifadelerinin bir 3D Mesh'ini oluşturmak yerine, hareketlerin diğer bilgisayar tarafından oluşturulan yüzlere yeniden hedeflenmesine izin vermek için kare hızlarını artırmaya ve optik akış yapmaya odaklanıyor.

RF konumlandırma

RF (radyo frekansı) konumlandırma sistemleri, daha yüksek frekanslı RF cihazları, geleneksel radar gibi eski RF teknolojilerinden daha fazla hassasiyete izin verdiği için daha uygulanabilir hale geliyor . Işık hızı nanosaniyede 30 santimetredir (saniyenin milyarda biri), bu nedenle 10 gigahertz (saniyede milyar döngü) RF sinyali yaklaşık 3 santimetrelik bir doğruluk sağlar. Genliği çeyrek dalga boyuna ölçerek, çözünürlüğü yaklaşık 8 mm'ye kadar iyileştirmek mümkündür. Optik sistemlerin çözünürlüğünü elde etmek için, neredeyse görüş hattına bağlı olan ve optik sistemler kadar engellenmesi kolay olan 50 gigahertz veya daha yüksek frekanslara ihtiyaç vardır. Sinyalin çok yollu ve yeniden ışınlanmasının ek sorunlara yol açması muhtemeldir, ancak bu teknolojiler, 100 metrelik mesafelerde gerekli çözünürlüğün o kadar yüksek olması muhtemel olmadığından, makul bir doğrulukla daha büyük hacimleri izlemek için ideal olacaktır. Birçok RF bilim adamı, radyo frekansının asla hareket yakalama için gereken doğruluğu sağlamayacağını düşünüyor.

Massachusetts Teknoloji Enstitüsü araştırmacıları, 2015 yılında RF İzleme adı verilen RF sinyalleriyle hareketi izleyen bir sistem yaptıklarını söylediler.

Geleneksel olmayan sistemler

Oyuncuya , açısal hareketleri kaydeden dahili sensörler içeren, harici kameralara ve diğer ekipmanlara olan ihtiyacı ortadan kaldıran, hamster topuna benzer dönen bir küre kullanılarak sınırsız bir yürüyüş alanı verilen alternatif bir yaklaşım geliştirildi . Bu teknoloji potansiyel olarak hareket yakalama için çok daha düşük maliyetlere yol açabilse de, temel küre yalnızca tek bir sürekli yönü kaydetme yeteneğine sahiptir. Daha fazlasını kaydetmek için kişiye takılan ek sensörlere ihtiyaç duyulacaktır.

Diğer bir alternatif, aynı etkiyi elde etmek için yüksek çözünürlüklü optik hareket yakalama özelliğine sahip entegre çok yönlü koşu bandına sahip bir 6DOF (serbestlik derecesi) hareket platformu kullanmaktır. Yakalanan kişi, farklı engebeli arazileri aşarak sınırsız bir alanda yürüyebilir. Uygulamalar, denge eğitimi, biyo-mekanik araştırma ve sanal gerçeklik için tıbbi rehabilitasyonu içerir.

3D poz tahmini

3B poz tahmininde , bir oyuncunun pozu bir görüntüden veya derinlik haritasından yeniden oluşturulabilir .

Ayrıca bakınız

Referanslar

Dış bağlantılar