Dudak okuma - Lip reading

Dudak okuma olarak da bilinen, speechreading , anlayış bir tekniktir konuşmada , normal ses bulunmadığı durumlarda görsel dudaklar, yüz ve dil hareketleri yorumlayarak. Ayrıca bağlam tarafından sağlanan bilgilere, dil bilgisine ve herhangi bir artık işitmeye dayanır. Dudak okuma, en yaygın olarak sağır ve işitme güçlüğü çeken kişiler tarafından kullanılmasına rağmen, normal işiten çoğu insan, hareketli ağzın görüntüsünden bazı konuşma bilgilerini işler.

İşlem

Konuşma algısı işitsel bir beceri olarak kabul edilse de, doğası gereği çok modludur, çünkü konuşma üretmek, konuşmacının yüz yüze iletişimde sıklıkla görülen dudak, diş ve dil hareketlerini yapmasını gerektirir. Dudaklardan ve yüzden gelen bilgiler işitsel kavrayışı destekler ve bir dilin en akıcı dinleyicileri, görülen konuşma eylemlerine duyarlıdır (bkz. McGurk etkisi ). İnsanların görülen söz eylemlerinden yararlanma derecesi, söz eyleminin görünürlüğüne ve algılayanın bilgi ve becerisine göre değişir.

Fonemler ve visemler

Fonem birbirinden kelimeleri ayırt etmek gören bir dille sesin en küçük saptanabilir birimidir. /pit/ ve /pik/ bir foneme göre farklılık gösterir ve farklı kavramlara atıfta bulunur. Konuşulan İngilizcede yaklaşık 44 fonem vardır. Dudak okuma için, görsel olarak ayırt edici birimlerin ( visemler) sayısı çok daha küçüktür, bu nedenle birkaç sesbirim birkaç sesemle eşleşir. Bunun nedeni, birçok sesbirimin ağız ve boğazda üretilmesi ve görülememesidir. Bunlar, gırtlak ünsüzlerini ve dilin birçok hareketini içerir. Sesli ve sessiz çiftleri, [p] ve [b], [k] ve benzeri gibi, aynı görünür [g] [t] ve [c], [F] ve [V] ve [s] ve [Z]; aynı şekilde nazalizasyon için (örn. [m]'ye karşı [b]). Homofenler dudaktan okunduğunda benzer görünen ancak farklı sesbirimleri içeren kelimelerdir. İngilizce'deki sesbirimlerin yaklaşık üç katı kadar sesbirim olduğu için, genellikle konuşmanın sadece %30'unun dudaktan okunabildiği iddia edilir. Homofenler yanlış dudak okumanın çok önemli bir kaynağıdır.

Bu yapbozun efsanesi şöyledir: "İşte bir düzine oğlandan oluşan bir sınıf, adlarını vermeye çağrıldıklarında, her biri kendi adını telaffuz etmeye başladığı anda anlık bir süreçle fotoğraflandı. On iki isim Oom, Alden idi. , Eastman, Alfred, Arthur, Luke, Fletcher, Matthew, Theodore, Richard, Shirmer ve Hisswald Şimdi on iki oğlanın her birine doğru adı vermek mümkün görünmüyor, ancak listeyi tekrarlarsanız her birine uygun bir isim bulmanın zor olmadığını göreceksin."

ortak artikülasyon

Visemler durağan görüntüler olarak yakalanabilir, ancak konuşma zamanla ortaya çıkar. Konuşma seslerinin sırayla düzgün bir şekilde artikülasyonu, ağız kalıplarının bitişik bir fonem tarafından 'şekillendirilebileceği' anlamına gelebilir: 'diş' ve 'diş' içindeki 'th' sesi, vokal bağlam nedeniyle çok farklı görünür . Dinamik konuşma okumanın bu özelliği, 'viseme ötesinde' dudak okumayı etkiler.

Bu kadar az mengene ile nasıl 'çalışabilir'?

Bir dilin sözlüğündeki ses birimlerinin istatistiksel dağılımı eşit değildir. Fonemik olarak birbirine benzeyen kelime kümeleri olsa da (spit/sip/sit/stick...vb gibi 'sözcüksel komşular'), diğerleri diğer tüm kelimelerden farklıdır: fonemlerinin dağılımı ('şemsiye' bir örnek olabilir). Dilin yetenekli kullanıcıları konuşmayı yorumlarken bu bilgiyi taşırlar, bu nedenle duyulan bir kelimeyi birçok sözcük komşusu ile tanımlamak, birkaç komşusu olan bir kelimeden daha zordur. Bu kavrayışı görülen konuşmaya uygulayarak, dildeki bazı kelimeler, birkaç kelime öbeği içerseler bile net bir şekilde dudaktan okunabilir - çünkü başka hiçbir kelime muhtemelen 'uymaz'.

Okunabilirlik ve beceride değişiklik

Aydınlatma, kafanın/kameranın hareketi, hareketli görüntünün kare hızı ve izleyiciden uzaklık dahil, konuşan bir yüzün görünürlüğünü birçok faktör etkiler (bkz. örn.). Normal konuşmaya eşlik eden baş hareketi, sözlü eylemlerden bağımsız olarak dudak okumayı da geliştirebilir. Ancak, dudak okuma bağlantılı konuşma söz konusu olduğunda, izleyicinin konuşulan dile ilişkin bilgisi, konuşmacıya ve konuşma tarzına aşinalığı ve dudak okuma materyalinin bağlamı, konuşmacının görünürlüğü kadar önemlidir. Çoğu işiten insan görülen konuşmaya duyarlı olsa da, bireysel konuşmayı okuma becerisinde büyük farklılıklar vardır. İyi dudak okuyucular, görsel konuşmadan fonemleri belirlemede genellikle zayıf dudak okuyuculardan daha doğrudur.

Basit bir 'dudak okunabilirlik' ölçüsü bazı araştırmacılar tarafından sorgulanmıştır. 'Fonem denklik sınıfı' ölçüsü, sözlüğün istatistiksel yapısını dikkate alır ve dudak okuma yeteneğindeki bireysel farklılıkları da barındırabilir. Buna paralel olarak, mükemmel dudak okuma, genellikle genel dil yeterliliği, yürütme işlevi ve çalışma belleği dahil olmak üzere daha geniş tabanlı bilişsel becerilerle ilişkilendirilir .

Bebeklerde ve çocuklarda işiten dudak okuma ve dil öğrenimi

İlk birkaç ay

Ağzı görmek, çok küçük bebeğin konuşmaya olan erken duyarlılığında rol oynar ve onları 1-2 yaşında konuşmacı olmaya hazırlar. Bir bebeğin taklit edebilmesi için dudaklarını duyduğu seslere göre şekillendirmeyi öğrenmesi gerekir; konuşmacıyı görmek, bunu yapmalarına yardımcı olabilir. Yenidoğanlar, dili dışarı çıkarma veya ağzı açma gibi yetişkin ağız hareketlerini taklit eder; bu, daha fazla taklit ve daha sonra dil öğreniminin habercisi olabilir. Bebekler, tanıdık bir konuşmacının görsel-işitsel konuşması senkronize olmadığında rahatsız olur ve (kaydedilmiş) seslerle eşleştiğinde tanıdık yüzler için tanıdık olmayan yüzlerden farklı görünen desenler gösterme eğilimindedir. Bebekler konuşmayı öğrenmeden aylar önce McGurk illüzyonlarına karşı hassastırlar . Bu çalışmalar ve daha pek çoğu, yaşamın ilk yarısında (işitsel) konuşmaya duyarlılığın gelişmesinde vizyonun rolüne işaret etmektedir.

Önümüzdeki altı ay; ana dili öğrenmede bir rol

Yaklaşık altı aylık olana kadar, işiten bebeklerin çoğu, daha sonra ana dillerinin fonolojisinin bir parçası olabilecek veya olmayabilecek, ağızda görülebilenler de dahil olmak üzere, çok çeşitli konuşma hareketlerine duyarlıdır . Ancak yaşamın ikinci altı ayında, işiten bebek kendi dilinin fonetik yapısı için algısal daralma gösterir ve yararlı olmayan ağız kalıplarına karşı erken duyarlılığını kaybedebilir. İngilizcede görsel olarak ayırt edici olan ancak Kastilya İspanyolcasında olmayan /v/ ve /b/ konuşma sesleri, yaklaşık 6 aylık olana kadar İspanyolcaya maruz kalan ve İngilizceye maruz kalan bebeklerde doğru bir şekilde ayırt edilir. Bununla birlikte, İspanyolcaya maruz kalan daha büyük bebekler bu ayrımı 'görme' yeteneklerini kaybederken, İngilizce'ye maruz kalan bebekler için korunur. Bu tür çalışmalar, bebeklik döneminde bağımsız yollarla gelişen işitme ve görme yerine, bebek beyninin (dil) gelişiminde multimodal işlemenin bir istisna değil kural olduğunu ileri sürmektedir.

Erken dil üretimi: bir ila iki yıl

Dil öncesi bebekte dil gelişiminde görmenin rolünü gösteren birçok çalışma göz önüne alındığında, doğuştan körlüğün dil gelişimi üzerindeki etkileri şaşırtıcı derecede küçüktür. 18 aylık bebekler yeni kelimeleri duyduklarında daha kolay öğrenirler, duymadan konuşma hareketleri gösterildiğinde ise öğrenmezler. Bununla birlikte, doğuştan kör olan çocuklar, /m/ ve /n/'yi kendi erken İngilizce sözcük üretimlerinde karıştırabilirler - /m/ ve /n/ görsel olarak ayırt edici olduklarından, ancak işitsel olarak karıştırılabilir olduklarından, gören işiten çocuklarda nadiren görülen bir kafa karışıklığıdır. 1-2 yaş arası çocuklarda görmenin rolü, ana dillerinin üretimi için daha az kritik olabilir, çünkü o yaşta konuşma seslerini tanımlamak ve taklit etmek için ihtiyaç duydukları becerileri kazanmışlardır. Bununla birlikte, ana dili olmayan bir dili duymak, çocuğun dikkatini, konuşmayı işlemek, anlamak ve üretmek için dudak okuma ve dinleme yoluyla görsel ve işitsel etkileşime kaydırabilir.

çocuklukta

Dil öncesi bebekler ve çocuklarla yapılan araştırmalar, görülen konuşmaya duyarlılığı belirtmek için dolaylı, sözel olmayan ölçümler kullanır. Açık dudak okuma, işiten okul öncesi çocuklarından 'sessizce söylediklerimi yüksek sesle söylemeleri' istenerek güvenilir bir şekilde test edilebilir. Okul çağındaki çocuklarda, sayı kelimeleri gibi tanıdık kapalı küme kelimelerin dudak okuması kolayca ortaya çıkarılabilir. Dudak okuma becerisindeki bireysel farklılıklar, çocuktan 'dudak okuduğunuz kelimeyi söylemesi' istenerek veya dudak okunan bir ifadeyi bir resimle eşleştirerek test edildiğinde, dudak okuma becerisi ile yaş arasında bir ilişki olduğunu gösterir.

İşitme yetişkinlerde: yaşam boyu hususlar

Dudak okuma sessiz konuşma, çoğu işiten insan için bir zorluk teşkil etse de, duyulan konuşmaya konuşmacının görüntüsünü eklemek, birçok koşulda konuşma işlemeyi iyileştirir. Bunun için mekanizmalar ve dudak okumanın yardımcı olduğu kesin yollar, güncel araştırma konularıdır. Konuşmacıyı görmek, fonetik özellik ayrımcılığından pragmatik ifadelerin yorumlanmasına kadar tüm konuşma işleme seviyelerinde yardımcı olur . İşitilen konuşmaya vizyon eklemenin olumlu etkileri, gürültülü ortamlarda konuşma algısını kolaylaştırarak, konuşmacıyı görmenin bilişsel kaynakları serbest bırakabileceği ve konuşma içeriğinin daha derin işlenmesini mümkün kılacağı sessiz ortamlardan daha fazladır.

As işitme eski çağda daha az güvenilir hale gelir insanlar dudak okuma fazla güvenmektedir olabilir ve bunu yapmaya teşvik edilir. Bununla birlikte, dudak okumaya daha fazla güvenmek, yaşa bağlı işitme kaybının etkilerini her zaman iyileştirmeyebilir. Yaşlanmadaki bilişsel düşüş, ölçülebilir işitme kaybından önce gelebilir ve/veya bununla ilişkili olabilir. Bu nedenle dudak okuma, birleşik işitme ve bilişsel yaşla ilgili azalmaları her zaman tam olarak telafi edemeyebilir.

Belirli (işitme) popülasyonlarda

Bir dizi çalışma, belirgin gelişimsel bozuklukları olan popülasyonlarda dudak okuma anomalilerini bildirmektedir. Otizm : Otizmli kişiler, görsel-işitsel konuşma algısında dudak okuma yeteneklerinde azalma ve vizyona daha az güvenme gösterebilir. Bu, bu kişilerde yüze bakma anomalileri ile ilişkili olabilir. Williams sendromu : Williams sendromu olan kişiler, görsel-uzaysal zorluklarından bağımsız olabilecek konuşma okumada bazı eksiklikler gösterirler. Özgül Dil Bozukluğu : SLI'li çocukların, disleksili kişilerde olduğu gibi, dudak okuma duyarlılığının da azaldığı bildirilmektedir .

Sağırlık

Yüzlerce yıldır , sağırların eğitiminde dudak okumanın (' oralizm ') diğer iletişim yöntemleriyle (en yakın zamanda, tam iletişim ) karşılaştırıldığında rolü üzerine tartışmalar sürüyor . Bir veya diğer yaklaşımın ne ölçüde yararlı olduğu, sağır kişinin işitme kaybı düzeyi, işitme kaybının yaşı, ebeveyn katılımı ve ebeveyn dili/dilleri dahil olmak üzere bir dizi faktöre bağlıdır. O zaman sağır kişinin amaçları, topluluğu ve bakıcıları ile ilgili bir soru var. Eğitimin amacı genel olarak iletişimi geliştirmek mi, işaret dilini birinci dil olarak geliştirmek mi yoksa işiten topluluğun konuşma dilinde becerilerini geliştirmek mi? Araştırmacılar şimdi, çocuğun ve ailesinin işitme durumu ve eğitim planları göz önüne alındığında, dil ve iletişimin hangi yönlerinin hangi yollarla ve hangi bağlamlarda en iyi şekilde sunulabileceğine odaklanıyor. Bimodal iki dillilik (hem konuşma hem de işaret dilinde yeterlilik), sağır çocuk için dil eğitiminde baskın bir güncel yaklaşımdır.

Sağır insanlar genellikle normal işiten insanlardan daha iyi dudak okurlar. Bazı sağır insanlar, örneğin adli dudak okumada profesyonel dudak okuyucu olarak çalışırlar . Koklear implantı olan sağır kişilerde , implant öncesi dudak okuma becerisi, implant sonrası (işitsel veya görsel-işitsel) konuşma işlemeyi tahmin edebilir. Birçok sağır insan için, sözlü bir mesaj eğitimli, profesyonel bir dudak hoparlörü aracılığıyla iletildiğinde sözlü iletişime erişim yardımcı olabilir .

Dudak okuma ve okuryazarlık gelişimi ile bağlantılı olarak, sağır olarak doğan çocuklar, tipik olarak, konuşulan dilin öğelerini edinmedeki zorlukları yansıtabilen , okuryazarlık becerilerinin gelişimini geciktirir . Özellikle, güvenilir sesbirim-grafem haritalama , okuryazarlık edinmede bu gerekli adıma hakim olmak için yetenekli konuşma okuyucuları olması gereken sağır çocuklar için daha zor olabilir. Dudak okuma becerisi, sağır yetişkinlerde ve çocuklarda okuryazarlık becerileri ile ilişkilidir ve dudak okuma eğitimi, okuryazarlık becerilerinin geliştirilmesine yardımcı olabilir.

Cued Speech , dudak okumasını ve eşlik eden el şekillerini kullanarak, visemik (ünsüz) dudak şeklini belirginleştirir. İpuçlu konuşmanın, işiten ebeveynler için bir işaret dilini öğrenmekten daha kolay olduğu söylenir ve özellikle Belçika'dan yapılan araştırmalar, bebeklik döneminde ipucu konuşmalarına maruz kalan sağır bir çocuğun sözlü bir dili öğrenmede tek başına dudak okumadan daha verimli ilerleme kaydedebileceğini göstermektedir. Sağırlık için koklear implantasyonda cued konuşmanın kullanılmasının olumlu olması muhtemeldir. Görülen konuşmaya eşlik eden el şekillerinin kullanımını içeren benzer bir yaklaşım, bazı eğitimciler tarafından yazılı ve sözlü dil öğrenimini desteklemek için kullanılan Görsel Sesbilim'dir .

öğretim ve eğitim

Dudak okuma eğitiminin ve öğretiminin amacı, dudak okumanın doğası hakkında farkındalık geliştirmek ve konuşmayı 'gözle' algılama yeteneğini geliştirmenin yollarını uygulamaktır. Genellikle dudak okuma ve işitme kaybı yönetimi dersleri olarak adlandırılan dudak okuma dersleri , temel olarak işitme kaybı olan yetişkinlere yöneliktir. İşitme kaybı olan yetişkinlerin en yüksek oranı yaşa bağlı veya gürültüye bağlı bir kayba sahiptir ; bu işitme kaybı biçimlerinin her ikisinde de önce yüksek frekanslı sesler kaybolur. Konuşmadaki ünsüzlerin çoğu yüksek frekanslı sesler olduğundan konuşma bozulur. İşitme cihazları yardımcı olur, ancak bunu tedavi etmeyebilir. Action on Hearing Loss yardım derneği (2012) tarafından yaptırılan Birleşik Krallık araştırmalarında dudak okuma derslerinin faydalı olduğu gösterilmiştir .

Eğitmenler dudak okumanın kesin olmayan bir sanat olduğunun farkındadır. Öğrencilere dudak, dil ve çene hareketlerini izlemeyi, dilin stres ve ritmini takip etmeyi, işitme cihazlı veya cihazsız kalan işitmelerini kullanmaları, ifade ve beden dilini izlemeyi ve akıl yürütme ve sonuç çıkarma yeteneklerini kullanmaları öğretilir. . Dudak okuyucuların alfabesi , p, b, m veya f, v gibi dudaklarda birbirine benzeyen ses grupları ( visemeler) öğretilir . Amaç, konuşmaya katılmak için özgüvene sahip olmak için ana fikri anlamaktır. ve genellikle işitme kaybına eşlik eden zararlı sosyal izolasyondan kaçının. Gürültüde duymakta zorlanan ve işitme kaybına uyum sağlamaya yardımcı olan herkes için dudak okuma dersleri önerilir. ATLA (Yetişkinlere Dudak Okumayı Öğretme Derneği), nitelikli dudak okuma öğretmenleri için Birleşik Krallık profesyonel birliğidir.

testler

Dudak okuma testlerinin çoğu, belirli konuşma işleme görevlerini yerine getirirken bireysel farklılıkları ölçmek ve eğitimden sonra performanstaki değişiklikleri tespit etmek için tasarlanmıştır. Dudak okuma testleri, deneysel ortamlarda nispeten küçük gruplarla veya bireysel hastalar ve müşterilerle klinik göstergeler olarak kullanılmıştır. Yani, dudak okuma testleri, genel popülasyonda dudak okuma becerisinin belirteçleri olarak sınırlı geçerliliğe sahiptir.

Makine ile dudak okuma ve dudak konuşma

Otomatik dudak okuma , bilgisayar mühendisliğinin yanı sıra bilim kurgu filmlerinde de ilgi duyulan bir konu olmuştur . Hesaplama mühendisi Steve Omohundro , diğerleri arasında, gelişimine öncülük etti. In yüz animasyon , amaç insan konuşma eylemlerini taklit gerçekçi yüz eylemleri özellikle ağız hareketleri, üretmektir. Yüz görüntülerini deforme etmek veya manipüle etmek için kullanılan bilgisayar algoritmaları, işitilen veya yazılan dil tarafından yönlendirilebilir. Sistemler, yüz hareketlerinden ( hareket yakalama ) elde edilen ayrıntılı modellere dayalı olabilir ; çene, ağız ve dilin eylemlerinin anatomik modellemesi üzerine; veya bilinen viseme-fonem özelliklerinin haritalanması üzerine. Konuşma okuma eğitiminde yüz animasyonu kullanılmıştır (farklı seslerin nasıl 'göründüğünü' gösterir). Bu sistemler, güvenilir 'metinden-(görülen)-konuşmaya' çıktılar sağlamayı amaçlayan konuşma sentezi modellemenin bir alt kümesidir . Tamamlayıcı bir amaç - konuşmada yüzleri hareket ettirmenin tersi - hareket halindeki bir yüzün doğal video verilerinden konuşmanın gerçekçi yorumlarını (yani yazılı bir transkript veya ses kaydı) sağlayabilen bilgisayar algoritmaları geliştirmektir: bu yüz konuşma tanımadır. Bu modeller de çeşitli verilerden elde edilebilir. Videodan otomatik görsel konuşma tanıma, farklı dilleri (konuşma dili verilerinin bir bütününden) ayırt etmede oldukça başarılı olmuştur. Makine öğrenimi algoritmalarını kullanan gösterim modelleri, videodan belirli kelimeler gibi konuşma öğelerini dudak okumada ve görsel olarak benzer görülen ağız hareketlerinden dudak okuması zor fonemleri belirlemede bazı başarılar elde etti. Makine tabanlı konuşma okuma, büyük konuşmacı ve konuşma materyali veritabanlarını kullanan nöral ağ tabanlı algoritmaları başarıyla kullanıyor ( işitsel otomatik konuşma tanıma için başarılı modelin ardından ).

Makineli dudak okumanın kullanımları, yalnızca video kayıtlarının otomatik dudak okumasını, ses yolları hasar görmüş konuşmacıların otomatik dudak okumasını ve yüz yüze videoda konuşma işlemeyi (yani görüntülü telefon verilerinden) içerebilir. Otomatik dudak okuma, gürültülü veya tanıdık olmayan konuşmaların işlenmesine yardımcı olabilir. Otomatik dudak okuma, parola tabanlı tanımlamanın yerini alarak biyometrik kişi tanımlamasına katkıda bulunabilir .

Beyin

Heschl girusu da dahil olmak üzere işitsel beyin bölgelerinin görülen konuşma tarafından aktive edildiğinin keşfedilmesinin ardından, konuşma okuma için nöral devrelerin, supra-modal işleme bölgelerini, özellikle üst temporal sulkus (tüm parçalar) ve ayrıca arka alt oksipital-temporal bölgeleri içerdiği gösterilmiştir. yüzlerin ve biyolojik hareketin işlenmesi için uzmanlaşmış bölgeler dahil . Tüm çalışmalarda olmasa da bazılarında, konuşma okuma için Broca bölgesinin aktivasyonu rapor edilmiştir, bu da konuşma okumada artikülatör mekanizmaların etkinleştirilebileceğini düşündürmektedir. Görsel-işitsel konuşma işlemenin zaman süreci çalışmaları, konuşma görüntüsünün işitsel işleme bölgelerini akustik sinyalden önce hazırlayabildiğini göstermiştir. Daha iyi dudak okuma becerisi, işiten insanlarda (solda) üst temporal sulkus ve bitişik alt temporal (görsel) bölgelerde daha fazla aktivasyon ile ilişkilidir. Sağır insanlarda, konuşmayı okumaya ayrılan devre, (solda) üstün zamansal aktivasyon ve dudak okuma becerisinin benzer çağrışımlarıyla, işiten insanlardakine çok benzer görünmektedir.

Referanslar

bibliyografya

  • D.Stork ve M.Henneke (Eds) (1996) İnsanlar ve makineler tarafından konuşma: Modeller Sistemler ve Uygulamalar. Nato ASI serisi F Bilgisayar ve Sistem Bilimleri Cilt 150. Springer, Berlin Almanya
  • E.Bailly, P.Perrier ve E.Vatikiotis-Bateson (Eds)(2012) Görsel-İşitsel Konuşma işleme, Cambridge University press, Cambridge UK
  • Hearing By Eye (1987) , B.Dodd ve R.Campbell (Eds), Erlbaum Asstes, Hillsdale NJ, ABD; Hearing by Eye II , (1997) R.Campbell, B.Dodd ve D.Burnham (Eds), Psychology Press, Hove UK
  • DW Massaro (1987, 2014'te yeniden basıldı) Kulak ve gözle konuşma algısı , Lawrence Erlbaum Associates, Hillsdale NJ

daha fazla okuma

Dış bağlantılar