f:id:insaneway:20191124231549j:plain
Image by Hans Braxmeier from Pixabay

マガーク効果（The McGurk Effect）というのをご存知でしょうか？　端的に言えば、我々が音を認識する時に、視覚から得る情報にもかなりの部分頼っているということです。上記動画では、おっさんが最初「Ba Ba Ba」と映像で言っています。次に、「Fa Fa Fa」とおっさんが言う映像に前回言った「Ba Ba Ba」音を加工して被せています。つまり映像上口の動きは「Fa」なのに、音は「Ba」。すると不思議な事に、その部分を”見る”と「Fa Fa Fa」に聞こえると言うものです。実際の耳から入る音は「Ba Ba Ba」であるはずなのに。

YouTubeコメント欄でも、目を開けてると「Fa Fa Fa」なのに、目を閉じると「Ba Ba Ba」になるという驚きの声が見受けられます、全く同じクリップなのに。

つまり、我々の脳の中では聞こえた音をそのまま処理しているのではなく、視覚の補助情報もあればそれも考慮して、頭の中で処理しているわけですね。それがこの映像のように本来ありえない状況を人工的に作り出すと頭が混乱して、情報をうまく処理できなくなるわけです。

さて自分がこれをやってみると、確かに音が違って聞こえます。しかし、ネイティブの言う「Fa Fa Fa」じゃありません。説明が難しいんですが、/f/と/ð/をミックスした音のように聞こえます。なんか今まで聞いたことのない音です。/b/の時にあった尖った感じの破裂する感じがなくなって、丸くなっているように感じました。それにしても、口の形は明らかに下唇を噛んでの頭の中では/f/だと分かっているのに、そのように補助してくれない自分の視覚と聴覚を鍛えるにはどうすればいいんだ（笑）

面白いので試してみられることをおすすめします。みなさんはどうでしょうか？　音が変わって聞こえたでしょうか？　もうこうなると、「聞こえる」とは一体どういうことなのか、定義がよく分かりませんね（笑）