YouTube自動生成字幕の精度２
広告
（追記）続編で英検１級のリスニングの字幕をYouTube先生に作ってもらいました（笑）
YouTube自動字幕起こしの精度3.1 〜 vs. 英検１級リスニング - ドラマの中の英語
以前YouTubeの自動的に生成される字幕（自動字幕）の凄さについて記事（ YouTube自動生成字幕の精度 - ドラマの中の英語 ）にしましたが、前回ピックアップした動画はYouTubeにアップロードされる前提で作られたものでした。そこで今回はこのBlogのタイトルにもあるように、ドラマやコメディで比較したいと思います。これなら会話には感情が入ってて、しかも声のトーンも話すスピードも変わりますし、背景に雑音やオバちゃんの笑い声も入ってきます。果たしてコンピュータはどれほど付いてこれるのでしょうか？ 逆に付いて来られてしまうと、英語リスニングでは我々英語学習者を遥かに超えている事になります。
『フレンズ』から病人モニカの誘惑
まずは名作の名高い『フレンズ』で比較です。この前、シーンを５分位に縮めて全エピソードアップロードしているチャンネルを見つけて、しかも自動生成字幕が付いていたので選んでみました。そのうち消されるかも。その中から再生回数が最も多い病気のモニカがチャンドラーを誘惑するシーンです。最初の１分を比較します。モニカは鼻声でエロく（ないけど）誘惑という標準からかなり離れた会話です。さあ、どうなるか？！ 上が2017/10/28時点のコンピュータに拠る自動字幕起こし（コン）で下がBluRayの字幕（Blu）です。BluRayの字幕はsubsceneのサイトから落としてます。具体的には、Friends.S06.720p.BluRay.x264-PSYCHD。BluRayが間違っている可能性もあることをご了承下さい。それとちゃんと正確に字幕つけている訳でもないです。文字数の制限があるので。
so what do you what you want to do let's do something crazy Okay, so, what do you wanna do? Let's do something crazy.
コンはジングルと共に入るモニカのOkayを聴き逃し。しかし、コンはモニカが言い直したwhat do youを聞いたまま字幕に、それに対しBluでは１つにまとめてしまっています（短縮のためよくある）。その後のwant toとwannaでも違いが。でも意味はあっています。それ以降は全く同じ。以前比較した時と同じく、コン側は文頭の大文字、ピリオド、クエスチョンマークの有無だけの差。
I know let's rest and drink lots of fluids I know, let's rest and drink lots of fluids.
同じです。
okay I'll rest buddy you know if I'm going to bed that you're coming with me Okay, I'll rest. But, you know, if I'm going to bed, then you're coming with me.
コンはButをbuddyと間違ってますね。確かに聞きづらい。
that would be impossible to resist if you weren't all drippy here See, that would be impossible to resist if you weren't all drippy here.
チャンドラーのSeeを聴き逃し。ちょっと声が小さいので雑音と区別が難しいかもしれません。それ以外は完璧です。
are you saying that you don't want to get with this Are you saying that you don't wanna get with this?
またwannaをwant toと字幕。もしかしたらコン君そういう風にプログラムされているのかも。それ以外はパーフェクト。
yeah I don't think you should say that even when you're healthy Yeah, I don't think you should say that even when you're healthy.
コン様、完璧です。
cub ah Oh. Come on.
やった！ コン吉が間違った。鼻声モニカありがとう。人類はあなたに救われた（笑）
don't take this personally okay it's just that I just can't have sex with a sick person Don't take this personally, okay? It's just that I just can't have sex with a sick person.
コン閣下、完璧です。
I'm with you Chandler I mean I can't have sex with a sick person either that's disgusting I'm with you, Chandler. I can't have sex with a sick person either. That's disgusting.
チャンドラーの綴も正解。Bluでは省略されたI meanもコン伯爵は聞き逃さず字幕化してますね。おそろしす。
but I got sick nothing prove it to you But I'm not sick. Let me prove it to you.
コン君ここでは大ミス。モニカはエッチしたいんだから病気ではないと主張しないといけない。I got sickは正反対。その上、Let meをnothingとしています。でもnothingに自分も聴こえるなあ。コンテキストでおかしいのは分かっているけど。
we are two healthy people but the bribe of life We are two healthy people in the prime of life.
コン痛恨のミス。絶頂期を意味するprime of lifeをbribe of life。賄賂かよ（笑） モニカに本当に救われた。
『フレンズ』を見る限り、wannaをwant toにする傾向とやはり鼻声はキツイようですｗ あと人間の耳にはちゃんと聴こえるI'm not sickがわからないのが不思議だ。それでも全体の正答率は相当高いが。
『ギルモア・ガールズ』からローリーとローガン
次はドラマの『ギルモア・ガールズ』。ローリーがイエール大学在校生と会話します。最初の３０秒を比較。 繰り返しますが、上が2017/10/28時点のコンピュータに拠る自動字幕起こし（コン）で下がDVDの字幕（dvd）です。字幕はsubsceneからGilmore.Girls.Season.5.DVDRip.English.SubPack-TOPAZというファイルを落としています。
so should have started with me so should have started with me.
完璧
oh sorry Sorry.
コン君はOhを入れていますが、驚いたことに自信がないみたいで、灰色になってますｗ スゴイ！ でもOhと言ってますね
not seriously you couldn't see me they're No, seriously, you couldn't see me there?
No, seriouslyが正しいですが、文脈はあまり変わらないので不問。それより、最後のthereがthey'reは文法的にもおかしいでしょ。多分、they'reは次の文章とつながっていると勘違いしているような気がする。
not everyone's staring at you : Not everyone's staring at you, Colin.
うわー。Colinをコロンと勘違いしたコン君。”:”と字幕付けました（笑）
hey I know you Waverly don't tell me see any uniform of some Sun I know you. Haven't I seen you in a uniform of some sort?
heyは確実に言ってるのでdvdが省略した。その後コンは混乱。Haven't IをWaverly don't tell me としたのかな。
might a grip and Maytag repairman.
この辺は会話がオーバーラップしているのでコンも付いてこれてない。
I've bartended for you for your parties I've bartended for you. For your parties.
なんとか元に戻ってきた。
that's right you have you're talented man That's right, you have. You're a talented man.
articleを見逃してるだけ。
he makes a kick-ass margarita He makes a kick-ass margarita.
一致
Thanks it's good to see you again what's your name Thanks. It's good to see you again. What's your name?
ここも一致
Marty uh this is Rory Marty. This is Rory.
フィラーのuhをコンは入れてます。
hi so assuming your services still for hire this year Hi. So, assuming your services are still for hire this year...
be動詞を忘れるコン君と思いきや、実際言ってない気がするんですが・・・。それ以外は完璧
your financial situation hasn't changed at all your financial situation hasn't changed at all?
?無いだけできっちり同じ
nope good okay Nope. Good. Okay.
これはお茶の子さいさい
I'll give you a call where you living I'll give you a call. Where are you living?
be動詞欠落。be動詞は会話で普通に欠落するので、文法的な話は抜きにすると、どっちが正解とも言いにくい。
以上、『フレンズ』に比べ、大きなミスをしたコン君ですが、終盤は調子を上げて辻褄を合わせてきました。be動詞を抜かすのと、多人数の会話、特に会話がオーバーラップしてるとまだまだな気が。字幕だけだと意味が取れないところが一箇所でした。
最後に
うーん、これをまだまだと取るかここまで来てるかと取るかは各個人に任せますが、一言言えるのは私のリスニング能力ははるかに上回ってますね。多分、英検１級程度のリスニングなら、字幕つけさせれば１００％正確にできると思います。面白いので今度は素人さんのようつべ動画でやりたいですね。それにしても、自動字幕が付くのとつかないのとの差は何なんだろう？ 再生回数とかチャンネルの人気なんでしょうか？
広告