ELANで動画に注釈を付ける例

ELANは動画や音声に注釈を付けることができるフリーソフトです。
複数の動画や音声を同期させ、分析を行うことができます。
ELANの操作については、「ELAN入門」(細馬・菊地, 2019) がとても分かりやすいです。

ELANで動画に注釈を付ける例を紹介します。
まず、ELANに動画ファイルを読み込ませましょう。

もし、動画ファイルの音声書き起こしがあれば、ELANに読み込ませておくことで作業しやすくなります。音声を書き起こしたファイル(csv等)をエクセルで開き、「開始」「終了」時間を設定し、ざっくり時間を入力しましょう。時間の単位は「ミリ秒」です。

これを改めて「csv」ファイルとして保存します。

ELANに、先ほどのcsvファイルを読み込みます。
データのタイプを選択します。
1行目が見出しなら、「1行目のデータ」を2に設定します。
すると、アノテーションが読み込まれます。
注釈を調節するときは、「opt」を押しながらマウスで端を動かします。

選択範囲を再生させる際、「Shift スペース」が便利です。「Shift Ctrl スペース」で、前後1秒も合わせて再生させることができます。
「縦ズーム」の比率を大きくすることで、波形が見やすくなります。波形を確認しながら注釈をつけることが、スムーズにアノテートするコツです。
「自動バックアップ」を入れておくと、いざという時安心です。
「格子」を表示させると、注釈を一覧表示させることができます。

注釈を付け終えたら、書き出しましょう。「タブ区切り文書ファイル形式」で出力します。
書き出したい注釈層を選択します。
書き出されたファイルを確認します。
エクセルで読み込むと、一部文字化けしています。「UTF-8」で出力しましたが、エクセルは「Shift JIS」で読み込もうとするためです。
テキストエディタで文字コードを変更してもいいのですが、エクセルからUTF-8を読み込むことができます。
エクセルの、「データ」→「テキストファイル」を選択します。

「Unicode(UTF-8)」を選択しましょう。
発話者の順に並んでいますので、列C(開始時間)を基準にして、データを並べ替えましょう。
セルの表示形式を「ユーザー定義」、種類を「ss.0」にすると、「3.8(秒)」の様に表示させることができます。

会話分析でほしいデータは、発話間の間隔です。そこで、列BにDurationを表示させます。セルB2に、以下の書式を入力しましょう。

=TEXT(ABS(C2-D1),IF(C2<D1,”-ss.0″,”ss.0″))

※TEXT: 数字を文字列に変換します。オーバーラップした発話には「-(マイナス)」をつけるためです。
ABS: 数字の絶対値をとります。
IF: 真偽判断。オーバーラップしていたら「-(マイナス)」をつけます。”ss.0″は、「3.8」(秒)の様に表示させるセルの表示形式です。

最後の行まで、数式をコピーさせましょう。
1行目に列の名前を付け、エクセル形式で保存したら完成です。

細馬宏通・菊地浩平 (2019). ELAN入門 : 言語学・行動学からメディア研究まで. ひつじ書房.

MacのELANデータをWindowsでうまく再生できない問題について

アノテーションソフトELANは、会話分析に欠かせないアプリです。
私は主にMacで使っていますが、研修講師や発表をする際はレッツノートにデータを移します。ところがレッツノートに移した途端、うまく再生できなくなってしまうことが多々ありました。
理由を一つずつ調べたところ、Macで編集したmp3ファイルを、Windowsがうまく処理できないことが原因のようでした。
私は複数の映像データと音声データをPluralEyesで同期し、Final Cut Proでトリミングをして、その上でELANに読み込ませています。どうやらこの行程に原因があるようです。
そこで、mp3ファイルをwavファイルに変換してELANに読み込ませたところ、レッツノートでも同様に再生させることができました。
WavファイルだとELANで波形表示もされます。

追記:Final Cut Proから映像を書き出すと,mov形式になります
このままではWindows版のELANに読み込ませることができません。
mp4形式に変換させる必要がありますが,これはファインダー,もしくはエクスプローラーでファイル名を変換させるだけで可能です (mp4形式は,mov形式のサブセット)。

PraatでVOTを観察しよう

日本語の「ペン」と英語の “pen” は同じ音でしょうか、それとも違う音でしょうか。
発音記号で書くと、どちらも /pen/ です。撥音「ん」は子音のみの特殊モーラですので、語末が母音にならないため、日本語の「ペン」と英語の “pen” は同じ発音記号になります。
実は、日本語と英語は同じ音ではありません。無声閉鎖子音 /p/ の破裂の強さが違います。Praatで録音し、比較すると、違いが明らかになります(図1)。

(図1)

よく似ていますが、赤四角で囲った範囲の広さが異なります(図2)。

(図2)

英語の方が、/e/ の音が開始されるまでの時間が長いことが分かります。
波形(wave form)に表示されている青縦線をパルスといいますが、これは声帯振動を表しています。また、声帯振動が起きている証拠として、スペクトログラムの低い周波数帯にエネルギーが確認されます(川原, 2018)。この、口の閉じた状態を解放してから声帯振動が始まるまでの時間をVOT (Voice Onset Time) といいます(Lisker & Abramson, 1964)。/p/ は、無声閉鎖子音で、母音 /e/ が開始されるまでの時間が、英語の方が長いことが分かります。
/p/ の開始地点のスペクトログラムを観察すると、日本語より英語の方が幅広い周波数に渡って強く出現しているので、定規で引いたようにまっすぐな線で始まっていますね。じっくり観察すると、英語の方が母音 /e/ の持続時間が長いことも分かります。
語頭の破裂音でVOTが観察されます。有声閉鎖子音の方がVOTが短く、無声閉鎖子音の方が長くなります。
破裂音のVOTは、様々な単語で観察されます。

図3は、「タイム」と “time” です。やはり、赤線で囲ったVOTの長さが異なります。
日本語は /a/ と /i/ の2つの母音ですが、英語は /aɪ/ の二重母音になっているため、スペクトログラムに母音の特徴が現れています。

(図3)

図4は、「ポスト」と “post” です。VOT が異なるほか、日本語は一文字ずつに母音が挿入されいることがスペクトログラムから読み取れます。また「ポスト」は語末の母音 /o/ が現れていますが、英語には語末母音がないこともスペクトログラムから読み取れます。

(図4)

図5は、「ブック」と “book” です。日本語と英語では VOT が異なります。また、「ブック」には促音「っ」が入っており、「ク」の前に空白が観察されます。日本語の促音は、直後の子音前に発音を止めることであることがよく分かります。

(図5)

このように、Praatを用いると日本語と英語の破裂音の違いが観察できます。
英語の語頭閉鎖音を練習するには、ティッシュの端をつまみ、口の前に持ってくることで破裂の強さを体感する方法があります。日本語で「ペン」と言っても、ティッシュペーパーはあまり揺れません。しかし、英語は破裂が強いので、ティッシュペーパーが勢いよく動きます。あまりティッシュペーパーが揺れなかった方は、揺れるように意識すると、強く破裂できるようになります。

川原繁人(2018). 『ビジュアル音声学』三省堂.
Lisker, L., & Abramson, A. S. (1964). A Cross-Language Study of Voicing in Initial Stops: Acoustical Measurements. WORD, 20(3), 384–422.

Praatでピッチ曲線を見てみよう

Praatでピッチ曲線を見てみましょう。
“How are you?” を録音してみましょう。
録音の操作は、Praatで逆再生をしてみようの、「1. Sound untitled」が表示されるところまで同じです。

ピッチ曲線を表示し、音の高さを見てみます。
以下の項目のチェックを入れます。
「Pitch」→「Show pitch」
以下の項目のチェックを外します。
「Spectrum」→「Show spectrum」
「Intensity」→「Show intensity」
「Formant」→「Show formant」
「Pulses」→「Show pulses」

上の画面は波形 (waveform) を表しています。
下の画面に表示されている青い線がピッチ曲線です。
ピッチ曲線は音の高さを表します。横軸が時間、縦軸が周波数です。

“How are you?” は、真ん中がbe動詞の3語文です。内容語は “how,” 機能語は “are” と “you” ですので、理屈からすると “how” のピッチが最も高くなりそうですが、Wells (2006) によると、真ん中がbe動詞の3語文はなぜかbe動詞に焦点が当たり、最もピッチが高くなります。
このパターンは、”Who is she?” “What is it?” 等、小学校外国語活動で頻出します。
いかがでしょうか? “are” のピッチが最も高くなっているでしょうか?

次に、「Spectrum」→「Show spectrum」のチェックを入れましょう。
すると、スペクトログラムが表示されます。スペクトログラムは、横軸に時間、縦軸に周波数が表示され、色の濃淡が強さを表しています。

“How are you?” の母音 /au/ /ɚ/ /u/ や、聞こえ度 (sonority) の高い流音 /j/ は濃度の濃い部分があり、線のように見えますね。ここからフォルマントを算出すると、調音点の位置を推察することもできます。

次に、問い返す言い方の “How are you?” を録音しましょう。相手から尋ねられて “I’m fine.” と答えた後、「あなたはいかがですか?」と問い返す際、 “you” に対比的焦点があたり、ピッチが高くなります。

いかがでしょうか? “you” のピッチが最も高くなっているでしょうか?
この状態でスペクトログラムを表示すると、音の高さは先ほどと異なりますが、模様はほとんど同じであることが分かります。

ところで、 “you” の先に不自然な線があることに気づきましたでしょうか。

ピッチとは声帯の振動数(F0)ですが、音には倍音があるので、正確に算出するのは難しいようです。ProsogramというPraat scriptを用いると、人間の聴覚に近いピッチ曲線を算出することができます。こちらの記事のピッチ曲線は、Programで作成しています。

Wells, J. C. (2006). English intonation : an introduction. Cambridge: Cambridge University Press.

「ん」はn?

訓令式ローマ字では、「ん」は「n」ですね。
パソコンで入力する際、「nn」と入力すると「ん」と変換されます。
ところで、「ん」の音は、/n/ でしょうか?
実は、ヘボン式ローマ字では「m」と記述することがあります。
「p」「m」「b」の前です。なぜ「m」になるのか、実験をしてみましょう。

Praatで逆再生をしてみようの要領で、まずは「えん」と録音して、逆再生してみましょう。「えん」は /en/ ですから、逆再生すると /ne/ になるはずです。
実際、「ね」(/ne/)と聞こえます(「んねっ」のようにも聞こえますが・・・)。
ですから、「ん」は /n/ で間違いなさそうです。

次に、「あんぱんまん」と録音して逆再生してみましょう。
「あんぱんまん」には「ん」が3つあります。/anpanman/ だとすると、逆は /namnapna/ (/なむなぷな/) になりそうね。
ですが、逆再生してみると、/mammapma/ (まんまぷま)になります。/n/ が全て /m/ になっています。

「あんぱんまん」の「ぱ」「ま」は、「p」「m」なので、ヘボン式ローマ字のルール通り、その前の「ん」は “m” と表記します。ですので、「あんぱんまん」は、 “ampamman” となります(ちなみに、「ヘボン式変換君」のサイトからヘボン式表記を確認することができます)。

ヘボン式表記を逆再生すると、/nammapma/ (なんまぷま)になりそうです。しかし、実際に逆再生してみると /mammapma/ (まんまぷま) になっていました。
確かに、「ぱ」「ま」の前は /m/ の音になっていることが、逆再生から確認できます。では、「まん」の反対が /nam/ ではなく、 /mam/ になっているのはなぜでしょうか。

理由は2つありそうです。
「まん」は、両唇鼻音 /m/ から音が始まるので、唇が閉じた状態から音がスタートします。次に来る「ん」では再度唇が閉じるのが楽なので、自然なようです。
また、「あんぱんまん」は「ん」が1文字おきに3連続します。「ん」「ん」「ん」のリズムなので、「m」「m」とくると、3つめは「n」ではなく、1つめ2つめにつられて「m」になってしまいます。
ですので、 /man/ ではなく、 /mam/ となるようです。

日本語の「ん」は、他にも /ŋ/ (eng)の音等もあります。 /ŋ/ は、英語では “sing” の語末音です。 /ŋ/ は軟口蓋鼻音ですので、軟口蓋音閉鎖音 /k/ /g/ の前に現れます。例えば、「参加」(/saŋka/)「版画」(/haŋga/) 等です。

Praat で逆再生してみよう

音声分析ソフト Praat の基礎です。
「うそ」の逆再生に挑戦してみましょう。
「うそ」の逆は何でしょうか?「そう」になるでしょうか?Praatで実験してみましょう。
Praatを起動すると、Praat ObjectsとPraat Pictureの2つの画面が起動します。今回は、Praat Objectsしか用いません。ですので、Praat Pictureは閉じても結構です。

Praat Objectsの「File」をクリックし、「Record mono Sound」を選択しましょう。キーボードのショートカットをする場合は、「Ctrl R」(macはCmd R)です。

すると、SoundRecorderが起動します。この画面で「Record」をクリックすると録音ができます。「うそ」と録音をしましょう。

録音を終えるときは「Stop」をクリックします。次に、「Save to list & Close」をクリックします。

すると、Praat Objectsウィンドウに「1. Sound untitled」が表示されます。「1. Sound untitled」が選択された状態で、「View & Edit」をクリックします。

「1. Sound untitled」が表示されます。durationをクリックすると、録音した音声が再生されます。

「うそ」の音声部分のみを選択します。選択部分のdurationをクリックすると、選択部分の音声を確認することができます。

この状態で「View」→「Zoom to selection」を選択すると、「うそ」の音声部分が拡大表示されます。キーボードショートカットは「Ctrl N」(macはCmd N)です。

いよいよ逆再生をしてみましょう。「Edit」→「Reverse selection」です。キーボードショートカットは「Ctrl R」(macはCmd R)です。

すると、逆再生されます。「うそ」の反対は「そう」ではなく、「おす」です。/uso/ の反対なので、 /osu/ になるのですね。「うそ」の「そ」は、/s/ と /o/ の2つの音素から構成されています。

キーボードショートカットの「Ctrl R, N, R」(macはCmd R, N, R)を使うと、簡単に操作できます。
「うそ」の次は、「あられ」に挑戦しましょう。「あられ」を逆再生すると・・・?

オールイングリッシュ授業の意義とは

英語の授業を英語だけで行う、オールイングリッシュの意義は何でしょうか。
高校では、「授業は英語で行うことを基本とすること」が学習指導要領 (MEXT, 2009) に明記され、平成21年3月に告示、平成25年より年次進行で実施されました。小学校、中学校は新学習指導要領が全面実施されますので、全学年一斉に変わりますが、高校は年次(学年)進行ですので、1年生のみ実施され、2年生、3年生は旧学習指導要領のままになります。
平成30年3月に告示された高校の新学習指導要領 (MEXT, 2018) でも「授業は英語で行うことを基本とすること」が明記されています。
平成29年3月に告示された中学校の新学習指導要領 (MEXT, 2017) にも、「授業は英語で行うことを基本とすること」が新たに記載されました。中学校の授業も、令和3年度からは基本的に英語で行うことになります。中学校は全学年一斉に実施されます。
なぜ授業を英語で行うことを基本とするのかは、「生徒が英語に触れる機会を充実するとともに,授業を実際のコミュニケーションの場面とするため」とされています。

「授業は英語で行うことを基本とすること」に対する賛否は両論です。岩井先生の論文(岩井, 2019)を拝読し、高校でのTEE (Teaching English in English) の現実を実感し、学習指導要領の方針についてクリティカルに考える機会となりました。

私は、英語で指示を出したり、褒め言葉をかけたりする All in English の授業に賛成です。小学校でも基本的に All in English の授業を行っています。勿論、込み入った指示や、英語で伝えられない情報があるときは日本語を使います。賛成である最も大きな理由は、より充実した授業に繋げられるからです。

向山先生は「授業の原則十ヵ条」の第三条に「簡明の原則」を挙げられ、指示や説明を短くすることの大切さを具体的に記述しています(向山, 1985)。指示や説明を短くすることの重要性は、日々の授業で実感しています。不要な言葉を削ることを意識し、実践した上でクラスルームイングリッシュを用いると、指示は短く、分かりやすくなります。

英語で指示を出すのに、英語母語話者のように流暢な英語が必要な訳ではありません。むしろ、ALTが普段通りの英語で、英語だけで指示をすると「分からない」と児童はパニックになってしまいます。とにかく英語で指示を出せば良いのなら、英語母語話者が英語教師になればよいということになってしまいます。日本人英語教師でも、思いつくまま英訳し、指示をすると「先生、何言っているか分からない」と児童に思われます。そして、指示を聞かなくなってしまいます。言葉を受け入れない状態です。
英語教師に必要なのは、児童が分かる英語を適切に用いる技量です。それには、日本語でも英語でも、不要な言葉を削り、分かりやすい言葉を選択して、組み合わせる努力が必要です。

英語教室には3年生〜6年生の児童が来室しますが、「楽しく学ぼう!」と高いテンションで来る児童がとても多いです。うれしい限りですが、高いテンションの児童に的確に指示を出すためには、言葉を極力削る工夫が必要になります。言葉を削っても教師の意図が伝わるようになると、オールイングリッシュでも授業が成立します。しかもテンポが上がり、児童の活動が増えます。

説明をする際は、児童と手本を示すことで、伝えられることが多いです。デジタルコンテンツを用いて視覚から理解させる場合、言葉が必要ないこともあります。実際に授業をしていると、 “repeat after me.” はいりませんし、 “please look at the blackboard.” 等も使いません。なくても授業が成立する言葉は、極力削ります。

「簡明の原則」を取り入れた上でのTEEなら、児童に「英語を触れる機会」を増やすことができますし、「授業を実際のコミュニケーションの場面」にすることもできます。そして、「英語だけで授業が理解できた!」と児童に自信を持たせることに繋がると思っています。

ただ、言葉を削る、分かりやすい、シンプルな指示を出すにも、教師の学習は必要です。英語として適切な表現だったか、授業後に振り返ること (refrection) は重要ですし、クラスルームイングリッシュの発音、特にプロソディは練習が必要です(先ほど不要と書きましたが、例えば blackbaord はイントネーションによって複合語「黒板」と名詞句「黒い板」と、意味が変わってきます)。
「実際のコミュニケーションの場面」を適切に再現するためには、教師自身が授業に必要な英語学の要素を学ぶことも大切だと思っています。

岩井千秋 (2019). 「高等学校指導要領に謳われた「英語の授業は英語で」の結果と影響,そして課題」『JACET関西紀要』(21), 1–22.
MEXT (2009). 高等学校学習指導要領,第3章3(エ)
MEXT (2018). 高等学校学習指導要領,第3款1(6)
MEXT (2017). 中学校学習指導要領,3(1)エ
向山洋一 (1985). 『授業の腕をあげる法則』明治図書出版.

母音ばかり

日本語は5つの母音があり、子音+母音の組み合わせが多く、母音優位の言語です。
母音ばかりでも文ができる、世界的にも珍しい言語だそうです。
そこで、母音ばかりの文を集めてみました。

あなたがたは ばかな 方々だ。
(川原, 2015)

全て母音が「あ」です。

ママはサラダかな パパは魚だな
(ミルキー杉山のあなたも名探偵シリーズ、偕成社より)
これも全ての母音が「あ」ですね。

この音 外のトトロの子供の物音
全ての母音が「お」です。

大エイを上へ おいおい 追い合おう
(川原, 2015)
全ての文字が母音(あいうえお)です。

英語を指導する上で、まず日本語の楽しさを発見させたいと思っています。

川原繁人 (2015). 「音とことばのふしぎな世界 : メイド声から英語の達人まで」. 岩波書店.

流音の音声指導

流音の音声指導日本語のラ行は「弾き音」です。
発音記号で書くと、 /ɾ/ です。
試しに「らりるれろ」と言ってみると、舌先が硬口蓋を一瞬叩くことが分かると思います。
「下が口の中の天井に当たらないように『らりるれろ』と言ってごらん」と指示すると、うまく「らりるれろ」が言えないことに子供たちは驚きます。
英語の流音には、 /r/ /l/ の2つの音があります。
/l/ 音は、舌先を上歯茎の付け根に押し当てて発音します。これを意識しながら “lemon” と言わせることで練習ができます。
/r/ 音は、舌先を口のどこにも当てず、立てながら口先をすぼめさせます。これを意識しながら “red と言わせることで練習ができます。
“lemon” “red” ともに、オンセット (onset) の音なので、練習しやすい単語です。
オンセットとは、音節中の、母音の前の子音(群)を指します。
「アナと雪の女王」の主題歌 “Let It Go” は、「レリゴー」として子供たちに馴染みがあります。舌先を上歯茎の付け根に押し当てることを意識しながら「レリゴー」と言わせると、音が変わることが実感できます。

※left, right の /l/ /r/ の聞き分けにくさについては、岡本 (2019) にまとめています。

岡本真砂夫 (2019). 音響音声学に基づく “Left” と “Right” の分析 ―児童の混乱要因―. JES Journal, (19), 86–100.