この研究では、2人の生徒が一緒にEmmaに教える 対話を分析しました。米国の大学生が、NAOロボットのEmmaに中学校レベルの比の問題の解き方を音声で教えるものです。このEmmaは、パターンマッチングで台本の応答を選ぶ対話システムでした。生徒1人 が教えるLLM版のEmma とは別の研究ですが、ここで得られた知見がその設計につながっています。
これらの対話を、2つの観点から分析しています。語彙的同調 は、グループが最終的に誰の言葉を共有するようになるかを見ます。意味的な（不）一致 は、生徒とEmmaが問題の解き方について合意しているかを見ます。
以下の例はすべて同じ問題からのものです：Emmaは2/3時間でバッテリーの1/20を使います。1時間では、どれだけ使うでしょうか。
観点1：語彙的同調
会話をしていると、人は相手の言葉を使うようになります。人同士では、これはラポール（信頼関係）の表れとされることが多いです。しかしティーチャブル・ロボットとの対話では、話はもっと複雑です。先行研究では、ロボットが生徒に同調するとラポールが高く、生徒がロボットに同調するとラポールが低いことがわかっていました。つまり、誰が誰に同調するか が重要です。ところが3者の会話では、既存の指標は隣り合う発話しか見ないか、個人の違いをまとめてしまいます。
そこで、共有表現（shared expression）に基づく指標を多人数の会話に拡張しました。ある表現は、誰かが初めて使ったときに導入 され、何ターン後であっても全員が使った時点で確立 されます。これにより、グループで共有された語彙への各話者の貢献を捉えられます。
Who said “two thirds” first? Student B
Okay. So Emma, first, you’re going to take the battery usage, which is one over twenty and divide that by the time, which is two over three. So you’re gonna do one over twenty divided by two over three.
Emma
I get it. So we’re trying to figure out what times two thirds of an hour will give us one hour. But then I’m not sure what to do.
Student B said “two over three,” but Emma says “two thirds.” This is the first use of the expression, so Emma initiates it.
Student B
So then should we just tell her to multiply the battery usage by two thirds?
Student B adopts Emma’s wording while talking to the partner, not to Emma.
Student A
Let’s try.
Student A
It’s not all you’re gonna do, for this one is you’re gonna multiply the battery usage in step zero by two thirds to get what it is in step one.
Now all three speakers have used it, so the expression is established. Analyzing each pair of speakers separately would miss that it started with Emma and traveled through the group.
Student B
So on the battery usage side, you’re gonna multiply one over twenty times two thirds to get the new value.
提案した指標は、既存の多人数・ペア単位の指標よりもラポールをよく予測し、Emmaの同調と生徒の同調を区別できます。Emmaが確立した表現が多いほど、Emmaとパートナーの双方とのラポールが高く、Emmaが導入した表現が多いほど低くなっていました。オープンソースのパッケージdialign_python として公開しています。AIED 2025
生徒は、ロボットに1人で教えるときのほうが、ペアで教えるときよりもロボットの言い回しを多く取り入れていました。また、同調とラポールの関係は、人同士の会話の理論が予測するよりも複雑でした。SIGDIAL 2022
観点2：意味的な（不）一致
数学の問題には正しい解き方が複数あることが多いため、生徒とAIのパートナーは、どちらも正しくても食い違うことがあります。これを**解法の食い違い（solution-path conflict）**と呼んでいます。今回のセッションでは、生徒が教えている解き方をEmmaが読み違え、自分の解き方にこだわったときに食い違いが起きていました。問題ごとに、食い違いなし、解消された食い違い（生徒が自分の解き方とEmmaの解き方を明示的にすり合わせた）、解消されなかった食い違いの3つに分類してアノテーションしました。
A resolved solution-path conflict Student B
Yeah. Emma, you should divide one twentieth in half to get one fortieth and then multiply that times three to get a full hour. Since one twentieth is two thirds of an hour.
Emma
We will multiply. Can you clarify though, what we should multiply?
Student B
You should divide one twentieth by in half to get. You could equal to one third.
Emma
So we can set up the ratio and I multiply two over three by three over two, right?
Emma has mapped the students’ explanation onto a different, also valid, solution. This is a solution-path conflict.
Student A
So, she did two over three. I don’t know why. Two over three by three over two that would be six over six, which is one. So one hour, so right?
Instead of ignoring Emma, the students work out why her approach makes sense.
Student B
I think so.
Student A
So could you use that same right ratio and ...
Student B
Multiply one twentieth by three over two? Like, if you multiply. Yeah.
Student B
You should multiply one twentieth times three over two to get the one hour.
Resolved: the students explicitly switch to Emma’s solution.
Emma
We know one over twenty times three over two is three over forty?
An unresolved solution-path conflict Student B
Try finding just the battery usage of one third of an hour and you would usually do that just by dividing by two.
Emma
I think I understand what you’re saying. So we have two over three because we have two thirds of an hour for one twentieth of the battery. Student A. Do we multiply it by something?
Emma has committed to a different solution and assumes the students are following it.
Student A
No, let’s try another way.
Emma
Okay. Student A. Can you explain what you mean?
Student A
Emma, one divided by twenty is zero point zero five, two divided by three is zero point six six, divide zero point zero five by zero point six six.
Emma
I think I get it. We’re trying to figure out what times two thirds of an hour will give us one hour. But then I’m not sure what to do.
This Emma was scripted to keep her solution, so she cannot follow the students’ approach.
Student A
Yeah, so I guess based on her response to that, she doesn’t quite understand like the decimal conversion. So like I mentioned, just try solving it step by step and as simple as possible.
Student B
Emma try dividing by battery usage by time in step zero.
Emma
Okay. Student A, why do we do that though?
Student A
So that you can find the ratio and apply that to step one and step two.
Emma
Okay. So then for one hour, do we use three fortieths of the battery?
Unresolved: the students never take up Emma’s solution, even though both reach the same answer.
食い違い全般ではなく、解消されなかった食い違いが、Emmaとパートナーの双方とのラポールの低さと関連していました。解消された食い違いには、そのような関連は見られませんでした。
食い違いが解消されたからといって、それだけで学習効果が高いわけではありませんでした。重要なのは、生徒が対立する考えを実際に検討したかどうかだと考えられます。
生徒の語彙的同調とラポールの関連の一部は、解消されなかった食い違いによって説明されます。生徒がEmmaの言葉を繰り返すのは、親しみの表れではなく、Emmaを正そうとしているためかもしれません。
これらの知見から、LLM版のEmma は検証済みの別解をあえて示し、生徒が2つの解き方を比べられるよう導く設計になりました。
その他の知見
グループの学習成果を予測するために、発話参加のバランスを測るさまざまな指標を比較しました。ロボットが自動で計算し、リアルタイムに活用できる指標も含みます。EDM 2024
音声認識の誤りによって会話の流れが変わっても、学習効果やラポールとの関連は見られませんでした。AIED 2023、最優秀ポスター賞
データのつくり方
実験室・教室での研究を一貫して設計・実施しています。実験計画と検出力分析、IRBのプロトコル作成、実験セッションの運営、対話・音声データの収集、アノテーション、統計分析まで担当しています。解法の食い違いについてはコーディングスキームを作成し、2人目のアノテーターを育成したうえで、不一致を検討しながらスキームを改善し、Cohen’s κ = .72、Gwet’s AC1 = .83に達しました。
共同研究者
ピッツバーグ大学のDiane Litman、Erin Walker、Timothy Nokes-Malach、Adriana Kovashka、マギル大学のNikki Lobczowski。