高校生・受験生が東大を
もっと知るためのサイト

サービス業界の研修にVRが使われている？

――雨宮先生は「バーチャルリアリティ教育研究センター（以下、「センター」と略記）」の准教授も兼任されていますが、このセンターはどのような場所なのですか？

これまで東大のVR研究は複数の学部や研究室でばらばらに行われてきたんですが、センターはそのハブになる感じですね。センターの目的は世界最先端レベルのVRの基礎研究の発展と、VR技術の普及です。VRの教育分野への応用も主要な関心の1つです。

――「VRはコンピュータ上に作られた仮想空間（バーチャル空間）に没入するための技術」だと前回教えていただきました。この技術が人びとの教育にどのように役立つんでしょうか？

現時点で一番応用が進んでいるのは、企業の人材開発ですね。元々、飛行機の操縦士の飛行訓練や医師の手術の訓練などでVR技術は使われていたんですが、近年は対人業務にも応用が広がってきています。たとえばセンターでは2019年から、サービス業の研修にVRを役立てようという試みをしているんですよ。

――具体的にはどのような訓練システムが開発されているんでしょうか？

これは一例ですが、VR上で顧客と受講者が会話できるシステムを開発しています。こんな風にバーチャルな顧客がやってきて、その人の問い合わせや要求に対応するシミュレーションができるようになっています。バーチャルな顧客はAIで動くようになっていて、受講者の受け答えによって次に話す内容や表情などが変わるようにできています。

――これを使うと、バーチャルな顧客と実際に対話している感覚になりそうですね。でもこれって、これまでも実地研修などを通してやってきたことですよね。あえてVR技術を使うメリットはどこにあるんでしょうか？

VR研修だからこそできることもあるんですよ。その1つに、研修を受けている人のニーズやレベルに合わせて、課題の内容や難易度を変えられることが挙げられます。たとえばクレーム対応の言葉遣いや立ち振る舞いについて集中的に学ぶとか、そういったことに対応できますよね。さらに、怒った顧客に対応する課題では、受講者の心拍数が一定のレベルを超えたら「これ以上負荷をかけても教育効果が上がらない」と判断して、バーチャル顧客の怒りのレベルを下げたりすることができます。

もちろん、生身の人間との対話を完全に再現するためにはまだ課題もあります。たとえば、この課題ではバーチャル顧客の怒りのレベルが上がるのに連動して、怒りの表情も強くなるように設定したんですが、ある企業では「無表情で静かに怒られるのが一番怖い」と感じるスタッフも多いことが後になってわかりました。

――一般的な感覚と、現場の肌感覚がずれることがあるんですね。

そうなんです。そこは現場の方のフィードバックを通して改善したり、企業ごとにカスタマイズしたりしていく必要がある点ですね。
「現場の肌感覚」に関連するかもしれませんが、現場を知り尽くしたエキスパートから直接仕事の「勘」を学ぶような技術の伝承方法ってありますよね。今は人手不足でそういった伝承の機会が減っているということで、そこにVRが貢献するための取り組みも始まっています。これは横浜市消防局と協力して開発中の消防訓練のVRですが、現実の火災に近い表現を使ったり、文字通りの肌感覚、つまり、熱さなどの感覚が再現できるように工夫しています。

――VR技術を使えば、実際に火事の現場に遭遇しなくてもそういった肌感覚を体験できるということですね。

炎の大きさ、煙の色、そして熱さなどの五感で得られた情報を総合してどう行動すべきか判断するというのは、消防士が安全に消火活動を行う上で不可欠なんだそうです。その判断力を養うために実際に家を燃やす訓練なども行われるそうなんですが、VRを使えばそのコストもかかりませんし、何より安全に繰り返し訓練することができます。

VR教室で授業をするってどうなの？

――新型コロナウイルス禍で大学のオンライン授業が話題になりましたが、そこにVR技術を応用することってできないのでしょうか？

実はこれを機に、実験的にやってみたことがいくつかあるんですよ。
1つは、VR空間に教室を準備して、そこでいつもの授業を行うというものです。

――学生のアバターが集まっている場所で講義をするということですね。何だか面白そうですが、手応えはいかがでしたか？

「非日常が味わえて気分転換になった」と言ってくれる学生が多くて、やってみる価値はあったかなと思っていますが、それ以上に課題が多かったですね。たとえばPCの性能の問題。VR空間での授業は通常のオンライン授業に比べると処理の負荷が大きくなってしまうので、受講生側にゲーミングPCのような高性能のPC環境が確保されていないと参加が難しい場合があることがわかりました。

それから、このVR授業では、「学生と教員が相互に反応を確認しやすい」という効果を期待していたんですが、実際のところそれほどでもありませんでした。この授業に使ったアプリでは、受講者一人ひとりが自分のアバターの動きを操作してリアクションできるんですが、授業中にアバターがジャンプしているのを見ても「？」となってしまうことが多くて(苦笑)。それから、他の学生のアバターの反応で気が散るという意見もありました。使い慣れれば多少は改善されるのかもしれませんが、無理にVR教室での講義を行わなくても、オンライン会議アプリを使った現状のオンライン授業の枠組みで工夫できることもあるんじゃないか、というのが現時点の率直な感想ですね。

VR技術で先生の顔が変わる！？

――オンライン授業では、他にどういった実験をされたのですか？

先日、「先生の顔を変える」という実験をしてみました。もともとはVTuberのようにCGキャラクターでやろうとしていたのですが、写実的にしようと思い、「ディープフェイク」という技術を応用することにしたんです。最近はフェイクニュースの制作に使われたりして問題になっている技術ですが、今回の実験はこの技術を平和的に使用しつつ、授業をする側の見た目が変わったときに、授業を受ける側の反応がどのように変わるのかを検証してみました。

試しに、これから私の顔を変えてみますね。これは、うちのセンターの初代センター長で、僕の指導教員でもあった廣瀬通孝先生です。喋っているのは私なんですが、私の顔や口の動きに連動して廣瀬先生のお顔も動くようになっています。

――最初は違和感がありましたが、すぐに慣れて、まるで廣瀬先生とお話しているような感覚がします。

そうですよね。話している私も少し気分が変わります。実は、VR技術で姿を変えることによる心理的な影響に関しても、最近研究の蓄積が進んでいるんですよ。
ただ、この技術の活用に関しては肖像権などの法的な問題や倫理的な問題が残っているので、今回の実験は架空の人物の顔を使用することにしました。
（※今回の取材での廣瀬先生のお顔の使用に関しては、廣瀬先生ご本人から許可をいただいています。）

――実験のステップを教えてください。

まず、学生に廣瀬先生を含む4名の顔を見せて、どの顔の先生の授業を受けてみたいかを順位付けしてもらいました。

その結果、トップは廣瀬先生（写真D）だったんですが、大きな差のない次点にBが入りました。実はBは私の顔に老化の加工をかけたものです。そして、断トツの最下位がAの男性でした。ちなみに、AとCの男性はAIが作り出した架空の人物です。

――最下位になったAは厳格な印象の顔ですね。

「Aの先生は厳しそう」という印象をもった学生が多かったようです。この結果を踏まえて、学生をランダムに2グループに分け、第1グループは前半でB、後半でAの顔、第2グループは前半にA、後半でBの顔が喋る授業を受けてもらいました（下図）。どちらも授業内容は同じで、裏で話しているのが私なことは学生全員が知っています。

――内容も話す人も同じなら、2グループの間に大きな差はなさそうですが。

実際、授業後に実施した小テストの点数には統計的に意味のある差は出ませんでした（下図右）。ですが、授業中にリアルタイムで受け付けた質問の投稿数には差がありました。下の図の一番左のグラフを見てもらうと、特に前半の質問数の差が大きいことがわかりますよね。一般的に授業の後半は質問数が減る傾向にあるんですが、後半にBの授業を受けた第1グループは減少幅がそれほど大きくはありませんでした。逆に後半にAに切り替わった第2グループは、前半に比べて大きく質問数が落ちています（下図左）。また、授業後に学生に提出してもらった質問内容をみると、第1グループ・第2グループともにAの顔が喋った内容に偏っていることがわかります（下図中）。

――この差が出た理由としてはどういったことが考えられますか？

やはりAの男性が厳格な印象を与える顔だったということで、学生が無意識のうちに質問することへの心理的なハードルを高めてしまっていたことなどが考えられると思います。少人数での簡易な実験なので確定的なことは言えませんが、より厳密な実験をして検証を深めることで、授業に積極的に参加するという行為の心理的なメカニズムの解明につながる可能性があります。今後の教育やコミュニケーションの研究に役立てられるかもしれません。

VRと教育の未来

――キミの東大の読者である中学生や高校生にはオンライン授業を受けたことがない人も多いと思うのですが、オンライン授業以外でVR技術を学校教育に応用することはできるんでしょうか？

高校までのカリキュラムで言えば、天体などのスケールの大きい事象を理解するためにVR技術を活用する動きはあるようです。VR空間であれば時間を早めて星の運行を再現することも簡単にできるので、実際に見る体験を通して理解を深めることが期待できます。

――どこでもプラネタリウムに行ったような体験ができるわけですね。

それから、これは大学生にも関わりますが、実験や実習への応用もあり得ます。実は、VR技術を使った実験室を提供するサービスがすでに開発されているんです。試験管で試薬を混ぜたりする作業が高度に再現されていて、一定の教育効果があるという報告もあります。

――これなら、現在のように実験室に何度も通うことが難しい状況でも、実験や実習を継続できそうですね。

さらに、VR上の実験なら、試薬のコストや安全面を気にせずに何度も実験できますよね。ですからこの技術は、いわゆる「アフターコロナ」の時代にも活用していけると思っています。将来的には、試験管を持ったときの触覚を付加して、より再現度を上げることができるかもしれませんね。

――コストや場所を気にせず、多くの人が実験や実習の経験を積める時代がすぐそこまで来ているんですね。

（第3回に続く）

取材／2020年12月
インタビュー・構成／「キミの東大」企画・編集チーム

• SHARE
• TWEET
• LINE