北陸先端科学技術大学院大学（略称： JAIST）の岡田将吾教授らの研究グループは、音声を手掛かりに、映像の中から重要な場面だけを選んで解析する効率的なマルチモーダルAIを開発した。

人間が「まず音を聞き、必要なときだけ相手を見る」という注意の仕組みに着想を得て、音声情報を手掛かりに映像中の重要な場面を選び、その部分だけを視覚解析する新しいAIフレームワーク「EMF-dVAE」を開発したもの。

映像解析量を約85%削減しながら、面接動画評価の精度向上と処理時間の65%短縮を両立させた。今後、映像AIの計算コストや消費電力の削減につながる「グリーンAI」への一歩として期待が高まる。

この研究成果は、国際学術誌「Information Fusion」に掲載された。

近年、画像・音声・テキストを組み合わせて理解するマルチモーダルAIは、オンライン面接、教育、医療、介護、ロボットなど幅広い分野で活用されている。

しかし、従来の手法では評価に有用な場面と変化が少なく情報量の乏しい場面を区別せず、動画全体を視覚解析するため、多くの計算資源と電力を必要とすることが課題だった。また、重要でない情報がノイズとなって予測性能を低下させる可能性もあった。

これに対し、人間の場合は会話の中で、声の調子や話し方の変化を手掛かりに、重要だと感じた瞬間のみに視線を向けている。ただ、AIに音声を手掛かりとして、「いつ映像を見るか」という離散的な判断を学習させることは、従来技術では容易ではなかった。

研究チームは、人間が「まず音を聞き、必要なときだけ相手を見る」という注意の向け方に着想を得て、新しいAI「EMF-dVAE」を開発。まず音声情報から映像中の重要な場面を選び、その区間だけを視覚解析することで、不要な映像処理の大幅削減を実現させた。

この技術は、人手で「見るべき場面」を指定した教師データを必要としない自己教師あり学習と、「見る・見ない」という離散的な選択を学習できる離散変分オートエンコーダ（dVAE）を組み合わせた点が特徴で、動画の予測に必要な情報を保ちながら、視覚解析する区間を必要最小限に絞ることができる。

研究では、米国のEducational Testing Service（ETS）から共有された260名・1,891本の就職面接動画データを用いて同手法を評価した。

その結果、視覚データのわずか15.42%のみの解析で、従来の最先端AIを上回る認識性能を達成した。さらに、人間の専門家評価者間の一致度と同水準に達し、動画1本あたりの処理時間も52秒から18秒へと約65％の大幅な短縮を実現した。

これは、必要な情報だけを選択して処理することで、AIの性能と計算効率を両立できることを示している。

今回の研究の「まず計算負荷の小さい情報から重要性を判断し、必要な部分だけを詳しく解析する」という考え方は、「必要なときだけ計算するAI」として、面接動画の分析にとどまらず、教育支援、遠隔医療、コミュニケーション支援ロボット、映像監視など、音声と映像を同時に扱う幅広いAIへの応用が考えられる。