日本語内容推定アプリ「Lip2ja」
大阪大学の御堂義博（みどう・よしひろ）特任准教授らの研究グループは15日、くちびるの動画像から日本語内容を推定できるアプリ「Lip2ja」を開発したと発表した。がんなどで声を失った患者が話したい内容を推測し、本人の声で再生することが可能であり術後の生活の質の改善に貢献できそうだ。
Lip2jaは言語生成のための人工知能（AI）と口元の形状を符号化した「口形コード」を組み合わせたアプリ。発話プラットフォーム「CoeFont」と連携することで、音声合成も可能にしており口元の動画像から言葉を推測して個人の声で言語化できる。
口の画像から英語による発言を推定するアプリは開発されていたが、母音数が5のみの日本語では、その実現が困難であるとされていた。今回、初めて口形コードを実装してその課題を克服したという。
御堂特任准教授は「日本語では技術的に困難だった読唇型発話システムを今回開発できた。このシステムが日常生活の質を向上するとともに、大切な人の記憶に声という彩りを添えることができればと願っている」とコメントしている。