Challenge Grant: 喉頭全摘出後の患者における読唇技術を応用した代用音声の開発

本研究では、読唇技術を用いて口元の動画を言語に変換し、AI合成音声によって音声に変換するデバイスの開発を目指しています。喉頭癌などの治療によって音声を喪失する患者はまだ多いです。従来の代用音声では、明瞭さや持続性に問題が残っています。今回開発を目指すデバイスによって、この問題点を解決するとともに、患者さんの元の声を再現することができます。音声を喪失した患者さんのQOL向上に寄与できる研究です。

■2025年度の新規活動目標と内容、実施の背景

2025年度は、喉摘全摘出後の患者さんにおいて現在の読唇技術が適応できるのか検討を行います。喉摘全摘出後の患者では、代用音声を使用しているかどうかや使用している代用音声の種類によって、口の動かし方が異なる可能性があります。慶應義塾大学病院に通院中の喉頭全摘出後の患者さんに研究協力を依頼し、読唇技術によって実際に口元を読み取れるのか検討します。1つ1つの文字のレベル、単語のレベル、文章のレベルと複雑さを変えて、それぞれ検討します。その結果応じて喉摘全摘出後の患者さんに合わせた修正を行い、喉頭全摘出後の患者さんでも適応可能な読唇技術の確立を目指します。

KGRIのプロジェクトメンバー、所員について.pdf