Challenge Grant: 喉頭全摘出後の患者における読唇技術を応用した代用音声の開発

2026年度は、昨年度に開発した読唇技術を用いて実際に人工音声と組わせ、デバイスとしてのプロトタイプの作成を目指します。小人数において、実際にそのデバイスを喉頭全摘出後の患者に使用してもらい、利便性、問題点の検討を行います。よりよい利便性の追及、問題点の改善のため、デバイスの改善に取り組みます。

引き続き読唇技術によって喉頭全摘出後患者における識別率の向上のため、データ収集と解析を行います。より多くの患者で再現性がとれるのか、また研究室外でも同様に識別可能なのか検討します。

喉頭全摘出の術前の音声をお持ちの患者においてはその音声から、人工音声の作成が可能か検討します。
読唇技術と、人工音声の開発が終えた患者から、両者を組み合わせたデバイスのプロトタイプを作成します。このデバイスの最終目標としては、手に持てるサイズのデバイスか、スマートフォンのアプリケーションを目指しています。プロトタイプにおいては、まずはPCで稼働可能なプログラムとしての開発を目指します。そのうえで、患者に実際に使ってもらい、利便性、問題点の検討を行い、適宜デバイスやプログラムの修正を行います。

2025年度は、喉頭全摘出後の患者さんに現在の読唇技術を応用できるのか検討しました。音節レベルで90%以上の識別率を持っていましたが、単語レベル、文章レベルでも同等の識別率が得られることが明らかになりました。ただし、学習で利用したカメラと読み取りで利用したカメラが異なると、識別率は下がることも明らかになりました。そこで、識別方法を口唇の淵を読む方法に加えて、唇の正中ラインを読む方法を追加することで識別率の改善を達成しました。概ね予定通りの達成度です。

公刊論文数 0

学会発表 1(第76回日本気管食道科学会、国内）

カメラによって読唇の識別率が低い問題がありましたが、読唇方法を検討することで改善することができました。このことで読唇技術としての基本的な開発を終了しました。