Challenge Grant: ヒアラブルデバイスを用いた日常・ジェスチャ動作に基づく整形疾患推定システムの開発

本研究では、ユーザが常時装着することが想定されるウェアアラブルデバイスに着目し、イヤホン型ウェアラブルデバイス（ヒアラブルデバイス）を利用したスクリーニング手法の開発を目指す。具体的に、初年度は、1) 歩行障害のスクリーニングについて、2年目は、2) 顎関節症のスクリーニング、3) 肩関連の整形疾患スクリーニング、ができることを目指す。

当該年度は、2024年度に開発したヒアラブルデバイスによるデータ計測プラットフォームを積極的に活用し、身体データの継続的な収集を通じてデータセットの拡充を図った。特に、歩行障害や肩部に関連する整形疾患のスクリーニングに向けて、日常動作に関するデータセットを構築し、システム実現に向けた基盤を整備した。さらに、顎関節症の推定モデルについては、データ前処理手法の改善およびデータ取得数の増加により、高精度かつ安定した推定性能を有するモデルの構築を進めた。

公刊論文数　1件
・Hiyori Tsuji, Takashi Amesaka, Sho Usuda, Wataru Muraoka, Taneaki Nakagawa, Yuta Sugiura, HearTMD: Detection of Temporomandibular Disorder Using Hearables, In Adjunct Proceedings of the 38th Annual ACM Symposium on User Interface Software and Technology (UIST Adjunct '25), ACM, Article No. 97, pp.1–3, Sep 28 – Oct 1, 2025, Busan, Republic of Korea.
DOI: https://doi.org/10.1145/3746058.3758416

学会発表件数（国内：1件）
・中村裕大，山本匠，杉浦裕太，AudioProgress: 空間オーディオを用いた進捗状況提示によるオーディオブックにおける体験拡張，インタラクション2026 インタラクティブ発表，学術総合センター内 一橋記念講堂，東京，2026年3月2–4日．

主なイベント
・Inter BEE 2025において研究成果の展示を実施
・YOXO FESTIVAL 2026において研究成果の展示を実施

学術成果の発表にとどまらず、本プロジェクトでは、学生を巻き込んだ教育的取り組みとして、データセット提供によるAI開発コンペティションを実施し、全学的な参加を促すことで、人材育成と研究推進を一体的に進めた。さらに、地域イベントや展示会でのデモンストレーションを通じて、研究成果の社会発信および多様な層への理解促進にも取り組んだ。これらの取り組みにより、研究成果の創出に加えて、教育・社会展開の側面においても波及効果を生み出すことができた。

■当該年度活動計画に対する実施内容、および研究成果と達成度

当該年度は、ヒアラブルデバイスを用いたデータ収集プラットフォームの開発に取り組んだ。具体的には、スマートフォンとスマートウォッチのセンサデータを同時に計測できるシステムを構築し、それを活用して人間の動作計測を実施した。また、顎関節症についても基礎的な検討として、取得したセンサデータを用いた推定モデルの構築に挑戦した。さらに、ヒアラブルデバイスによる基本的な情報入力手法の研究や、リハビリテーション支援システムの開発にも取り組んだ。

■公刊論文数（件数と主たる公刊誌名）、学会発表件数（国内・国際）、イベントなど社会貢献の実績（年月日、場所）

公刊論文数　2件

・Yukina Sato*, Takashi Amesaka*, Takumi Yamamoto, Hiroki Watanabe, Yuta Sugiura (*these authors contributed equally), Exploring User-Defined Gestures as Input for Hearables and Recognizing of Ear-Touch Gestures by IMUs, Proceedings of the ACM on Human-Computer Interaction (HCI), MobileHCI 2024, 2024.https://doi.org/10.1145/3676503

・Chengshuo Xia*, Tian Min*, Yuta Sugiura, (*these authors contributed equally), AudioMove: Applying the Spatial Audio to Multi-Directional Limb Exercise Guidance, Proceedings of the ACM on Human-Computer Interaction (HCI), MobileHCI 2024, 2024.https://doi.org/10.1145/3676489

学会発表件数（国内：3件）

・一居和毅，杉浦裕太，ヒアラブルデバイスを活用した瞑想アプリの提案，ヒューマンインタフェースシンポジウム2024 SICHI2024，京都大学吉田キャンパス，2024-9-18-21．

・辻ひより，雨坂宇宙，杉浦裕太，ヒアラブルデバイスを用いた顎関節症の推定，ヒューマンインタフェースシンポジウム2024 SICHI2024，京都大学吉田キャンパス，2024-9-18-21．

・一居 和毅，池松 香，礒本 俊弥，加藤 邦拓，杉浦 裕太，ユーザの自然なインタラクションに基づく操作ミス推測，インタラクション2025 登壇発表，学術総合センター内 一橋記念講堂，東京，2025-3-2-4．

■プロジェクト活動を通じて特に成果を挙げた事柄

プロジェクト活動を通じて特に成果を挙げた事柄として、ヒューマンコンピュータインタラクション分野における最高峰の論文誌の一つである「Proceedings of the ACM on Human-Computer Interaction (PACM HCI)」への採録があった。今年度、本プロジェクトでは、ヒアラブルデバイスのための耳へのタッチジェスチャ入力手法を検討した研究および空間オーディオを活用した多方向の運動誘導に関する研究の2件の論文がPACMに採択され、高い研究水準を国際的に示すことができた。