慶應義塾大学 理工学部の杉浦裕太准教授、雨坂宇宙訪問研究員、大学院理工学研究科の鈴木俊汰（修士課程1年）、公立はこだて未来大学システム情報科学部の渡邉拓貴准教授、筑波大学システム情報系の志築文太郎教授の研究グループは、高機能なイヤホン型デバイスであるヒアラブルデバイスから発生する音漏れの信号源への転用可能性に着目し、機械学習を用いて機器付近で実行される空中ジェスチャの検出および種類分類を行う新手法「EarHover」を開発しました。
多くのヒアラブルデバイスは、タッチセンサなどを利用した機器への接触による操作が主流ですが、機器付近上空で実行される空中ジェスチャが認識可能になることで、機器に直接触れなくてもヒアラブルデバイスを操作することが可能になります。
研究グループは、ヒアラブルデバイスから外部に音が漏れる現象である音漏れがデバイス周囲のセンシングに活用できることに着目しました。本手法では、ヒアラブルデバイスから人間には聞こえない超音波信号を再生し、その音漏れが空中ジェスチャを行う手に反射した時に発生するドップラー効果を活用しています。また、本手法は従来手法では利用が困難であった、手が汚れているなどの特定の環境下でも利用できます。加えて、ヒアラブルデバイス内蔵のスピーカと収音用マイクで実装可能であるため、市販製品への低コストでの導入が期待されます。
本研究の一部はJSPS科研費（JP23KJ1884, JP21H03485）ならびにJST戦略的創造研究推進事業さきがけ（JP¬MJPR2134, JPMJPR2138）の支援のもとで行われたものです。また、本研究成果は、人間と計算機の相互作用を扱うヒューマン・コンピュータ・インタラクション分野で最重要とされる国際会議の1つ「UIST '24: The ACM Symposium on User Interface Software and Technology」に採択され、Best Paper Awardの受賞が決まっています。
