論文

本研究では，生活支援ロボットが自然言語指示文に基づいて日用品を家具へ運搬する手法の構築を目的とする．例えば「皿の左側にある黄色いボトルを，上に何も置かれていない椅子まで移動させる」という指示文が与えられたときに，環境中の複数の日用品および家具からボトルおよび椅子を特定し，把持および配置動作を行うことが求められる．既存のマルチモーダル言語理解手法の多くは対象物体候補と配置目標候補に関するすべての組合せについて推論を行うため，計算量の点で非実用的である．本論文では，対象物体および配置目標に関する予測を単一モデルで個別に行う方法でタスクを解くことが可能なSwitching Head-Tail Funnel UNITERを提案する．物体操作指示文および標準的なシミュレータを用いて収集された画像から構成される新規データセットにおいて評価を行い，提案手法がベースライン手法を言語理解精度で上回った．さらに，生活支援ロボットが参照表現を含む指示文に従い標準的な日用品を運搬する実機実験を標準化された家庭環境で行い，物体把持および配置動作をそれぞれ90%以上の成功率で実行可能であることを示した．

日本語における画像キャプション生成タスクでは，BLEUやMETEORのようなn-gramに基づく自動評価尺度が主に用いられている．しかし，これらの評価尺度は人間による評価との相関が高くないことが報告されている．そこで，日本語を評価可能なシーングラフに基づく自動評価尺度としてJaSPICEが提案されてきた．しかし，JaSPICEは一般的な画像生成タスクにおいてのみ検証が行われており，指示文付与タスクにおける有用性は検証されていない．またJaSPICEではエラーの分析も行われておらず，指示文付与タスクにおけるJaSPICEの解析とエラー分析は有益である．したがって，本論文では指示文付与タスクにおけるJaSPICEの解析および一般的な画像生成タスクにおけるエラーの分析を行う．実験の結果，JaSPICEはベースライン尺度と比較して人間による評価との相関係数が高いことを確認した．

画像キャプション生成タスクでは，生成文の品質が適切に評価されることが重要である．本分野における課題の一つとしてハルシネーションへの対処が挙げられる．ハルシネーションとは画像キャプション生成モデルが画像内に存在しない単語を出力する現象のことを指し，画像キャプション生成においては度々発生することが知られている．本分野における既存の自動評価尺度は複数の参照文を十分効果的に活用していないという問題があり，ハルシネーションに頑健でない． そこで，本研究ではハルシネーションに頑健な画像キャプション生成の自動評価尺度DENEBを提案する．DENEBでは，Sim-Vec Transformerの導入によって複数の参照文を適切に扱うことで，ハルシネーションに頑健な自動評価尺度を実現している． さらに，DENEBを学習するため，805人の被験者から3.3万サンプルの人間による評価を収集した最大規模のデータセットPolaris2.0を構築した．実験の結果，Composite, Flickr8K-CF, FOIL, PASCAl-50S, Polaris2.0において，既存手法を上回る性能を得た．

マニピュレータによる物体操作におけるモデル性能向上のためには，高性能なタスク成功判定機構が重要である．一方で，その性能はいまだに不十分である．そこで本論文では，複数の物体操作タスクに対応可能なタスク成功判定機構を構築することを目的とする．提案手法における主要な新規性の一つであるλ-Representationは，物体の色や形状などの視覚的な特徴，自然言語にアラインされた特徴，および言語を媒介とした構造的な特徴のすべてを保持する．実験にあたり，RT-1およびVLMbenchに基づいて，物体操作タスクにおける成功判定のためのデータセットを新たに構築した．本データセットにおいて，提案手法は分類精度において全てのベースライン手法を上回る結果を得た．

監視ロボットや生活支援ロボットのような移動ロボットにとって，事前に家庭環境全体に散在する物体位置を把握できれば効率的にタスクを実行できる．一方で，日常的な物体は日常生活において頻繁に移動され位置が変化するため，定期的な探索を効率的に行い，最新の物体位置を把握することが重要となる．そこで本研究では家庭環境内における日常物体の観測を目的としたSubmodular Observation Poses Optimization (SOPO)を提案する．また，open-vocaburalyでマルチモーダルな3D特徴量およびテキストプロンプトから生成した２つのoccurrence mapを用いる．収集された画像群において観測された日常物体の割合において，本手法がベースライン手法を上回り，ロボットが効率的に日常物体を観測することを可能にする観測姿勢を選択した．

家庭環境内で物体の位置が頻繁に変化するため、ロボットが最新の物体位置を迅速かつ正確に把握することが重要である。そこで、本研究では、ユーザから与えられる指示文をもとに対象物体を特定するタスクである、OSMI-3Dタスクを扱う。視覚的基盤モデルとマルチモーダルLLMを用いた3次元点群データに基づく参照表現セグメンテーションに基づいて生活支援ロボットが家庭環境内の物体を効率的に操作するための手法を提案する。本研究における主要な新規性は、シーンナラティブモジュールを導入した点である。本モジュールでは、マルチモーダルLLMを既存の画像特徴量抽出器と組み合わせることで、画像から言語を媒介しつつ構造的な特徴量を抽出する。実験では、本手法が従来のベースライン手法よりもmean IoUおよびprecision@0.5-0.9において優れた性能を示し、OSMI-3Dタスクにおいて有効であることを確認した。

高齢化が進む社会において，労働人口の不足が問題となっている．環境中の物体をユーザ指示に応じて検索可能なモバイルロボットは利便性が高い．本研究では，人間がロボットに実環境中の物体に関する自然言語によるopen-vocabularyな指示を与えた時，対象物体を検索するタスクを扱う．本研究では，画像，対象物体，位置関係，画素4つの粒度を考慮して視覚特徴を得るモジュールおよび屋内環境に存在する冗長な画像に対しても効果的な緩和対照損失を導入する．また，大規模環境内の検索を行うために新たにデータセットを収集・拡張した．環境中の画像，対象物体領域，指示文を含むこれらのデータセットに対し評価を行った結果，提案手法は標準的な評価尺度において，ベースライン手法を有意に上回った．

本論文では，Fetch-and-Carryタスクについての自由形式な自然言語指示文が与えられたうえで，ロボットが指示を実行する，Fetch-and-Carry with Object Grounding (FCOG)タスクを扱う．FCOGタスクにおける既存手法では，指示文が自由形式である場合多様な参照表現を適切に理解することが難しかった．また，既存フレームワークでは，固定されたタスクのみで評価を行っていた．本研究では，FCOGタスクに対して，4つのサブタスクに分割し解決するアプローチを提案すると共に，マルチモーダル言語理解モデルにおいて，言語特徴量および画像特徴量を適切にモデリングするためのMultimodal Parallel Feature Extractorを導入する．また，自由形式な自然言語指示文のクロスモーダル言語生成を含む，生成，実行，及び評価についての完全自動化のためのフレームワークを提案する．実験結果より，提案手法における言語理解モジュールは参照表現理解タスクにおいて既存手法を上回る精度であった．また，提案手法は，FCOGタスクにおけるタスク成功率で既存手法を上回った．

我々は，自然言語による指示によって家庭環境内の対象物体を特定するタスクに取り組む．本研究では，マルチモーダル言語理解のための新しい転移学習手法として，新たに設計した対比損失であるDual ProtoNCEを用いたPrototypical Contrastive Transfer Learning (PCTL)を提案する．当該タスクのために構築した新規データセットにおいて，PCTLは既存の手法を上回った．

高齢化が進行する現代社会において，在宅介助者不足の解決策の一つとして生活支援ロボットが注目されている．しかし，生活支援ロボットが使用される環境では類似した物体が多く存在し，多様な指示文に基づく正確な物体検索は困難である．そこで本研究では，あらかじめ収集した画像群から物体を検索するマルチモーダルLLMに基づく二重緩和損失を提案する．提案手法を評価するために，実画像および複雑な参照表現を含む指示文を含むデータセットを用いた．その結果，提案手法は標準的な画像検索指標において，既存のベースライン手法を上回る性能を得た．さらに，ゼロショット転移の設定での性能を検証するため，生活支援ロボットを用いた実機実験を実施した．具体的には，生活支援ロボットが多様な指示文に従い，対象物体を配置目標へ運搬するタスクを行い，75%のタスク成功率を達成した．

ロボットマニピュレータによるオープンボキャブラリ物体操作タスクにおいて，タスク成功判定は操作の質と効率，安全性を向上させることが可能なため，重要である．特に，物体操作実行中にon-the-flyで成否判定ができれば効率的なタスク実行につながるため、利便性が高い．本研究では，オープンボキャブラリ物体操作の前後の画像と指示文をもとに成功判定を行うContrastive λ-Repformerをリアルタイム物体操作タスク成功判定に拡張したフレームワークを提案する．このフレームワークでは，初期状態での画像と任意の時刻での画像間の多階層アラインメント視覚表現の対比を行い，画像間の微細な変化に注目することで物体操作に成功したタイミングを検知する．実験結果より，このフレームワークによって，実際にリアルタイム成否判定を解決可能であることを確認した．

高齢化の進行に伴う在宅介助者不足に対し，被介助者を物理的に支援可能な生活支援ロボットは有望な解決策の一つである．そこで，open-vocabularyなユーザ指示文に基づき，事前に収集された環境の画像群から対象物体および配置目標を検索することで，日常物体を指定された家具へ運搬するタスクを扱う．本論文では，大規模言語モデルを用いて埋め込み空間を切り替えるSwitching機構を導入することにより，単一モデルで対象物体および配置目標を個別に検索可能なマルチモーダル検索モデルを提案する．大規模な屋内環境において収集された実画像および物体操作指示文から構成される新規データセットにおいて評価を行い，提案手法は画像検索設定における標準的な評価指標において既存手法を上回った．さらに，標準化された屋内環境においてユーザから与えられるopen-vocabularyな物体操作指示文に従い生活支援ロボットが日常物体を運搬する実機実験を行い，80%以上のタスク成功率を達成した．

本研究では、画像、ナビゲーション指示、セマンティックセグメンテーションマスクの3つのモダリティを扱うことができるTrimodal Navigable Region Segmentation Model (TNRSM)を提案する。我々は、Talk2Car-Regsegデータセットで本モデルを検証した。その結果、本手法は、Referring Navigable Regionsタスクにおいて、全ての評価指標でベースライン法を上回ることが実証された。

ブレイン・コンピュータ・インターフェース（BCI）は，脳とコンピュータ間の直接的な通信を可能とするシステムの総称であり，その応用範囲は神経変性疾患の診断，脳機能マッピングの深化，ロボットの制御，没入型ゲーミングデバイスの開発など，多岐にわたる．特に，頭皮脳波および頭蓋内脳波を用いたBCIは，その優れた時間分解能および携帯性から実社会への広い普及が期待されている．そこで，本研究では，運動想起時および企図時に計測された頭蓋内脳波および頭皮脳波の分類において，深層状態空間モデルを拡張し，時間・空間・周波数の統合的な依存関係を捕捉可能な新しいアーキテクチャを提案する．本タスクを扱う3つのベンチマークにおいて，提案手法がベースライン手法を上回る結果を得た．さらに，提案手法の視覚的説明より，神経生理学的に有用な特徴を捉えられたことが確認された．

花瓶やドアなどの物体を元の位置に再配置することは，生活支援ロボットにとって基本的なスキルの1つである．このような物体再配置タスクでは，目標状態と現在の状態に応じて再配置が必要な物体を検出することが重要である．本論文では，再配置すべき物体のマスク画像を生成するRearrangement Target DetectionのためのCo-Scale Cross-Attentional Transformerを提案する．また，複数のCoaT serial blockからなるSerial Encoderおよび目標状態と現在の状態の関係をモデル化するCross-Attentional Encoderを導入する．本手法を新たに作成したRTDデータセットで検証した結果，mean IoUとF1-scoreにおいて，本手法がベースライン手法を上回った．