論文

高齢化が進む社会において，自然言語指示文に基づき日常タスクを実行する生活支援ロボットの実用化は介助者不足の解決策の一つとなりうる．一方，自然言語指示文に基づき日常タスクを実行するためのマルチモーダル言語理解モデルは未だ性能が不十分であり，性能向上には高品質な自然言語指示文を含むデータセットを用いた訓練が必要である．よって生活支援ロボットの指示文理解性能向上において自然言語指示文生成は重要である．本研究では2枚の画像に基づき物体操作指示文を生成する手法を提案する．また，生成文により拡張したデータセットを用い，物体操作指示文理解モデルを訓練・評価した．結果として，理解性能が向上したことから，拡張データの有効性を確認した．また，実機実験においても同様に，拡張データが有効であることが検証された．

本研究では、自然言語による命令文（例：「リビングに行って、壁のラジオアートに最も近い枕をとってきて」）を理解し、その動作対象物のセグメンテーションマスクを生成するモデルを開発することを目的とする。このタスクは、(1) 指示に含まれる複数の物体に対する参照表現を理解し、(2) その表現の中から対象物に関連する表現を予測し、(3) 画素単位のセグメンテーションマスクを生成する必要があり、困難なタスクである。 本論文では、1段階目でマスクを生成し、2段階目でそれを洗練するマルチモーダルセグメンテーションモデルMDSMを提案する。我々は、並列クロスモーダル特徴抽出機構の導入に加えて、拡散モデルを言語情報を扱えるように拡張する。また本モデルの性能を検証するために、様々な対象物を含む実世界の室内環境画像と、画素単位のセグメンテーションマスクを伴う複雑な参照表現を持つ命令から構成される新しいデータセットを構築した。MDSMは、評価尺度mIoUについてベースライン手法を10.13ポイント上回った。

画像、動画など視覚的に示された物を理解, 例えば, 実世界の画像を対象として説明文を生成する技術の実現は, 人工知能分野における重要な課題の一つである. 一般的な画像説明文生成に比べ, テキスト付き画像の説明文生成は，画像全体・画像中の物体・テキストを統合する点において挑戦的課題である. 本研究では Image captioning with reading comprehensionタスクを扱う. 提案手法では, 画像中のテキスト情報に関して文字から単語まで複数粒度かつマルチモーダル情報として統合する．また, 画像全体の大域的な視覚情報, マルチモーダルOCR特徴, 画像中の物体群, の三者を扱うマルチモーダル注意機構を導入する．提案手法はTextCapsデータセットにおいて, 既存手法を上回る結果を得た.

深層学習が幅広い分野に応用されている現代において，深層学習モデルの説明性は重要である．しかし，既存手法は視覚言語基盤モデルに最適化されておらず，視覚言語基盤モデルに対する説明品質が低い． そこで，本研究では視覚言語基盤モデルに対する説明生成モデルであるAlternative Adapter Modelを提案する． 提案手法は視覚言語基盤モデルに接続するSide Branch Networkおよび，モジュールの出力およびfreezeする層を動的に変更するAlternative Epoch Architectureを導入する． 提案手法を評価するため、CUBデータセットを用いて実験を行った． 実験の結果，提案手法は視覚的説明生成タスクにおける標準的な評価尺度であるmean IoU，Insertion Score，Deletion ScoreおよびID Scoreにおいて既存手法を上回り，適切な視覚的説明の生成に成功することを示した．

In this paper, we focus on the task of visualizing important regions in an image as high-quality visual explanations of the model’s decisions with a clear theoretical background. We introduce a novel calculation method for Layer-wise Relevance Propagation (LRP) specifically tailored to models featuring skip connections such as ResNet. This method’s strength lies in its adaptability, as the backpropagation technique is distinctly defined for each layer, enhancing its extensibility. To validate our method, we conduct an experiment on the CUB-200-2011 dataset. The proposed method successfully generates appropriate explanations and, based on the Insertion-Deletion score, outperforms the baseline methods.

生活支援ロボットによる日常物体の検索・操作タスクにおいて，画像内のテキスト情報 (scene text) に基づく対象物体理解は重要である．しかし，事前に収集された画像群から対象画像を検索するタスクをMLLMのみを用いて解くのは現実的ではない．そこで，本研究ではCrosslingual Visual Prompを用いたMLLMによる画像説明に基づいた，scene textに頑健な画像特徴量を導入する．さらに，モデルの訓練および評価を行うため，屋内外で撮影されたscene textを含む画像と，参照表現を含む多様なクエリで構成されるデータセットを新規に構築した．実験の結果，マルチモーダル検索タスクの標準的な評価尺度において，提案手法はベースライン手法を上回った．

深層学習が幅広い分野に応用されている現代において，深層学習モデルの説明性は重要であり，透明性の高い説明生成が望ましい．透明性の高い説明生成手法として寄与度を逆伝播して説明を生成するLayer-wise Relevance Propagation (LRP) が挙げられるが，本手法はスキップ接続を持たないモデルのみに適用されており，スキップ接続を持つモデルに適用すると保全特性が満たされず，説明の品質も悪い．そこで本論文では，スキップ接続を持つモデルにおける保全特性を満たした寄与度の逆伝播の計算方法を提案し，LRPをスキップ接続を持つモデルに適用できるよう拡張したLRP for ResNetを提案する．CUB-200-2011データセットにおいて評価を行い，提案手法は保全特性を満たしつつ，Insertion ScoreおよびDeletion Scoreにおいて既存手法を上回った．

生活支援ロボットは在宅介護者の不足などの社会問題に対する解決策として期待されている．そこで，本論文ではhuman-in-the-loop設定において，オープンボキャブラリのユーザ指示文から対象物体を検索する learning-to-rank physical objects (LTRPO) タスクを提案し，また本タスクを扱うMultiRankITを提案する．MultiRankItは，参照表現と対象物体領域との関係をモデル化するCrossmodal Noun Phrase Encoderと，対象物体とその周囲画像との関係をモデル化するCrossmodal Region Feature Encoderを導入している．実験結果より，提案手法は mean reciprocal rank と recall@Kにおいてベースライン手法を上回った．

ネイルサロンの世界市場規模は110億ドルであり、ユーザの希望に沿ったネイルデザインを施術可能なネイリストの検索はニーズが大きい。特に、ネイリストに依頼する場合と同様の表現でネイルデザイン画像を検索できれば便利である。しかし、ネイルデザインの依頼文は、色や模様、モチーフ、印象など複数の要望を含むことから複雑であり、これらの言語表現のモデル化は現状不十分である。そこで、本研究ではマルチモーダル大規模言語モデルに基づくマルチモーダル検索手法を拡張し、ネイルデザインの依頼文をもとにネイルデザイン画像を検索するNaiLIAを提案する。また、NaiLIAを学習および評価するため、1万枚以上の多様なネイルデザイン画像、および各画像に対してアノテーションされた依頼文から構成されるデータセットを構築した。実験の結果、標準的な画像検索指標において、NaiLIAは既存のベースライン手法を上回った。

筋萎縮性側索硬化症や筋ジストロフィーにおける発話障害は，患者とのコミュニケーションを大きく制限し，日常生活や社会参加に深刻な影響を及ぼす．頭蓋内脳波ベースのデコーディング技術によるコミュニケーション支援は，発話障害のある患者の日々のコミュニケーションを助け，彼らの社会的なつながりと生活の質を支えるために極めて重要である．本研究では，運動想起時における頭蓋内脳波の分類において，電極間の特徴量抽出に特化した畳み込み層およびretentive networkを組み込んだブランチ構造を組み合わせた新しいアーキテクチャを提案し，提案手法が分類精度において全てのベースライン手法を上回る結果を得た．