Published papers

In this paper, we address the fetching task from ambiguous instructions. A typical fetching task consists of picking up a target object specified by ambiguous instructions. We specifically propose a multimodal target-source classifier model (MTCM) that grounds the instructions in the scene. More explicitly, MCTM can predict the likelihood of a target object in addition to the source of this target using linguistic and visual features. Our approach improves the accuracy of the previous state-of-the-art method for target object prediction in fetching task.

本論文では，ユーザとロボットが対話を行うことにより，ユーザ発話に対する発話理解確信度を学習する手法を提案する．発話理解確信度は，音声・画像・動作・文法を統合した確率モデルにより表現され，実環境でユーザの教示に基づく統計的学習により獲得される．本論文では，物体操作タスクを行うロボットに提案手法を実装し，発話理解確信度の効率的な学習のために最適な発話を行わせた実験について報告する．

It is convenient for users to teach novel objects to a domestic service robot with a simple procedure. In this paper, we propose a method for learning the images and names of these objects shown by the users. The object images are segmented out from cluttered scenes by using motion attention. Phoneme recognition and voice conversion are used for the speech recognition and synthesis of the object names that are out of vocabulary. In the experiments conducted with 120 everyday objects, we have obtained an accuracy of 91% for object recognition and an accuracy of 82% for word recognition. Furthermore, we have implemented the proposed method on a physical robot, DiGORO, and evaluated its performance by using RoboCup@Home's “Supermarket” task. The results have shown that DiGORO has outperformed the highest score obtained in the RoboCup@Home 2009 competition.

生活環境で人間を支援するロボットへの期待が高まっている．ロボカップ＠ホームなど生活環境で日用品を扱うロボットが見られるようになってきたが，物体操作はヒューリスティックな手法により実現されている．本論文では，ユーザが日用品をハンドリングする軌道から，動作の確率モデルを統計学習する手法を提案する．本手法と音声処理を統合することにより，物体操作の学習・認識・生成を行う対話ロボットについて報告する．

本稿では，ユーザがシステムから情報提示・推薦を受けながら候補を選択する相談型の音声対話システムの枠組みについて述べる．嗜好に合った候補を選択する際には，多くの要因を考慮する必要がある．システムを利用するユーザは，そのような要因の全てを必ずしも把握しているわけではないため，システムはユーザに対して情報推薦を行い，知識のギャップを埋める必要がある．本研究では，このように複数の候補の中からユーザに適した候補を選択する相談型対話のモデルを提案する．京都観光案内タスクにおいて，観光スポットを決定する対話システムの実装を行い，被験者実験を行った．さらに，被験者実験で得られた対話データから，ユーザのシミュレータを作成し，自然政策勾配法を用いた強化学習を用いて対話戦略の最適化を行った．This paper addresses a spoken dialogue framework that helps users make decisions. Various decision criteria are involved in selecting from a given set of alternatives. Users often do not have a definite goal or criteria for selection, and thus the system has to bridge the knowledge gap and also recommend an appropriate alternative together with the reason for the recommendation through a dialogue. In this paper, we present a model for such consulting dialogue. In order to evaluate the model, we implement a trial sightseeing guidance system and conduct a user experiment. Then, we optimize the dialogue strategy through reinforcement learning with a natural policy gradient approach using a user simulator trained from the collected dialogue data.

This paper proposes a method that automatically designs the sensory morphology of a mobile robot. The proposed method employs two types of adaptations -ontogenetic and phylogenetic- to optimize the sensory morphology of the robot. In ontogenetic adaptation, reinforcement learning searches for the optimal policy which is highly dependent on the sensory morphology. In phylogenetic adaptation, a genetic algorithm is used to select morphologies with which the robot can learn tasks faster. Our proposed method is applied to the design of the sensory morphology of a line-following robot. We carried out simulation experiments to compare the design solution with a hand-coded robot. The results of the experiments revealed that our robot outperforms a hand-coded robot in terms of the line-following accuracy and learning speed, although our robot has fewer sensors than the hand-coded one. We also manufactured a physical robot using the design solution. The experimental results revealed that this physical robot uses its morphology effectively and outperforms the hand-coded robot.

本論では，情報通信研究機構で開発，公開しているスマートフォン用音声対話システムAssisTra，観光スポット推薦システム京のおすすめについて述べる．AssisTraの公開に先立ちシステムの実稼働性，有効性，ユーザビリティ等の検証，問題点の洗い出し，ユーザの行動データ収集を目的として延べ100名を対象に実験を行った．その概要と結果についても報告する．さらに，京のおすすめについては，システム構築のために4000人のアンケートを実施した．その結果を基に，ユーザが問いかけやすい観点を見つけている．代表的な観点として「気分」「体験」「雰囲気」「特徴」に着目することにより，観光スポットを推薦するシステムである．