Published papers

Ball trajectory is an important performance indicator in ball game. However, Measuring 3D trajectories is often unusable because synchronized cameras and control points inside the playing field are generally required. A method that reconstructs 3D trajectory of ball with unsynchronized cameras is proposed in this paper. Proposed method consists of ball detection, camera calibration, and trajectory reconstruction. At first, ball candidates are detected based on the appearance. For the camera calibration, highly probable balls are extracted from the candidates based on the motion. Imaged ball trajectories are then reconstructed. Next, fundamental matrix is computed from the corresponding points, which are estimated with the ball trajectories, and roughly estimated temporal offset, which is estimated manually. The estimated fundamental matrix is assumed to be inaccurate due to the inaccuracy of the temporal offset. The key feature of this method is to accurately estimate temporal offset and fundamental matrix by optimizing them iteratively based on the error of fundamental matrix. After the calibration, balls are extracted robustly with geometrical and temporal relationship between cameras. A ball trajectory is finally reconstructed as connected trajectories which separated at collisions. It is experimentally demonstrated that the proposed method can calibrate cameras precisely and reconstruct accurate ball trajectories.

リライティングとは，実画像から，それを撮影した照明環境を別の正面環境で撮影したかのような画像を合成する処理のことであり，その実現には，対象物体の3次元形状（法線分布），反射特性，光源環境が必要である．本論文では，RGB-Dカメラを用いて実時間リライティングを実現可能なシステムを提案する．本システムでは，正確な物体領域抽出のためにノイズを含む距離画像の修正を行う．領域抽出を行った後，対象物体の法線分布を推定する．光源環境は，観測された鏡面球から取得し，任意の環境に対してリライティングを行う．また，実時間処理を実現するために，GPUを用いた並列処理を行う．我々の実装では，約10fpsの速度でリライティングが可能である．提案システムの有効性を確認するために行った実験では，対象物体に対して事前に撮影した動的光源環境へリライティングを行い，提案システムの性能を評価した．

In this paper, we present a method that combines the speed and accuracy of tracking with the scalability of image retrieval. At the heart of our approach is a bi-layer clustering process that allows our system to index and retrieve objects based on tracks of features, thereby effectively summarizing the information available on multiple video frames. Dynamic learning of new viewpoints as the camera moves naturally yields the kind of robustness and reliability expected from an augmented reality engine. As a result, our system is able to track in real-time multiple objects, recognized with low delay from a database of more than 300 entries. We released the source code of our system in a package called Polyora.

エピポーラ幾何により３視点画像から中間視点画像を内挿により生成する手法を提案し，実験結果を示した．

光源を回転させて撮影された画像列から陰影の変化を利用して3次元形状の復元を行う手法を利用した皮膚形状計測法を提案し，実験により有効性を検証した．

回転テーブル上の物体を撮影した画像列から，光源が相対的に回転していることを利用した物体の形状と物体色を推定する手法を提案し、実験により有効性を検証した。

移動するハンディカメラを用いて撮影された画像列から構築されるEPIを補正し，室内環境の3次元形状復元を行う手法を提案し，有効性を検証した．

物体を回転テーブルの上に載せて撮影した画像列から，陰影の変化を解析し，さらに形状のシルエットを利用することにより非凸物体の3次元形状復元を行う手法を提案し，実験により有効性を検証した．

エピポーラ幾何を利用して，３視点ステレオ画像から3次元復元を行うための新しいＰＶＳという空間を利用した手法を提案し，有効性を検証した．

サッカーシーンを対象として撮影された多視点画像から，サッカーを鑑賞するための最適な視点を自動的に選択するために，サッカーのボールを自動追跡する手法を提案し，実際のサッカーの試合を撮影した映像を利用して有効性を検証した．