研究
最終更新日：
照度差ステレオ法による高精細な三次元形状復元 (High-fidelity 3D reconstruction via photometric stereo )
教授 松下 康之（情報科学研究科 マルチメディア工学専攻） MATSUSHITA Yasuyuki (Graduate School of Information Science and Technology)
研究の概要
本研究では、実世界物体の高精細な三次元デジタル化を目的に、照度差ステレオ法を用いた三次元形状及び質感の復元技術の確立に取り組んでいる。本研究ではデータ駆動型アプローチによる照度差ステレオ法、及び多波長光源と多波長センサを用いたワンショット照度差ステレオ法の開発に取り組んでいる。
これらの手法は、実世界三次元物体の定量化に応用でき、形状や質感のデジタル再現や保存に応用可能である。
研究の背景と結果
画像中の陰影パターンを利用した三次元形状推定の方法に照度差ステレオと呼ばれる技術がある。照度差ステレオは、対象物体を同一視点から光源方向を代えながら撮影した複数枚の画像から、対象シーン中の各場所の明るさの変化に着目して、各場所の面の傾きを推定することができる。
ここでいう面の傾きとは、着目する画像上の点に対応する物体上の面がカメラに対してどの方向を向いているかを示すものであり、三次元空間で方向を表す法線ベクトルとして表現される。これが画像上の各ピクセルにおいて計算できるので、これらをまとめて法線マップと呼ぶ。法線マップを積分すると深度マップとなり、逆に深度マップの勾配が法線マップに相当する。このように、法線マップは三次元形状に関する情報を多く含んでいる。また、照度差ステレオはピクセルごとに形状を推定できるため、高精細な三次元形状推定が可能となる。
これまでの照度差ステレオ法は、光沢や艶のない拡散反射面を対象としてきたが、現実世界の物体は多様な反射率で表される質感を持っている（図1）。このような多様な反射率分布を持つ物体の三次元形状推定は難しい問題として知られていたが、本研究により反射率に関する事前知識を利用したデータ駆動型のアプローチを用いることで、高精度な三次元形状推定が可能となることが明らかになってきた。
図2に示すとおり、異なる光源下で撮影された入力画像列から、高精細な三次元形状と質感の復元が可能となってきている。また、多波長光源と多波長センサを用いた波長における多重化計測により、ワンショットで三次元形状復元可能な照度差ステレオ法にも取り組んでおり、動的な物体を対象とした三次元形状復元手法を開発している（図3）。
研究の意義と将来展望
我々が実世界の物体を「見る」とき、実際に我々の目が感じているのは物体から目へ向かって飛び込んでくる光である。その光は、太陽や電灯などの光源から発せられた光の一部が物体表面上で反射したり、あるいは透過したりなど、物体とのインタラクションを経て、その一部が観察される。
したがって、実世界物体の三次元形状や表面の反射率、色などを正しくデジタル化することで、任意の光源下で実際の物体と同じ見た目を持つデジタル複製を作成できる。作成したデジタル複製は文化財のデジタル保存や、仮想空間上でのコンテンツとして利用できる。また、本研究によるデジタル複製技術は実世界物体の定量化に相当し、製品の外観検査等の産業応用も期待される。
担当研究者
教授 松下 康之（情報科学研究科 マルチメディア工学専攻）
キーワード
コンピュータビジョン／三次元形状復元／照度差ステレオ
応用分野
三次元計測／文化財のデジタル保存／外観検査