研究
最終更新日：
深層照度差ステレオによる高精細な3次元形状復元
助教 山藤 浩明、教授 松下 康之（情報科学研究科 マルチメディア工学専攻）
研究の概要
画像から物体の3次元形状を推定する技術はコンピュータビジョンの分野において古くから研究されてきました。とくに高精細な3次元形状推定技術は、文化財を電子データとして保存するデジタルアーカイブや、実世界を仮想空間に再現することを目指すバーチャルリアリティなどのアプリケーションに有用であり、近年とくに注目されています。本研究が注目する照度差ステレオ法は、同一視点から光源環境を変化させながら撮影した複数枚の画像を入力として、物体表面で観測される陰影情報を用いて形状を推定する技術であり、とくに高精細な形状を推定することを得意とします。本研究では、複雑な反射特性を持つ材質の物体を扱うことができない、という既存手法の弱点を、深層学習に基づくデータ駆動型のアプローチによって解決する手法を世界で初めて提案しました。結果として、金属や陶器など様々な材質の物体に対して、高精細な形状を高精度に推定可能な技術を実現しました。
研究の背景と結果
コンピュータビジョンとは、人間の眼にあたる機能をコンピュータに実現する学問です。なかでも、画像から物体の3次元形状を推定する技術は、基礎的な要素技術の1つとして長く研究されてきました。とくに照度差ステレオ法は、同一視点から光源環境を変化させながら撮影した複数枚の画像を入力として、物体表面で観測される陰影情報を用いて形状を推定する技術であり、観測画像のピクセル単位で陰影情報が獲得できるため、高精細な形状を推定できるという利点があります。
とくにこのような高精細な3次元形状復元技術は、文化財を電子データとして保存するデジタルアーカイブや、実世界を仮想空間に再現することを目指すバーチャルリアリティ、ロボティクスなどにおける空間認識などのアプリケーションに有用であり、近年とくに注目されています。
従来の照度差ステレオ法では、物体表面における反射現象を近似的にモデル化して推定を行ってきたわけですが、実世界の幅広い材質の反射特性をモデル化することは難しく、推定精度低下の原因となってきました。そこで本研究では深層学習の枠組みを導入し、学習データから反射特性をモデル化する、データ駆動型のアプローチを世界に先駆けて提案しました。結果として、様々な反射特性を持つ実環境の物体に対して高精度に推定可能な手法を実現しました。ベンチマーク評価などにおいても良好な結果を確認しており、データ駆動型のこの新たなアプローチは、現在の照度差ステレオ法の主流となっています。
研究の意義と将来展望
本研究では、深層学習に基づくデータ駆動型の新たなアプローチによって、実世界の様々な材質の物体に対して高精度に推定可能な3次元復元手法を実現し、様々な実アプリケーションへの応用を可能としました。将来的に、誰でも手軽に実世界の物体を3次元データ化し活用できる社会を実現するために、撮影システムの簡素化と推定アルゴリズムのさらなる高精度化に取り組んでまいりたいと思います。
担当研究者
助教 山藤 浩明、教授 松下 康之（情報科学研究科 マルチメディア工学専攻）
キーワード
コンピュータビジョン／物理ベースビジョン／コンピュテーショナルフォトグラフィ／3次元復元／照度差ステレオ
応用分野
デジタルアーカイブ／バーチャルリアリティ／メタバース
参考URL
http://cvl.ist.osaka-u.ac.jp
https://github.com/hiroaki-santo/deep-photometric-stereo-network
https://github.com/hiroaki-santo/deep-near-light-photometric-stereo