スマホカメラにおけるフラッシュ/フラッシュなし画像を用いた高精細な形状復元 (Shape and albedo recovery by your phone using stereoscopic flash and no-flash photography)

English Information

研究の概要

現存する膨大な数の文化財のデジタル化、すなわち形状やアルベドを復元することは困難である。また、安価な既製の3D センサーでは、満足のいく結果が得られないことが多い。 私たちは、ステレオカメラとフラッシュライトという、市販のスマートフォンに搭載されている典型的なカメラセットアップのみで、高忠実度の形状およびアルベド推定手法を提案します。
本手法では、ステレオカメラでフラッシュなし画像のペアから大まかな形状を推定し、さらにフラッシュ画像を撮影して、フラッシュ/ フラッシュなし画像形成モデルに基づいて形状を精緻化します。本手法の有効性を、カメラとフラッシュライトの構成が異なるスマートフォンを用いて、屋内外の実環境における物体で検証しました。その結果、フラッシュ撮影とフラッシュなし撮影を併用することで、スマートフォンの形状やアルベドを忠実に復元できることを確認しました。

研究の背景と結果

文化財をデジタルアーカイブし、分析する上で、3次元形状や表面反射率を記録することは非常に重要です。文化財のデジタルアーカイブの重要性は一般的に認識されていますが、多くの博物館や図書館では、高価な専用機器を使用した複雑なデジタル化作業のため、まだ広く普及していないのが現状です。誰もがデジタルアーカイブに参加できるようにするためには、操作が簡単で、汎用的な装置で済む方法が切望されています。
私たちの手法は、ステレオカメラ1台とフラッシュライト1つで可能です。現在、多くのスマートフォンがこの撮影装置を搭載しており、本手法がスマートフォンにも当然適用可能であることを実証しています。このセットアップを用いれば、暗室以外（例えば、オフィスの一室）でも撮影が可能であり、カメラを動かすことなく2回の撮影で一瞬にして撮影を完了することができます。このような特性により、デジタル化作業が容易になります。合成画像による定量的評価により、高忠実度の形状・アルベド復元パイプラインの正当性を確認。また、スマートフォンで撮影した画像を用いた定性的な評価により、本手法の実環境における有効性を実証しています。

研究の意義と将来展望

本手法を用いれば、人々は自分のスマートフォンをすぐに高忠実度の3D スキャナーに変えることができ、文化遺産のデジタル化を促進することができる。私たちは、この方法が、世界の文化遺産のデジタル化を加速させる、クラウドソーシングによるデジタルアーカイブのシナリオに有用であると確信しています。

担当研究者

特任助教　曹 旭、教授　松下 康之（情報科学研究科　マルチメディア工学専攻）

キーワード

形状復元／ステレオカメラ／フラッシュ撮影

応用分野

文化財のデジタル化／メタバース

※本内容は大阪大学共創機構 研究シーズ集2023（未来社会共創を目指す）より抜粋したものです。