研究 (Research)
最終更新日：
MR w/ AI：深層学習を使用したセグメンテーションを伴うMR景観ビジュアリゼーション法 (MR w/ AI: Assessing future landscapes using enhanced mixed reality with segmentation by deep learning)
准教授 福田 知弘（工学研究科 環境エネルギー工学専攻） FUKUDA Tomohiro(Graduate School of Engineering)
研究の概要
深層学習を用いたセグメンテーションモデルと複合現実（MR）を統合することで、現実世界の物体を検出しながら動的なオクルージョン処理と景観指標の推定を行える機能を具備し、整備後の将来景観を現場でより正確に可視化できるMRシステムを開発しました。MRモバイル端末と、リアルタイム型セグメンテーションを処理するPCはネットワーク経由で通信します。大阪大学吹田キャンパス内の屋外空間にて、動的オクルージョンと緑視率推定を伴う景観シミュレーションを実施しました。
MRの課題の一つに、3Dモデルと現実世界の実物体との前後関係が不正確となるオクルージョン問題があります。建造物の将来シミュレーションは大規模な屋外空間を対象としており、MR端末と3Dモデルの前景となる実物体とが大きく離れたり、実物体が移動する場合があり、既存のオクルージョン処理法では対応できませんでした。
また、検討過程では、証拠（エビデンス）に基づく説明が重要になっています。そこで本研究では、セグメンテーションモデルとMRシステムを統合し、現状景観と設計内容を含む将来景観の緑視率推定を実現しました。
研究の背景と結果
都市・建築・土木分野のプロジェクトは、自然環境との調和を図り、人々の生活環境を守ることを目的として推進される必要があります。計画・設計段階では、意思決定者やステークホルダーは、環境影響評価を行う際の不確実性をできる限り回避するために、建設中や建設後の景観イメージを共有し、評価します。まだ存在していない将来景観を可視化する標準的な方法が不足していることから、現実のシーンにバーチャルコンテンツを重ね合わせるMR（複合現実）が注目されています。
MRの課題の一つに、本来手前に表示されるべき実物体がバーチャルな3Dモデルによって隠されてしまう「オクルージョン」があります。MRによる景観の可視化では、MR仮想カメラと3Dモデルの手前にある実物体との距離は、変化したり大きくなったりするため、既存のオクルージョン処理法では対応が困難でした。また、景観設計プロセスでは、データ（エビデンス）に基づいた検討が重要になっています。景観評価においては、現状環境を認識できる深層学習によるセグメンテーションを応用した景観指標推定が盛んに研究されています。
本研究では、深層学習によるセグメンテーションをMRシステムに統合し、現状および設計された景観評価のための動的なオクルージョン処理と景観指標の推定を可能にしました。本システムは、モバイル端末上にゲームエンジンで構築したMRクライアントを高性能パーソナルコンピュータ上のリアルタイムセグメンテーションにインターネットを介して接続することで、リアルタイム動画通信を実現しています。開発したシステムの適用性について、クライアント-サーバ間の通信遅延やオクルージョンの精度検証、大阪大学吹田キャンパス内の屋外空間での景観シミュレーションにより評価しました。
研究の意義と将来展望
深層学習を用いて、モバイル複合現実感の性能を向上させており、Society 5.0に向けて建設DXを中心として、産業分野、まちづくり分野での応用が期待されます。今後は、より多くの利害関係者が自らのモバイル端末やドローンのカメラで自由な視点場からアクセス可能なMR w/ AIシステムとして参ります。
担当研究者
准教授 福田 知弘（工学研究科 環境エネルギー工学専攻）
キーワード
複合現実／深層学習／景観指標／環境デザイン／システム化
応用分野
スマートシティ／都市・建築・土木／DX
参考URL
https://resou.osaka-u.ac.jp/ja/research/2021/20210324_1
http://www.archifuture-web.jp/magazine/622.html