3次元情報処理

• LiDARと全方位カメラを用いた高精度3次元テクスチャモデルの生成
• 画像を用いた屋内外３次元モデリング
• サーマルカメラによる3Dモデルへの温度情報の付加
• 深層学習を用いたマルチスペクトル衛星画像から可視光画像への変換
• 深層学習を応用したフロアマップと360度動画のアライメント
• 看板画像を用いたwebサイトと実環境のマッチング

3次元情報処理チームでは，「環境を理解する人工知能」の研究に取り組んでいます．センサの計測情報やインターネット上の大量のデータからコンピュータに環境を自動で認識させ，空間マップの自動更新・シーンコンテクストの理解などに取り組んでいます．画像処理・ディープラーニングなどの技術を用いて，3次元モデリングや変化検出・シーン認識・傾向分析などを行っています．

LiDARと全方位カメラを用いた高精度3次元テクスチャモデルの生成

レーザーセンサであるLiDAR（Light Detection and Ranging）と全方位カメラを用いて，地下街などの屋内空間の高精度なテクスチャモデルを生成します。このために，SLAM・キャリブレーション・セグメンテーション手法に関する研究を行っています．

(上: LiDARによる点群，中: 全方位カメラ画像，下: 全方位カメラの色情報を付加した点群)

画像を用いた屋内外３次元モデリング

モバイル全天球カメラを用いて，屋内外の3次元モデルを構築します．また，ナビゲーショシステムの開発や，そのためのマップの標準化にも取り組んでいます．

名古屋大学IB電子情報館の3次元モデルを以下から閲覧できます（約70MB）．

IB館3Dモデル

操作方法

• ドラッグで視点を変更できます．
• 各カメラをクリックすると，その視点からの全天球画像が表示されます(左上のflyボタンで戻る)．
• 左上のメニューから点群の大きさなどを変更できます．

サーマルカメラによる3Dモデルへの温度情報の付加

可視光カメラと温度カメラを用いてシーンの3次元温度マップを構築する手法に関する研究に取り組んでいます．

Structure from Motion (SfM) および Multi-view Stereo (MVS)により復元したシーンの3次元メッシュモデルに温度情報を投影することで3次元温度マップを構築します．

温度画像から得られる情報を用いて3次元メッシュモデルのスケールを推定することにより，単眼の可視光カメラと温度カメラのみによる温度マップの構築を目指しています．

深層学習を用いたマルチスペクトル衛星画像から可視光画像への変換

我々は衛星画像を用いた雲の有無によらない安定的な地上観測システムの構築を目指しています．

一般的に衛星画像を用いた地上観測には可視光画像が用いられます．しかし，可視光線は雲を透過できず，可視光画像には雲が撮影されてしまうため，可視光衛星画像を用いた地上観測は雲の有無に大きく依存します．

そこで我々は，可視光線より波長が長く，雲を透過しうる光によって取得される画像（近赤外線（NIR）画像，遠赤外線（FIR）画像，SAR（Synthetic aperture radar）画像）から可視光画像をを推定することで，雲の有無に依存せず，人間が視認しやすい可視光画像による地上観測システムを構築します．

Paper: https://arxiv.org/abs/1710.04835

深層学習を応用したフロアマップと360度動画のアライメント

全天球カメラで録画した360度動画と，建物のフロアマップの位置対応関係をニューラルネットで学習/推定します．複数の計測データを接続することで，大学や駅などの大規模な建物のモデルを構築します．

左図は23フロアマップ/62パノラマ動画から大学のモデルを構築した結果です．このモデルの応用例として建物内のストリートビューのような可視化が実現できます．

看板画像を用いたwebサイトと実環境のマッチング

店舗のWebサイトにあるロゴ等の画像を用いて，実際に撮影された店舗画像とのマッチングや，ナビゲーションの際に有用なランドマークの自動認識を目指しています．

看板の認識精度を向上させるために，再帰的アノテーションによる看板画像の認識精度向上に関する研究を行なっています．