HLAB 2020-2021

本研究室では、拡張現実感(Augmented Reality)を建築分野へ応用することを目的として、屋内外で利用できるシステムの開発を行っています。下のリンクから各章へとジャンプすることができます。

1. はじめに
2. 研究概要
3. インテリアシミュレータ
4. 模型とARを併用した設計検討ツール
5. 屋外空間向け景観シミュレーションシステム
6. 屋外空間向け拡張現実感景観シミュレータの没入感向上手法
 6.1. 写真からの三次元形状取得とそのサーフェスモデル化について
 6.2. 仮想物の位置合わせの安定化について
 6.3. 実地試験

1.はじめに

ここをご覧になっている方の中にも、ARという言葉を目にしたことがある方が多くいらっしゃるかと思います。最近頻繁に目にするこのARとは、Augmented Realityの頭文字を取った略語で、日本語では拡張現実感などと訳され、一般的には視覚を対象とした、コンピュータで加工処理したCGをカメラ映像内に重畳する技術のことを指します。

図1 拡張現実感の簡単な例

そもそもまずARを利用することでどんなことができるのか、というのを知って頂くために図1をご覧ください。先にARはコンピュータで加工処理をしたCGをカメラ映像内に重畳する、と堅苦しく書きましたが、要するに、この画像のようにCGをその場にあった形に合成する技術といえます。この画像では、CGの立方体がまるで本当に机の上に置いてあるかのような合成ができているのが確認できるかと思います。CGと画像内のパースを合わせて…などといちいち考えずに、カメラで動画像を撮影するだけでリアルな（もしくは、その場に応じた）合成シーンを得ることができるのがARなのです。

図2 拡張現実感を利用した復元シミュレーションイメージ

このようなAR技術の性質を利用して、様々な分野でナビゲーションや教示システムなどへの応用に向けた取り組みが活発に行われています。建築分野においては、例えば図2のように、歴史的建造物の遺構上への復元シミュレーションや、他にも設計中の建築物の実地での景観シミュレーションなどが可能になるでしょう。このようにAR技術は建築分野においても非常に利用価値が高いことが想像できますが、しかしながらまだまだAR技術を建築分野へ利用する試みは少ないというのが現状です。これはAR技術を専門分野における諸問題に利用するには、未だいくつもの課題を解決する必要があるからです。

そこで、本研究室では建築分野でAR技術を応用することを目的とした研究を、研究室発足時から行ってきています。このページでは、これらの研究について説明していきます。

2.研究概要

ARを実現するためには、一般に幾何学的整合性・光学的整合性・時間的整合性の3つの課題の解決が必要だと言われています。

• 幾何学的整合性
  

  現実空間内の意図した位置に正確にCGを描画することにより実現される整合性

• 光学的整合性
  

  現実空間と仮想空間の光環境を一致させ陰影などを表現することにより実現される整合性

• 時間的整合性
  

  AR表現を実時間で処理し現実空間と仮想空間の時間のずれを解消することで実現される整合性

さて、一口に建築分野でAR技術を応用する、といってもデザイン検討・教示システム・ナビゲーション等々、利用方法はいくつも考えられます。本研究室では、デザイン検討への利用に主眼をおいた研究を行ってきました。具体的には、実寸大サイズの仮想物（CG）を扱うことを前提としたインテリアシミュレータと屋外空間向け景観シミュレーションシステム、建築設計の意思決定を手助けする卓上規模の模型とARを併用した設計検討ツールを開発してきました。先述した3つの課題は、用途・利用環境によりその実現方法が大きく異なるため、実験を通して適した手法を模索しながらこれらの課題解決に取り組みました。以下でそれぞれのシステムについて詳説します。

3.ARインテリアシミュレータ(Augmented Reality interior simulator)

インテリアショップで買い物をしているときに、「この家具いいな、けどウチのインテリアと合うかな？」と考えたこと、ありませんか？店舗で見ても、家でカタログを広げてみてもなかなか部屋においたイメージがわかない、そんな時にとても便利なのがこのARを利用したインテリアシミュレータです。

図3 拡張現実感によるインテリアの重畳例

幾何学的整合性を実現するためには、現実空間内のカメラの位置と姿勢（方位角や仰俯角など）を得る必要があります。本研究室で開発したインテリアシミュレータでは、これを実現するために、マーカトラッキング(Marker Tracking)と呼ばれる技術を利用しています。これは図3のようなマーカと称される目印をカメラ動画像内に写し込み、画像解析することで、カメラとマーカとの相対位置・姿勢関係を算出する技術です。例えば100mm四方の正方形のマーカが画像内でどれだけのピクセルを占めていて、どのように歪んでいるか、といった具合に、形状が既知なマーカがカメラ動画像内にどのように写り込んでいるかを解析することで、カメラの位置・姿勢を算出することができます。

図4 CGの陰影表現による光学的整合性実現の試み（左図：通常のAR、中央図：床面の設定、右図：床面へのカメラ画像テクスチャの適用）

図5 CGの陰影表現による光学的整合性表現例(左図：テーブルがCG、右図：椅子がCG)

また、床面に落とす影やCGの陰影を表現することで光学的整合性の実現にも取り組みました。ここでは図4に示す手順のように、影描画用の床面ポリゴンを用意し、そこにシャドウマッピング法により影を書き込んだカメラ画像をテクスチャとして貼り付けることで図5のように床面に落ちる影を表現しました。

なお、図5においてマーカが写っていないことにお気づきでしょうか？これは現状では静止画像でのARインテリアシミュレータに限定した機能なのですが、マーカ有・無の2枚の画像を用意し、マーカ有の画像を解析し、結果をマーカ無の画像に利用することで、よりリアリティのある合成シーンが得られるようにしました。ちなみに簡単な実装なのですが、動画でもこちらのようにマーカが隠れた合成シーンが得られるシステムも試作してみました。

また、本研究室では、これらの研究成果を応用してwebブラウザ上でインテリアシミュレーションが可能なアプリケーションを開発しました。マーカを印刷してカメラでお部屋を撮影するだけで簡単にインテリアシミュレーションすることができます。詳しい使い方の説明などはこちらをご覧下さい。有名デザイナーの名作チェアを100脚ほど用意してありますので、自分のお部屋に素敵なイスをおいて楽しんでみてください。※現在はまだ影の表現に対応しておらず発展途中ですが、近日中に更新予定ですのでご期待ください。

図6 webインテリアシミュレータ

4.模型とARを併用した設計検討ツール(Tool for architectural design with Augmented Reality and scale models)

建築・都市計画において景観シミュレーションは合意形成や意思決定に効果的な方法であり、従来では仮想現実感(Virtual Reality)や模型などを利用して行われています。VRによる表現では、作成した3Dモデルを利用してパース画像からウォークスルームービーまで手軽に取得することができ、設計変更ヘも即時に対応できるなど、柔軟性のある表現が可能です。模型による表現は、設計初期のボリューム検討によく用いられるなど、スケール感覚の表現がしやすいという長所があります。しかしながら、VRによる表現は全てをCGで表現するためスケール感覚の伝達には適さず、模型による表現は設計変更などへの柔軟性に乏しいという問題がありました。本研究では、設計物をCGとして、その周辺建造物を模型としてARで表現すればVRと模型による表現の長所を併せ持つ表現になり得るのではないかと考え、システムを開発しました。

図7 模型とARを併用した設計検討例（右図：中央のビル・人・車がCG）

本システムにおいても、マーカトラッキングを利用することでカメラ位置・姿勢を算出しARを実現することとしました。ただし、ここではマルチマーカトラッキングという、カメラ位置・姿勢算出の安定性と、視点位置の自由度を向上した手法を利用しています。これを利用することで、図7のように模型周囲に8個のマーカを配置し予めこれらの位置関係を入力しておくことで、カメラ画像内に1個以上のマーカが写っていれば継続してカメラ位置・姿勢を算出することができます。そのため、模型の周囲をぐるりと歩き回りながら検討するような場合でも、AR表現が途切れることがありません。

また、本システムではステレオカメラによる立体視表現と、周囲の建造物とCGとの前後関係(Occlusion)の表現と、周囲の建造物に仮想物が落とす影・周囲の建造物から仮想物に落ちる影・仮想物が自身に落とす影の表現を実現しました。前後関係と影を同時に表現するため、プロジェクションマッピングという手法を用いています。これらの詳細な手順を図8で説明します。

図8 左図：ステレオカメラによるマーカトラッキング　右図：デプステクスチャの作成

図9 左図：床面ポリゴンの生成　右図：プロジェクションマッピング

まず、ステレオカメラの両眼から得た画像それぞれでマーカトラッキングすることにより、両眼視差のある重畳位置を得ます(図8左図)。次に、設計案の3Dモデルを描画し、任意の位置に設定した光源から見た深度値を影計算用テクスチャ(デプステクスチャ)に格納します(図8右図)。（図にはありませんが、設計案に周囲の建造物からの影を落とすため、別途、周囲の建造物を描画してデプステクスチャを計算します。）そしてインテリアシミュレータと同様に、マーカ平面に影描画用のポリゴンを描画します(図9左図)。最後にマーカ平面・周囲の建造物の3Dモデルに影を描画したカメラ映像をプロジェクションマッピングし(図9右図)、設計案3Dモデルに影を描画したテクスチャをマッピングすることで図10、11のような合成シーンを得ることができます。

図10 模型とARを併用した設計検討例２

図11 模型とARを併用した設計検討例(立体視：交差法)

また、一般的なARシステムでは予め作成した3Dモデルを重畳することしかできず、動的にモデルを変更することができませんが、設計検討において実用性を考えれば、重畳シーンを見ながらモデルが操作できる必要があります。そこで、4章でこれまでに説明してきたシステムを更に発展させ、CADから重畳モデルを操作できるシステムを開発しました。こちらに動画デモも用意してありますのでぜひご覧になってみて下さい。※本システムについての詳細は今後追記する予定です。

図12 CADからの操作が可能なAR設計検討ツール（配置前）

図13 CADからの操作が可能なAR設計検討ツール（灯籠・樹木の配置後）

この研究について、詳しくは「拡張現実感と模型を用いた建築設計用ツールの開発、日本建築学会技術報告集、第17巻 第37号、pp.1053-1056、2011.10」をご覧ください。

5.屋外空間向け景観シミュレーションシステム(Outdoor Augmented Reality System for landscape simulation)

先にも述べた通り、建築・都市計画における景観シミュレーションでは、従来、VRや模型、フォトモンタージュなどが利用されています。本研究は、ここにARを利用することでリアリティのあるシミュレーションを実現することを目的とし、検討対象となる実地において動的に視点変更ができる景観シミュレーションシステムの開発を試みました。

ここでは、屋外空間の広い範囲でARを実現するために、カメラ位置の取得にRTK-GPS(Real Time Kinematic - Global Positioning System)を、カメラ姿勢の取得に加速度・角速度・磁気センサを複合した姿勢センサ(3DOF inertial measurement unit)を利用しました。RTK-GPSとは、位置推定の高精度化のため移動局と基地局となる2機のGPSを用い、基地局で補正情報を得、無線機器を用いて移動局に送信することで非常に高精度な位置推定を実現するものです。なお、本研究では最小推定誤差20mmと非常に高精度なGPSを用いています。

図14 屋外AR景観シミュレータによる橋梁の景観シミュレーション

本システムを利用することで、図14に示したような景観シミュレーションが可能になります。ARシミュレーションにおいて実寸大のCG表現を可能とすることで、非常にリアリティのある合成シーンが得られていることがご確認いただけるかと思います。動画デモのページではこのシステムによるシミュレーション動画もご覧いただけます。インテリアシミュレータではマーカトラッキングを利用することでARを実現していましたが、マーカトラッキングにはカメラ画像内からマーカ全体が少しでも欠けてしまうと正しい位置にCGを描画することができなくなるという問題もありました。屋外空間での景観シミュレーションでは、時には見上げるような検討シーンも想像されます。そのため、本研究ではGPSと姿勢センサを利用することで、こちらの動画のように、自由にカメラ移動・視線変更を行っても設定した位置に継続してCGを描画し続けることができるシステムを開発しました。

図15 屋外AR景観シミュレータによる橋梁の景観シミュレーション（立体視：交差法）

図14の実験においては、ステレオカメラを用いて図15のような立体視シミュレーションも試行しました。ちなみにこの図は交差法になっていますので、お試しください。立体視がシミュレーションにどのような効果をもたらすのか分かりませんが、いくつかの実験を通して実物のようにスケール感覚が分かりやすくなるのではないかと考えています。これについては今後の研究で検証していきたいと思います。

図16 屋外AR景観シミュレータによる景観検討例（左図：右側の橋梁がCG、中央図・右図：街並みがCG）

図16の右図のように、本システムを利用すれば街並みのように大規模な仮想物を扱うことも可能です。現実空間に重畳された仮想の街並みを歩きまわるという体験はARにより可能となる全く新しい表現といえるでしょう。大規模な都市計画においてもこのようなシミュレーションを行うことで、より計画意図を伝えやすくなり合意形成の手助けとなるのでは、と考えています。実用までにはスマートフォンでの利用などを視野に入れたシステムの小型化や、より高精度な幾何学的整合性の実現など、様々な課題がありますが、今後も継続してこちらの研究に取り組んでいきたいと考えています。

この研究について、詳しくは「大規模空間において実寸大表現が可能な拡張現実感システムの開発、日本建築学会計画系論文集、第76巻 第667号、pp.1753-1759、2011.9」をご覧ください。

6.屋外空間向け拡張現実感景観シミュレータの没入感向上手法

前章の屋外空間向けシステムでは、現実空間が仮想物に与える影響の表現（前後関係によるオクルージョンや、キャストシャドウ）は行っていませんでしたが、よりリアリティのある景観シミュレーションを実現するためには、これが表現されていることが望ましいといえます。本研究では、屋外空間での景観シミュレーションにおいて、現実の建造物が仮想物を隠蔽するシーンなどを実現することを目的として写真からの三次元形状取得や、仮想物の位置合わせ精度の向上に取り組みました。

6.1.写真からの三次元形状取得とそのサーフェスモデル化について

現実空間の建造物が仮想物に与える影響を表現するためには、建造物の三次元形状を取得する必要があります。レーザーレンジファインダなどの機材を利用すればある程度正確に三次元形状を取得することができますが、これらの機材は非常に高価であることや、機材の重さ・大きさから手軽な取り扱いが可能であるとは言い難いことが問題点として挙げられます。そこで本研究では、オープンソースのライブラリをカスタマイズ・パッケージングしたRunSFM（詳しくはこちらのサイトをご覧ください）というプログラム群を用いて、写真群から三次元形状を得ることとしました。これを利用することで、例えば図17のような写真群から図18のようなポイントクラウドとして建造物の三次元形状を得ることができます。

図17 三次元形状取得に利用した写真群

図18 得られたポイントクラウドデータ

さて、得られるデータはポイントクラウドデータなので、オクルージョン表現などに利用するためにはサーフェスモデルに変換する必要があります。ポイントクラウドのサーフェスモデル化には、ドロネー三角形分割法やマーチングキューブ法など様々な手法が存在しますが、これらを比較検証した結果、本研究ではアルファシェイプ法が最適であると判断し、これを利用することとしました。アルファシェイプ法では、パラメータを変更することで、穴あきの少ない簡易なサーフェスモデルや、ポイントクラウドの詳細を保った精密なサーフェスモデルを得ることが可能です。先ほどのポイントクラウドをパラメータを変更しつつアルファシェイプ法によりサーフェスモデル化すると図19のようになります。

図19 パラメータを段階的に変更したサーフェスモデル例

また、オクルージョン／キャストシャドウ表現に利用するサーフェスモデルは、ARの合成シーンには直接は表示されず、その輪郭が正確に残ってさえいれば、ポリゴンの詳細度は見た目に影響を及ぼしません。そのため、任意のボクセルグリッド定義し、その内部の点群をそれらの重心位置の点に置き換える方法により、できるだけ建造物の輪郭を残しながらダウンサンプリングを行うこととしました。

加えて、得られるポイントクラウドにはノイズが含まれている場合が多くありましたので、それを除去する２つのフィルタの実装も行いました。

• 平面抽出によるノイズ除去フィルタ
  

  ノイズとみなされる点群は偶発性を帯びているため、平面性に乏しいことが多い傾向がありました。この傾向を利用し、平面抽出を繰り返すことでノイズを軽減するフィルタを実装しました。ただし、曲面形状が多い建造物では利用できないという制限があります。

• 領域抽出フィルタ
  

  誤差により生じた点群は正しい点群よりも疎な点群であることが多い傾向にあるため、ある点の周囲の領域に注目し、その領域の点の密度が低い場合にはノイズとみなし除去することでノイズを軽減するフィルタを実装しました。

これらを利用したポイントクラウドの調整例が図20です。このように適宜フィルタをかけていくことでノイズを除去していくことが可能です。

図20 ポイントクラウドの調整例

6.2.仮想物の位置合わせの安定化について

前章のシステムでは、GPSと姿勢センサを併用することでARを実現していましたが、これらのデバイスには磁気など利用環境の影響による誤差や、長時間利用によるドリフト誤差などが生じるという問題がありました。この誤差により、仮想物が意図した位置に表示されない、仮想物の表示に揺れが生じるなどの問題が発生し、没入感を妨げる原因となります。また、オクルージョン表現を行う際には、実物とのずれが目立ちやすくなるため、より没入感の妨げとなりやすいと感じるシーンも多く見られました。誤差は高価な機材を用いることでも軽減することが可能ですが、これは実用性を考えるとあまり現実的な解決策にはなりません。そこで本研究ではデバイスの値を利用した補正方法や、コンピュータビジョン技術を利用した補正方法などを実装し、ソフトウェアの面からの問題解決に取り組みました。具体的には以下のような機能を実装しました。

• センサを利用した静止状態判定
  

  システムに利用している姿勢センサには、加速度・角速度センサが組み込まれているため、これを利用した静止状態判定機能を実装しました。加速度センサの三軸の値の合計が設定した閾値を超えない場合にはGPSの値の変化を無視し、角速度センサの三軸の値の合計が設定した閾値を超えない場合にはセンサの値を無視することで完全な静止状態を表現する事が可能となります。

• 重力加速度による姿勢補正
  

  ドリフト誤差を補正するため、重力加速度を利用した補正機能を実装しました。カメラ姿勢はロール・ピッチ・ヨーの3つの角で表すことができますが、センサのXYZ軸にかかる重力加速度を分析することで、ロール・ピッチ角を補正することが可能となります。

• テンプレートマッチングによる方位補正
  

  ヨー角は重力加速度方向と直行する方向（方位角）であるため、重力加速度を利用する手法では補正することができません。そこで、カメラ映像内からテンプレート画像を検出するテンプレートマッチングという手法を利用することでヨー角の補正を可能としました。景観シミュレーションを行う地点から見えるランドマークをテンプレートとして予め設定し、その位置情報を入力しておくことで、カメラがどの方向を向いているかを得ることができます。また、重力加速度による姿勢補正と組み合わせることで、カメラ移動を伴わない場合にはピッチ角の補正も同時に行うことが可能です。なお、映像の全範囲からテンプレートを検出するのは非常に処理コストが大きいため、一度テンプレートが見つかった場合にはROI(Region of Interest)を設定し探索範囲を限定することで、処理の高速化を行なっています。

• ローパスフィルタによる補正の円滑化
  

  静止状態から移動状態への移行時や、急激なカメラ姿勢の回転などによる補正値の大きな変化による仮想物のゆれを軽減するため、ローパスフィルタと呼ばれるフィルタを用いました。

また、システムの実時間性も没入感の妨げとなります。ARを実現するための最低限必要な処理であるカメラ映像のキャプチャ、映像上への仮想物の描画、カメラ位置・姿勢情報の取得に加え、本システムでは補正処理の処理負荷も無視できず、全てを直列に処理する場合にはシステムの実時間性が著しく損なわれることが分かりました。そのため、キャプチャ処理、仮想物描画処理、GPSデータの取得処理、センサデータの取得処理、テンプレートマッチング処理をそれぞれ別スレッドに振り分け、並列処理することで実時間性を損なわずシミュレーションを行うことを可能としました。

6.3.実地試験

実地試験を行ったので、そこで得られた画像をご紹介します。まず、図21、22が三次元形状を取得した周辺の建築物の写真群と、そのポイントクラウドデータです。ここでは計130枚の写真を利用しました。図23はこれをアルファシェイプ法によりサーフェスモデル化したものです。

図21 周辺建築物の写真群の一部

図22 ポイントクラウドデータ

図23 サーフェスモデル

この建築物の隣に仮想の建築物を建てる景観シミュレーションを行いました。シミュレーション結果が図24(右側の建築物が仮想物です)になります。現実の建築物による仮想物の隠蔽や、現実の建築物が仮想物に落とす影の表現ができていることが確認できるかと思います。このような表現により、複雑な利用シーンでも違和感の少ない景観シミュレーションが可能になると考えています。現実の建築物の輪郭と異なり多少波打っているような形に仮想物が隠蔽されていたり、格子状になっている部分の穴あき部を無視した隠蔽がなされるなど、まだまだ課題はありますので、より高精度な三次元形状取得手法を模索していくなど、今後も実用的なシステムの開発に取り組んでいきます。

図24 実験で得られたシミュレーション結果