2024年12月 3日(火) 05:45 JST
コンピュータビジョン技術の建築分野への応用
コンピュータビジョンは、「ロボットの目」を作る技術といわれる技術です。簡単にいうと、二次元の画像からそれらに投影されている元の世界の三次元情報を得ようとする技術、であると言えます。ここでいう元の世界の三次元情報とは、対象物の動き、変化などを主としいますが、色、質感などその他の情報の取得に関しても積極的な研究が行われています。
本研究の目的は、コンピュータビジョン技術を応用して、建築施行品質管理、建築施行現場で利用できる新たなツールを提案することです。可能な限り、安価で普及が進んでいる機材を用いた実装とし、低コストで運用可能な者を目指すことをポリシーとします。ここでは、汎用デジタルカメラや、WEBカメラ等で取得した画像から、施行品質管理所有益な情報を取得する方法について検討していきます。
建築施行品質管理、建築施行現場での作業を効率化に関して、RFIDを応用するといった提案が挙げられています。一方、日常生活に目を向けてみると、バーコード、QRコードなど従来からある光学読み取りのタグも蓄積可能な情報量を増加させ活用範囲を広げています。本研究では、こういった光学読み取りのタグをビジュアルタグとし、このビジュアルタグによるコンピュータビジョン技術を用いることで、新たなツールの提案を行います。
RFIDとビジュアルタグの違いは様々なところにあります。例えば、RFIDはレシーバの受信範囲にあれば所在が明らかでなくても読み取れるのに対し、ビジュアルタグでは、タグがスキャナから”見えて”いる必要があります。RFIDの一番の特徴は、RFIDの保持する情報を書き換えることができるという点ですが、現在主流である「RFIDにIDを持たせ、データベースで管理する情報とのひも付けを行う」といった使い方では、あまりこの特徴を生かせないといえるでしょう。一方、ビジュアルタグの一番の特徴は、スキャナからみたタグの位置と面の傾きを算出できるという点であるといえます。
この特徴は、たびたびこのホームページで触れる複合／強化現実感技術（AR/MR）で用いられています。AR/MRとは簡単に言えば、現実の映像に仮想のCGを重ね合わせて表示する技術です。カメラ等で撮影した画像（静止画、動画）内のビジュアルタグ（マーカーと呼ばれています。）を認識してタグの種類（ID）とカメラからの相対位置およびタグ設置面の傾きを計算し、CGによる仮想オブジェクトを正確に元の画像内に配置合成して新たな画像を得ることができます。例えばこの合成するCGを技術、品質管理上有意義なものにすることで、従来にない情報管理ツールとして活用することができます。
応用ツールの開発に向けて、解決すべき諸問題について言及していきます。まず、どういった応用シーンがあるかを考えます。例えば、建築施行現場での視覚的なサポート、すなわち動画を扱いリアルタイムでの処理が求められるシーンがあります。ここでは、プログラムの面での効率的な処理や、作業者の装備する装置の小型軽量化や独自の操作系の開発も求められます。現場以外での測量、確認等のツールとしての応用、すなわち静止画での後処理を想定するシーンでは、オリジナルの静止画の管理、タグシステムそのものの拡張性などが求められます。
他方、こういった応用が可能であるためには、画像から算出される情報が正確であることが重要です。算出した情報が信頼性の低いものであれば、この手法によって実現されるツールの実用性は乏しく、期待のできないものになってしまいます。
３．１．画像から取得するデータの信頼性を高めるここではまず、画像から算出される情報の精度に関して、信頼性を高める工夫とその検証について説明します。
３．１．１．画像の歪みの補正 建築分野では広角レンズを頻繁に用いるシーンが比較的多いわけですが、広角で撮影した画像には歪みが生じていることが多いのです。特に35mm判換算値で28mmより広角側の場合にその傾向が強く、レンズ中心から離れるに従い本来直線であるべきものが曲線になってしまいます。この歪みはデータの信頼性低下の原因となってしまいます。取得データの信頼性を高めるために、画像中のタグの座標値と傾きを計算する前に、図１のように歪みをあらかじめ処理しておきます。表１は24mmで撮影した画像について、タグ間の実際の距離、補正なしの場合の計測値、補正ありの場合の測定値を一部抜粋したものです。補正した方が測定値と実寸との誤差が少ないことがわかります。この補正は見た目の変形が少ない望遠側でも、同様に処理した方がデータの精度は向上しました。なお、これらの実験では図２に示すようにタグを同一の板面（平面）上に４つ配した検査用タグ配置シートを作成し、様々な距離と位置から撮影した画像を使っています。
図１ 画像の歪み補正（左：補正前、右：補正後）
図２ 検査用タグ配置シート
| 画像 番号 |
歪み補正あり | 歪み補正なし | ||
| 測定値（mm） | 誤差（％） | 測定値（mm） | 誤差（％） | |
| １ | 250.07 | 0.03 | 251.30 | 0.52 |
| ２ | 250.27 | 0.11 | 251.27 | 0.51 |
| ３ | 250.17 | 0.07 | 250.62 | 0.25 |
| ４ | 250.36 | 0.14 | 251.27 | 0.51 |
画像の解像度と座標計算の分解能には密接な関係があります。たとえば、同じシーンをVGA（横640ピクセル、縦480ピクセル）およびSXGA（横1280ピクセル、縦1024ピクセル）で表現した場合を例にすると、前者において2000mmの長さの物体が500ピクセル分を占めている場合に後者では1000ピクセルで同じ物体を表現していることになります。画像の解析処理はピクセル単位で行われるため、前者の方がより大きな誤差を生じる可能性が高いのです。解像度が大きくなればなるほど、ピクセル単位が表現する長さが小さくなり、取得データの精度は向上すると考えられます。異なる画像解像度の画像で得られるデータの比較を行い、その一部を抜粋したものを表２にまとめました。傾向として、最も高い解像度4000×3000の画像では他の解像度よりも精度の高い値が得られているのがわかります。 /* 編集中 */
表２ 解像度の違いによる計測値の誤差（歪み補正あり）
| 画像 番号 | 解像度4000×3000 | 解像度3264×2448 | 解像度2560×1920 | 解像度2048×1536 | 解像度1024×768 | |||||
| 測定値（mm） | 誤差（％） | 測定値（mm） | 誤差（％） | 測定値（mm） | 誤差（％） | 測定値（mm） | 誤差（％） | 測定値（mm） | 誤差（％） | |
| １ | 250.18 | 0.072 | 250.53 | 0.212 | 250.55 | 0.22 | 250.92 | 0.368 | 251.87 | 0.748 |
| ２ | 249.94 | -0.024 | 250.16 | 0.064 | 250.17 | 0.068 | 250.05 | 0.02 | 251.01 | 0.404 |
| ３ | 249.98 | -0.008 | 250.22 | 0.088 | 250.23 | 0.092 | 250.3 | 0.12 | 251.4 | 0.56 |
| ４ | 250.84 | 0.336 | 250.8 | 0.32 | 251.38 | 0.552 | 252.12 | 0.848 | 253.36 | 1.344 |
| 平均 | 250.04 | 0.016 | 250.05 | 0.020 | 250.44 | 0.174 | 250.85 | 0.340 | 251.78 | 0.711 |
画像の解像度と同じように、画像内でのタグの占める大きさ（ピクセル数）も、精度に大きな影響があります。タグの写り方を定量的に表すために画像内でのそれぞれのタグの占めるピクセル数を大きさの指標とし、それと取得データとの関係を検証しました。実験結果をもとに各取得データへの影響を検討したところ、以下のことがわかりました。
・ 対象となるタグの平均の大きさが25000ピクセル以上であれば取得データの大きなばらつきはなくなり、それ以下では、数パーセントのばらつきが見られる。タグの大きさが大きくなるほど、データの精度が向上する傾向にある。
・ 対象タグがそれぞれ鮮明に写っている場合、タグの大きさが十分でないと、プラス側に誤差のでる傾向がある。一方、マイナス側に誤差がでるのは、タグにピントの合っていないケースではないかと考えられる。
・ タグ同士の画像内での位置関係は取得データにはあまり影響はないが、被写界深度に注意が必要である。
私達が使っているAR/MR技術では、対象となる映像を二値化処理によって白黒画像とし、階調を反転した画像を用いてタグをトラッキングしています。この二値化の閾値（しきいち）によって、タグのエッジの検出結果は図３のように変化します。閾値と取得データには密な関係があることがわかります。
図３ 閾値による検出エッジの変化（左：閾値100、中：閾値150、右：その差分）
取得データの傾向、二値化の閾値との関係性を踏まえ、既知の間隔で配置したタグを利用し補正用の測定値を求め、それを利用した精度向上のため工夫を試みました。図４は補正用の測定値による閾値の調整を行わなかったもので、図５は補正用の測定値が最適となるよう閾値の調整を行い、計測を行ったものです。閾値の調整を行い、最適な閾値で測定を行うことで、±0.5パーセント程度の誤差でタグ間の距離を測定できることがわかりました。この検証につかった静止画は、タグ間の距離の測定を前提として撮影したものを利用しました。
図４ タグの面積と測定誤差（左：閾値補正なし、右：閾値補正あり）（画像クリックで拡大します。）
建築分野での応用に関しては意外なほどパターンが多様です。いくつかの応用パターンを紹介します。
４．１．部材の継ぎ手（突き合わせ）の食い違いを確認するパターン線状の部材の中心線を２つのタグを用いて描く。継ぎ手を構成する部材ひとつあたり２つのタグを用います。これは正方形のタグの辺を部材の軸に平行に設置することが難しく、二つのタグの中心を結ぶ形で部材の中心線を描く方が正確なためです。マーカーの中点が部材の中心線上に位置するように配置するのはなお難しいのですが、これに関しては仮置きのタグを用いる方法で可能です。
部材端に仮置きした2つのタグの中点に計測用のタグの中点が重なるように配置すれば、そのタグは正確に部材の中心線上にあることになります。この手続きを図５に示めします。この様子は<動画デモ：ウエアラブルコンピュータでのデモ （2007） >にて動画でごらんいただけます。図６は、図５のようにしてタグを設置した継ぎ手の食い違い模型にタグを設置した状態を撮影したものです。この画像から得られた値から、継ぎ手のずれ具合を模式図化して、元の画像の右下にコラージュしてあります。
図５、６ 部材の継ぎ手（突き合わせ）の食い違いを確認するパターン（左のみクリックで拡大します）
たとえば梁の撓みを計測する場合、このパターンを使うことができます。３枚以上のタグを図７のように配置します。模式図化の都合上、タグの配置は位置を指定して行うことがいいかと思います。図７では、スパン800mmの両端に2枚、梁の中央に１枚配置してあります。この画像から得られた値から撓み具合の模式図を作成し同写真右下にコラージュしてあります。
図７ 撓みや不陸を計るパターン
ＲＣ構造の配筋の確認などは、画像内に仮想のグリッドを生成することにより効率的に行えます。図８（右）はRCスラブの配筋を模したグリッドです。壁に黒いビニルテープを貼り、グリッドの交点の一つにタグを設置しました。この画像に対して、ピッチを指定して仮想のグリッドを生成させると図８（左）の合成画像が得られます。このグリッドのマス目から、配筋のばらつき具合を確認することができます。
図８ 仮想のガイドラインなどを表示するパターン（左：表示する前、右：表示後）
国土交通省が定めるデジタル写真管理情報基準（案）（平成１８年１月） では、電子納品する写真の管理項目として撮影箇所を定めています。写真撮影の前にあらかじめ規則的にベンチマークとなるタグを配置しておき、これらを含むように撮影するだけで、その写真がどの位置からどの方向に向かって撮影されたのかを図面上にプロットすることができます。
図９はVisio上の平面図面に、撮影された複数の写真それぞれについて、カメラ撮影位置と向きをプロットしたものです。矢印の基点が撮影位置、矢印方向がカメラのスラブ面内での向き 、基点にファイル名称を添え書きしています。
このシステムでは、各写真のファイル名称と撮影位置の情報をデータベースのテーブルで管理するシステムとなっており、図９のような図面を出力するだけでなく、電子納品が要求するXMLファイル形式に直接出力することも可能です。
図９ 写真の撮影位置を自動記録するパターン
三次元空間の平面の定義には、平面の法線と平面上の点の座標値が必要となりますが、タグによりそれらを得ることで、画像内をクリックし、クリックしたポイントの間の寸法を測っていくことができます。クリックしたポイントを利用し、新たな平面の法線と平面上の点の座標値を定義していくと、図１０のように画像内の様々なものを採寸できます。
図１０ 写真の撮影位置を自動記録するパターン（画像クリックで拡大します）
また、タグを固定しておくことで、複数枚の画像から取得したデータを共有することもできます。画像の撮影位置はタグによって取得することができ、マウスクリックによって得たポイントの三次元座標を、タグを原点としたローカル座標系に変換することで、映像を跨いだ座標間の寸法も得ることができます。図１１（左）は測定の対象となる白い箱を、向かって右側から俯瞰する形で撮影し測定したもの、図１１（右）は向かって左側から撮影し測定したものに、図１１（左）で測定した寸法を合わせたものです。箱のサイズは、幅、奥行きがともに300mm、高さが280mmであり、タグの配置されたシートにより閾値での調整を施し、閾値190での測定をしました。ポイントの添え字が０番から５番までが、図１１（左）の画像から得たもの、それ以降は図１１（右）の画像から得たものです。複数枚の画像から有利なところを採用し採寸していくことができるのはこの利用例の大きな特長であるといえます。
図１１ 写真の撮影位置を自動記録するパターン（画像クリックで拡大します）
/*以下編集中*/
ビジュアルタグシステムにより取得できる位置や傾きに関するデータ精度が実用的な水準にあることを確認できました。また、施工品質管理上有効なツールへの発展の可能性を具体例により示すことができました。 今後は、新たな可能性を追求するとともに、実現場での検証などを重ねて実用システムとしての完成度を追求する方針です。
最終更新日:: 2014年10月12日(日) 18:25 JST|表示回数: 11,960 