NECは、世界で初めて(注1)、スマートフォンなどに搭載された汎用カメラで撮影した映像のみから、独自AIにより不要な被写体を自動除去し、高精細な3Dモデルを最短1分ほどで高速生成する技術を開発しました。なお、本技術は慶應AIセンター(注2)との共同研究による成果です。
本技術では、高価な専用機材を用いることなく、電力などのインフラ設備や建設現場など、変化の多い環境においても、現場の稼働を止めずに、現場状況を精緻に再現した3Dモデルを高速に生成できます。生成した3Dモデルは、一般的なパソコンやタブレットでも手軽に閲覧できるため、現場状況を即時に把握できます。これにより、リモートでの設備点検や異常時の迅速な判断を可能にします。
NECは本技術を通じて、インフラ事業者や建設業におけるデジタルツインの導入促進や人材不足の解消、設備の安全性向上に貢献します。NECは、2027年度中に本技術の実用化を目指します。

近年、インフラ事業者や建設業の現場では、人材不足や設備点検における移動コストの増加を背景に、現場映像を遠隔地にいる監督者に共有し、リモートから判断や指示を行う取り組みが広がっています。しかし、現場からの映像共有だけでは、確認したいシーンや視点を迅速に特定しづらいなど、現場状況を的確に把握するうえで課題がありました。
こうした中、現実の現場状況を仮想空間上に再現するデジタルツインの実現手法の一つとして、確認したい箇所を自由な視点で見られる3Dモデルの活用が期待されています。一方で、高価な専用機材の準備や、現場の稼働を中断しての撮影、さらに撮影後の3Dモデル生成にも時間を要することが、導入の障壁となっていました。
NECは、このような課題に対する技術として、近年、映画やアニメの背景生成への応用が進み、注目されているガウシアン・スプラッティング(注4)と、独自AIを組み合わせ、高精細な3Dモデルの高速生成を実現しました。

今回の新技術により、高価な専用機材が不要となり、現場の稼働を止めず、「現場の状態」を精緻に再現した高精細3Dモデルを高速で生成できます。さらに、生成した3Dモデルは一般的なパソコンやタブレットで閲覧できるため、現場状況を即時に把握できます。リモートからの設備点検や異常時の迅速な判断に加え、限られた人材の最適配置が可能となり、現場業務の効率化と高度化を支援します。

今回 NEC が開発した独自 AI の技術特長は以下の通りです。

NECが開発した新技術は、現場映像内の見た目の複雑さを自動で解析します。見た目が複雑な部分には、3Dモデルを構成する粒を高密度に配置し、見た目が単調な部分は間引くことで、粒の数や密度を最適化します。これにより、必要な部分は高精細に、他は簡素化し、精細さを損ねずに3Dモデルを生成できます。従来のガウシアン・スプラッティングの生成方法に比べ、生成時間を10分の1に短縮し、最短1分ほどで高速生成します。

NECが開発した新技術は、3Dモデル生成の過程で、現場映像に映り込んだ作業員や一時的な物体などを自動で検出・除去します。さらに、現場の状況変化に応じて、除去部分は周囲映像から背景を補完するため、稼働中の現場であっても不要物を除いた現場の状態を精緻に3Dモデル化できます。

NECは、インフラ事業者や建設業などを中心に、デジタルツインの導入を進め、人材不足の解消、業務変革、設備の安全性向上に貢献します。

• (注1)
• (注2)
• (注3)

  研修・研究開発センター「FM-Base(R)」で撮影した映像を使用。FM-Baseは、NECファシリティーズ株式会社の登録商標https://www.necf.jp/ad/movies/movie004.html

• (注4)

  ガウシアン・スプラッティングは、広がりを持った粒(ガウシアン)の集まりで空間を表現する技術。従来の3Dモデルと比べて軽量で、対象物の色や形状を高精細に再現できる特長がある。これにより、設備や機材の細部形状・配置・外観、さらにはメーターやボタンといった細かな部品まで、歪みや情報の損失を抑えながら、正確に3D表現することが可能