최근 Lidar(Light Detection and Ranging)를 이용한 3차원 계측은 자동운전을 위한 지도 작성, 이동 로봇의 내비게이션, 상공의 지형 계측 등 다양한 분야에서 이용되고 있다. 현재 이용되고 있는 Lidar의 대부분은 근적외 펄스 레이저를 이용해 대상물까지의 ‘거리’와 ‘방향’을 계측하는 것이다.

 

거리 계측은 Time of Flight (ToF) 방식에 의해 레이저를 발사한 후 대상물에 닿아 반사되어 되돌아올 때까지의 시간으로부터 산출한다. 레이저의 발사 각도는 회전형 Lidar의 경우에는 엔코더 등의 센서로 계측할 수 있기 때문에 대상물까지의 방향을 계측할 수 있다. 이것에 의해 Lidar에서 대상물까지의 상대적인 3차원 벡터를 계측할 수 있다.

 

Lidar를 이동체에 탑재해 이동하면서 상대적인 3차원 계측을 하는 것으로, 대규모 환경의 3차원 계측이 가능해진다. 차량, 항공기, 이동 로봇 등의 여러 가지 플랫폼에 Lidar를 탑재해 환경을 계측하는 기법이 이용되고 있는데, 최근 드론, UAV(Unmanned Aerial Vehicle)에 Lidar를 탑재한 UAV-Lidar에 의한 3차원 계측이 급속히 확산되고 있다.

 

지금까지 UAV에 의한 3차원 계측은 카메라를 센서로 이용해 화상으로부터 3차원 지도를 작성하는 것이 주류를 이루었다. 이것은 페이로드 제한이 있는 UAV에서 카메라의 화상만으로 3차원 계측을 할 수 있는 장점이 매우 크고, 또한 매우 쉽게 실현할 수 있기 때문이다.

 

한편, 최근 UAV에 탑재된 Lidar를 이용해 3차원 계측하기 위한 제품이나 기법이 활발하게 개발되고 있다. 이것은 Lidar의 저가격화에 따라 GNSS(Global Navigation Satellite System)와 IMU(Inertial Measurement Unit)의 복합에 의한 고정도 UAV의 위치 자세 추정이 보급되고 있기 때문이라고 생각된다.

 

이 글에서는 UAV-Lidar에서 이용되고 있는 GNSS/IMU에 의한 위치 자세 추정과 Lidar에 의한 3차원 계측에 대해 다루어본다.

 

3차원 계측을 위한 위치 자세 추정

 

이동체에 탑재한 센서로 3차원 지도를 생성하려면 센서의 3차원 위치, 자세의 추정이 필요하다. 여기서 센서의 위치 자세 추정은 어떤 로컬 좌표계를 기준으로 한 상대적인 위치 자세든 절대적인 위치 자세든 상관없다. 상대적인 위치 자세 추정의 경우에는 생성된 지도는 로컬 좌표계에서 생성된다. 여기서 중요한 것은 Lidar는 센서로부터 상대적인 3차원 벡터를 계측하기 때문에 센서의 위치와 자세의 추정 오차가 이동체에 의한 3차원 계측 정도에 직결된다는 것이다.

 

 

이동체에 의한 센서를 이용한 3차원 지도 생성은 그림 1과 같이 크게 두 종류로 분류할 수 있다. 첫 번째는 그림 1 (a)와 같이 위치 자세 추정과 지도 생성을 동시에 하는 기법으로, SLAM(Simultaneous Localization and Mapping)으로 불리며 로보틱스 분야에서 활발히 연구되고 있다. 센서에서 상대적인 관측을 이용해 지도를 생성하기 위해서는 센서의 위치 자세 추정과 지도 생성은 밀접하게 연결되어 있으며, 센서에 의해 관측한 대상물의 추적·매칭을 기초로 로봇의 위치 자세와 지도를 최적화 기법이나 필터링 기법을 바탕으로 동시에 추정한다.

 

한편, 그림 1 (b)에 나타낸 것은 위치 자세 추정을 사전에 실시해 그 사전에 추정한 센서의 위치 자세를 이용, 센서의 상대적인 관측을 좌표 변환해 3차원 계측을 실현하는 기법이다. 이 사전 위치 자세의 추정에는 GNSS와 IMU의 복합이 이용되는 경우가 많다. GNSS는 옥외 환경에서 절대 좌표를 계측할 수 있는 센서로, 특히 RTK(Realtime Kinematic)-GNSS, PPK(Post-processing Kinematic)라고 불리는 지상에 설치한 기준국의 GNSS 반송파 위상 관측값과의 차분을 이용하는 기법에서는 반송파 위상에 포함되는 정수값 바이어스를 올바르게 추정한 경우, cm 정도로 3차원 위치를 추정할 수 있다. 또한, 위성이 차폐되는 환경이나 멀티 패스라고 불리는 주위의 장애물에 의해 전파가 반사·회절해 GNSS의 측위 정도는 저하되는데, IMU와 복합함으로써 고정도로 연속적인 위치 자세를 추정하는 것이 가능하다.

 

바퀴형 이동 로봇+Lidar에 의한 내비게이션 용도의 3차원 지도 작성에서는 SLAM 기법을 이용하는 경우가 많다. 그러나 UAV-Lidar에 의한 3차원 지도 작성에서는 대부분의 경우 그림 1 (b)에 나타낸 GNSS/IMU에 의해 사전 추정한 Lidar의 위치 자세를 이용한 3차원 계측이 이용된다.

 

그림 2에 UAV에 의한 Lidar의 계측 예를 나타냈다. 그림 중의 흰 선이 Lidar의 현재 관측값을 나타낸다. 높은 고도에서 지표면에 대해 수직으로 레이저를 조사하는 UAV에 의한 계측에서는 그림 2와 같이 Lidar의 관측값으로부터 대상물의 추적·매칭이 어렵고 SLAM 기법의 적용이 어렵다.

 

한편, 이 글에서는 다루지 않지만, GNSS의 이용이 어려운 실내, 구조물의 점검, 광산 내부의 계측 등의 용도로는 UAV-Lidar에 의한 3차원 계측에서 SLAM 기법을 이용하는 경우도 있다. 여기에서는 일반적으로 옥외 3차원 계측의 경우에 있어 UAV-Lidar에서 이용되고 있는 GNSS/IMU 복합 방법에 대해 설명한다.

 

GNSS/IMU에 의한 위치 자세 추정

 

1. GNSS/IMU의 복합 방법

앞에서 말한 것처럼 GNSS는 절대위치를 취득할 수 있는 센서이지만, 위성 전파가 차폐되는 환경에서는 정도가 악화된다. IMU는 환경에 관계없이 연속적인 가속도, 각속도를 취득할 수 있으므로 두 가지를 복합하면 연속적인 위치 자세룰 추정할 수 있다.

 

 

GNSS/IMU의 복합 기법 종류를 그림 3에 나타냈다. 그림 3은 GNSS, IMU의 관측값을 그래피컬 모델로 나타낸 것이다. 가장 간단한 복합은 그림 3 (a)에 나타낸 Loosely Coupling(LC)이라 불리는 기법이다. GNSS의 관측값으로서 GNSS 수신기에서 출력되는 3차원 위치, 속도를 이용해 연속되는 상태 간의 관측값으로서 IMU에 의한 각속도, 가속도를 이용한다.

 

한편, 그림 3 (b)에 나타낸 Tightly Coupling(TC)라고 불리는 기법은, GNSS의 관측값으로서 각 위성에서의 개별 의사거리, 반송파 위상, 도플러의 관측값을 이용한다. GNSS는 전파의 전파 시간 계측에 의해 위성과 수신기 안테나 간의 거리를 계측하는 센서로, 반송파 위상 관측값을 이용하면 mm 정도로 위성-수신기 간 거리를 계측할 수 있게 된다.

 

일반적인 측위에서는 수신기의 클록을 위성 클록과 동기시키기 위해 수신기의 클록 오차를 미지수로서 추정량에 추가하기 때문에 4개의 위성을 관측할 수 없으면 측위 계산을 할 수 없다. 그렇기 때문에 LC에 의한 복합에서는 위성 수가 저하되었을 경우에 IMU와 복합을 할 수 없다는 단점이 있지만, TC에서는 1개의 위성에서 관측을 복합하는 것이 가능하고 개별 관측값마다 노이즈나 관측 모델을 설정할 수 있기 때문에 일반적으로 TC 쪽이 정도가 더 좋다.

 

또한, GNSS/IMU 복합 기법의 실장에는 확장 칼만 필터를 이용하는 기법이 일반적으로 이용되고 있다. 한편, 최근 그래프 최적화에 근거한 최적화 기반의 GNSS/IMU 기법도 활발히 연구되고 있다.

 

2. GNSS/IMU 복합 제품

2021년 현재, 많은 GNSS/IMU, Lidar를 복합한 UAV용 3차원 계측 시스템이 개발·판매되고 있다. 대표적인 몇 개의 제품을 그림 4에 나타냈다. 이 제품들 대부분은 Applanix사의 GNSS/IMU을 복합한 제품을 GNSS/IMU로 이용하고 있다. Applanix사 이외에도 GNSS/IMU을 복합한 위치 자세 추정 시스템이 몇 가지 판매되고 있으며, 이동체에 의한 3차원 계측에는 이들 제품을 이용하는 경우가 많다. 이들의 GNSS/IMU은 앞에서 설명한 TC형의 GNSS/IMU 복합으로 위치·자세를 추정하고 있다.

 

 

GNSS과의 시각 동기를 취하기 위해 Lidar에는 외부 동기 신호의 입력 단자가 대부분의 경우 실장되어 있으며, GNSS 수신기에서 출력되는 정확한 PPS(Pulse Per Second) 신호를 입력하면 Lidar의 1개당 빔의 계측값에 GNSS 시각을 부가할 수 있다. 이것에 의해 GNSS/IMU에서 추정한 Lidar의 위치 자세를 이용해 계측한 3차원 벡터를 좌표 변환하면, 광역의 3차원 점군 지도를 생성할 수 있게 된다.

 

GNSS/IMU과 Lidar의 복합에 의한 3차원 계측 제품이 이미 판매되고 있지만, 가격이 비싼 것이 종종 문제가 된다. 이것은 다주파 GNSS 수신기, 고정도 자이로스코프(IMU)가 고가격화의 원인이 되고 있다. 또한, GNSS/IMU에 의한 이동체의 위치 자세 추정에서는 초기화 비행이 필요하다. 이것은 직접 관측할 수 없는 방위각(Yaw 각도)이나 자이로·가속도계의 바이어스 오차를 칼만 필터 등으로 추정하기 위해서는 이동하면서 GNSS의 관측, IMU의 관측을 해서 상태 추정을 수렴시킬 필요가 있기 때문이다. UAV에 의한 계측에서는 초기화 비행으로 8자의 비행을 하는 경우가 많으나, 계측 장소에 따라서는 이 비행이 어려운 경우도 있다.

 

GNSS/IMU에 의한 위치 자세 추정

 

현재의 GNSS/IMU과 Lidar에 의한 3차원 계측의 과제를 해결하기 위해 복수의 저코스트 일주파 GNSS 안테나, 수신기를 UAV에 탑재함으로써 그 상대위치 관계로부터 UAV의 자세를 추정하고, 나아가 복수의 일주파 GNSS 수신기의 용장성을 이용해 UAV의 고정도 위치를 추정하는 기법을 개발했다. 여기에서는 그 개발한 시스템과 Lidar를 이용한 3차원 계측 예에 대해 소개한다.

 

 

1. 복수의 GNSS를 탑재한 UAV

복수의 GNSS 안테나를 탑재한 UAV, 센서 시스템의 확대도를 그림 5에 나타냈다. UAV의 플랫폼으로서 DJI사의 Matrice 600을 이용하고 있다. 복수의 GNSS, Lidar를 탑재한 계측 시스템 이 UAV는 분리되어 있으며, 패시브 댐퍼를 통해 UAV에 장착되어 있다. 이 계측 시스템은 6개의 GNSS 안테나를 탑재하고 있으며, 안테나 간의 거리는 약 1.8m이다. Lidar로서 Velodyne사의 VLP-16을 사용하고 있다.

 

RTK-GNSS용 수신기는 GNSS 반송파 위상의 출력이 가능한 u-blox사의 일주파 GNSS 수신기인 NEO-M8T, 안테나는 Tallysman사 TW2712를 6개 사용하고 있다. GNSS 수신기, 안테나, LiDAR 등의 모든 탑재 기기의 합계 중량은 약 3.5kg이다.

 

개발한 시스템에서는 탑재한 복수의 저코스트 일주파 GNSS 수신기·안테나에 의한 RTK-GNSS를 복합하는 것으로 기체의 위치·자세를 고정도로 추정한다. 복수의 GNSS 안테나를 이용하면, 탑재한 복수의 GNSS 안테나 간에 RTK-GNSS 처리를 함으로써 GNSS 안테나 간의 기하적인 배치로부터 드론의 3차원 자세를 직접 계측할 수 있다.

 

또한, 위치 추정에 있어서는 보통 1개의 GNSS 수신기로부터 드론 위치를 구하는 데 반해, 6개의 GNSS 수신기를 복합해 위치를 추정함으로써 GNSS 수신기의 용장성을 이용해 저코스트의 일주파 GNSS 수신기에 의한 RTK-GNSS의 정도 향상을 도모한다. 이하에 각각의 기법에 대해 상세하게 설명하기로 한다.

 

 

2. 복수의 GNSS에서 자세 추정

개발한 시스템에서는 GNSS만을 이용해 드론의 3차원 자세를 추정한다. 그림 6과 같이 6개의 GNSS 안테나 간에 기준국(Base), 이동국(Rover) 조합을 작성하고, GNSS의 관측값인 반송파 위상을 이용한 RTK-GNSS 측위를 실시함으로써 Base-Rover 간의 3차원 기준선 벡터를 계산할 수 있다. 안테나의 기하적인 배치는 이미 알고 있기 때문에 2개 이상의 기준선 벡터가 GNSS 수신기로부터 구해진 경우, GNSS 안테나가 존재하는 평면을 결정할 수 있다. 이것에 의해 3차원 자세를 직접 GNSS 수신기로부터 계측할 수 있다.

 

실제로는 3개의 GNSS 안테나를 드론에 설치함으로써 드론의 3차원 자세를 추정할 수 있다. 그러나 3개의 안테나는 드론의 3차원 자세 추정에 최소한 필요 개수이며, GNSS 관측값에 멀티 패스가 포함되는 등 GNSS 측위가 어려운 환경에서는 자세를 추정할 수 없다. 저코스트 일주파 GNSS 수신기·안테나를 이용한 RTK-GNSS에 의한 기준선 벡터의 추정에서는 안테나에 들어가는 멀티 패스 등의 잡음에 의해 반송파 위상의 정수값 바이어스 추정에 실패해 올바른 기준선 벡터를 추정할 수 없는 현상이 발생한다.

 

그림 6에 나타냈듯이 6개의 GNSS 안테나를 이용한 경우, 15개의 기준선 벡터를 추정할 수 있으며, 이번 연구에서는 이 15개의 기준선 벡터를 통해 자세를 추정한다. 안테나 수를 6개로 증가시킴으로써 기준선 벡터를 대폭으로 증가시켜 자세 추정의 가용성을 향상시킬 수 있다. 또한, 최고 15개의 기준선 벡터를 동시에 사용해 자세를 추정하기 때문에 자세의 추정 오차를 평균화함으로써 자세 추정의 정도 향상이 가능하다. 나아가 일반적인 GNSS/IMU에서는 필요했던 초기화/종료 비행의 제약이 필요 없다. 안테나의 기하적 배치로부터 직접 절대 자세를 계측할 수 있기 때문에 이륙 후 바로 계측할 수 있다는 장점이 있다.

 

 

3. 복수의 GNSS에서 위치 추정

그림 7과 같이 지상에 설치한 기준국(Base)과 6개의 GNSS 안테나 간에 RTK-GNSS 측위를 함으로써 UAV의 3차원 위치를 추정한다. 일반적인 UAV는 1개의 GNSS 안테나, 수신기를 이용하여 위치를 추정한다.

 

일주파의 RTK-GNSS의 경우는 멀티 패스가 발생하는 환경 등에서는 반송파 위상의 정수값 바이어스를 정확하게 추정할 수 있는 측위 해(FIX 해)가 얻어지지 않아 고정도 위치 추정이 어렵다. 그래서 개발된 시스템에서는 복수의 GNSS 안테나를 이용해 고정도 위치 추정을 실현하고 있다.

 

멀티 패스가 발생하는 환경에서는 복수의 GNSS 안테나에서 동일 위성의 신호는 각각 다른 경로로 입력된다. 그렇기 때문에 건물에 둘러싸인 환경에서는 복수의 GNSS 안테나에서 서로 다른 멀티 패스 오차가 발생하므로 각 안테나의 위치에 따라 반송파 위상의 관측 품질에 차이가 발생하고, FIX율이 다른 현상이 발생한다. 각각의 GNSS 수신기에 의해 추정된 FIX 해를 기체 좌표 원점으로 좌표 변환하고, 복수의 FIX 해를 합성해 하나의 FIX 해를 산출하는 하이브리드 측위를 한다.

 

제안 기법의 전제로서 드론의 3차원 자세를 이미 알고 있는 것으로 한다. 이 드론 자세는 앞에서 설명한 복수 GNSS 안테나를 이용한 기법을 이용한다. 이 기법을 이용함으로써 어느 것이든 1개의 GNSS 수신기로부터 FIX 해를 얻을 수 있으면 고정도 위치를 산출할 수 있어, 기존의 1개의 GNSS 수신기를 이용한 경우와 비교해 멀티 패스가 발생하는 환경에서 대폭으로 FIX율을 향상시키는 것이 가능해진다. 또한, 복수의 FIX 해를 얻은 경우에는 그 평균을 취하므로 1개의 GNSS 수신기를 이용한 경우와 비교해 측위 정도가 향상될 것으로 기대된다.

 

UAV-Lidar에 의한 3차원 계측의 응용

 

1. 3차원 계측 제도의 평가

개발한 시스템을 평가하기 위해 3차원 계측 정도를 평가했다. 그림 8과 같이 시험 환경 중에 15cm 사방의 리플렉터를 설치하고, 리플렉터의 정밀한 좌표는 GNSS 측량에 의해 계측함으로써 UAV-Lidar를 이용한 계측 결과와 비교했다. 그림 8에는 GNSS 데이터에서 추정한 위치 자세 정보를 바탕으로, 3차원 점군을 생성하는 모습을 나타내고 있다. 작성한 3차원 점군에서 레이저 스캐너의 반사 강도를 이용해 리플렉터 점군을 추출, GNSS 측량에 의한 결과와 비교했다. 그 결과, 수평 방향의 RMS 오차는 6.3cm, 수직 방향의 RMS 오차는 4.9cm라는 결과가 되어, 개발한 복수의 GNSS를 이용한 UAV-Lidar 시스템을 통해 10cm 이하의 정도로 3차원 계측이 가능하다는 것을 확인했다.

 

 

2. 후쿠시마 로봇 테스트 필드의 장거리 3차원 계측

경제산업성과 후쿠시마현이 미나미소마시(南相馬市)와 나미에정(浪江町)에 정비하고 있는 후쿠시마 로봇 테스트 필드(RTF)는 재해 대응 로봇, 수중탐사 로봇, 물류와 인프라 점검, 재해 대응 등에 활용할 수 있는 드론과 같은 육·해·공의 필드 로봇을 주요 대상으로 하는 연구 개발 거점이다. 이 후쿠시마 RTF에서 개발 시스템으로 장거리 3차원 지도 제작 실험을 했다. 약 1.5km의 직선 비행으로 후쿠시마 RTF 전역의 3차원 지도를 생성했다. 그림 9에 3차원 계측 결과를 나타냈다. 이러한 장거리의 직선 비행에서는 카메라를 이용한 3D 매핑으로는 화상 간의 오버랩을 취하기 어렵고, 또한 지상에 위치 자세 추정을 위한 마커 등을 설치하는 것이 어렵다. 개발한 복수 GNSS와 Lidar를 이용한 3D 매핑의 경우는 이러한 환경에서도 쉽게 3차원 계측이 가능하다.

 

3. 삼림의 3차원 계측

저출산과 젊은이들의 도시 유출로 인해 임업 인구가 급격히 감소하는 가운데 효율적인 산림 관리가 과제가 되고 있다. 그러나 대부분의 삼림은 산악지대에 분포하고 있으며, 광범위한 산속의 경사진 환경에서 단목 하나하나를 계측하는 작업자의 부담은 크다. 그래서 Lidar 탑재형 UAV를 이용한 산림환경 수목에 대한 상세한 정보를 효율적으로 계측하는 시스템을 구축했다.

 

Lidar는 카메라와 달리 수목의 잎과 가지 틈새에서 지상에 도달하는 경우도 있어, 수목의 3차원 형상과 지표면의 형상을 동시에 계측할 수 있다. 그래서 삼림 관리에 필요한 수목의 위치·개수·수직높이를 Lidar 탑재형 UAV에 의해 취득한 3차원 점군으로부터 추출하는 기법을 제안했다. 그림 10과 같이 UAV로부터 얻은 점군은 수관 점군이 조밀해 수관에 레이저광이 차단되기 때문에 줄기 점군이 성기게 된다. 그래서 삼림의 3차원 점군을 점군 밀도가 다른 수관, 줄기, 지면의 3개 영역으로 점군을 분할해 각각의 영역에 대해 개별적으로 처리함으로써 수목 단목 정보의 추출을 가능하게 했다.

 

실제 삼림 환경에서 지상 레이저 측량과 제안 기법을 비교한 결과, 100×100m 범위에 있는 514개의 수목에 대해 94.6%의 수목을 개수 정확하게 검출했다. 수목 위치의 RMS 오차는 0.3m, 수직높이의 RMS 오차는 1.7m로, 산림 관리에 충분한 정도로 단목의 정보를 계측할 수 있다는 것을 나타냈다.

 

맺음말

 

최근 개발·이용이 활발한 UAV 탑재 Lidar에 의한 3차원 계측 기법에 대해 해설했다. 이동체에 의한 3차원 계측에서는 탑재한 센서의 3차원 위치·자세 추정 정도가 3차원 계측 정도에 직결된다. UAV 탑재 Lidar에 의한 3차원 계측에서는 GNSS/IMU에 의한 위치 자세 추정이 그 기간 기술로서 이용되고 있으며, 그 종류나 복수의 GNSS를 이용한 위치 자세 추정 기법에 대해 설명했다.

 

앞으로 점점 더 UAV-Lidar에 의한 3차원 계측은 저가격화되어 여러 분야에서 이용될 것으로 생각된다. 이 글에 의해 UAV-Lidar에 의한 3차원 계측의 원리와 기술에 대해 이해가 깊어지면 좋겠다.

 

혼다 켄이치, 지바공업대학 미래로봇기술연구센터