ROAD VERTICAL CONTOUR DETECTIONUSING A STABILIZED COORDINATEFRAME #1

# Description of Related Art (관련 기술의 설명)

## 최근 기술 동향 개요

최근 몇 년간, 카메라 기반 운전자 보조 시스템(Driver Assistance Systems, DAS)이 시장에 도입되어 왔다. 이러한 시스템에는 차로 이탈 경고(Lane Departure Warning, LDW), 자동 상향등 제어(Automatic High-beam Control, AHC), 교통 표지 인식(Traffic Sign Recognition, TSR), 전방 충돌 경고(Forward Collision Warning, FCW), 보행자 검출(Pedestrian Detection) 등이 포함된다.

도 1 및 도 2를 참조하면, 차량에 장착된 카메라 또는 이미지 센서를 포함하는 시스템이 도시되어 있다. 카메라는 차량 전방을 향한 시야(field of view)를 촬영하며, 실시간으로 이미지 프레임을 생성한다. 이 이미지 프레임들은 프로세서에 의해 처리되며, 하나 이상의 운전자 보조 기능을 동시에 또는 병렬로 수행하는 데 사용될 수 있다.

---

## 기존 도로 수직 편차 검출 기법

차량 장착 카메라를 이용하여 도로의 수직 윤곽(vertical contour) 또는 도로 평면으로부터의 편차를 검출하는 기존 방법들이 알려져 있다. 이러한 기존 알고리즘들은 개략적으로 다음과 같이 요약될 수 있다.

### (1) 연속 프레임 간 호모그래피 기반 정합

차량에 장착된 카메라로 촬영된 **두 개의 연속된 프레임**은 도로 평면에 대한 호모그래피(homography)를 사용하여 정렬된다.  
이를 통해 프레임 간의 **자기 이동(ego-motion)**, 즉 회전(Rotation, R)과 병진(Translation, T)을 추정할 수 있다.

도 3A에는 이미지 상에 배치된 33개의 격자 점(grid points)이 도시되어 있으며, 이 점들이 추적되어 호모그래피 계산에 사용된다.

---

### (2) 기준 거리 이상 이동한 프레임 쌍 선택

그 다음 단계로, 현재 프레임과 과거 프레임 중에서 차량이 **미리 설정된 최소 거리 이상 이동한 시점에 해당하는 프레임**이 선택된다.  

연속 프레임 쌍에서 얻어진 호모그래피는 체이닝(chaining) 기법을 통해 초기 추정값(initial guess)으로 사용되며, 이후 이 초기값을 기반으로 보다 정확한 호모그래피가 계산된다. 이 과정에서 **참조 평면(reference plane)** 이 결정된다.

---

### (3) 차량 경로 투영 및 잔여 모션 계산

이후 차량의 주행 경로가 이미지 평면 상에 투영된다(도 3C의 선으로 표시됨).  
해당 경로를 따라 생성된 스트립(strip) 영역을 이용하여 **잔여 모션(residual motion)** 이 계산되며, 이는 참조 평면에 대한 상대적인 도로 프로파일을 제공한다.

도 3B는 왼쪽 바퀴 경로를 따라 폭 31픽셀의 스트립에 대해 계산된 정규화 상관(normalized correlation) 스코어를 보여준다. 수직 방향으로 +6픽셀 이동한 경우의 결과가 도시되어 있으며, 작은 곡률(curvature)이 관측된다. 이 곡률은 과속방지턱과 같은 도로 상의 미세한 수직 편차를 나타내는 잔여 모션에 해당한다.

---

### (4) 잔여 모션의 계량화 및 다중 프레임 결합

마지막으로, 잔여 모션은 실제 거리 단위의 **높이(height)** 및 **거리(distance)** 값으로 변환된다.  
이러한 결과는 다중 프레임(multi-frame) 모델로 결합되며, 그 결과가 도 3C 상단의 그래프로 도시되어 있다.

상기 개략적으로 설명된 기존 알고리즘의 하나의 구체적인 예는 **미국 특허 US 9,256,791**에 보다 상세히 설명되어 있다.

---

## 기존 방법의 문제점

기존 방법에 따라 생성된 데이터의 한 예가 도 4A 및 도 4B에 도시되어 있다. 이 도면들은 회전(R), 병진(T), 평면 법선(N)을 이용해 정렬된 도로 프로파일을 보여준다. 약 40미터 지점에서 과속방지턱이 관측되지만, 동시에 **부정확한 ego-motion 및 평면 법선 추정으로 인해 프로파일 간 약 0.1미터 수준의 높이 편차가 발생**하는 것도 확인할 수 있다.

### (1) 기준 평면의 불안정성

기존 방법의 주요 단점 중 하나는 **각 시간 단계마다 서로 다른 기준 평면(reference plane)을 사용한다는 점**이다.  
각 프레임마다 새롭게 계산된 기준 평면을 사용하게 되면, 시간적으로 서로 다른 프레임에서 얻어진 정보를 결합하기가 어렵다.

특히 과속방지턱과 같이 프레임의 상당 부분을 차지하는 구조물이 존재할 경우, 지배적인 평면(dominant plane)이 도로와 장애물을 동시에 포함하게 되어 도로의 수직 편차 계산이 부정확해질 수 있다.

또한, 도로 평면의 미세한 변화만으로도 새로운 측정값들이 기존 측정값과 잘 정렬되지 않는 문제가 발생한다. 이론적으로는 호모그래피로부터 얻어진 ego-motion과 평면 정보가 정렬을 가능하게 해야 하지만, 실제로는 평면 법선 및 병진 이동 추정의 노이즈로 인해 정확한 정렬이 어렵다.

이러한 문제점은 도 7A 및 도 7B에 제시된 결과에서도 확인할 수 있다.

---

### (2) 렌즈 왜곡 및 롤링 셔터 미보정 문제

또 다른 기존 방법의 단점은 **렌즈 왜곡(예: 방사 왜곡, radial distortion)** 및 **롤링 셔터(rolling shutter)** 효과를 충분히 고려하지 않는다는 점이다.

이러한 효과들을 무시할 경우, 도로 평면의 수직 편차 자체는 정성적으로 검출될 수 있으나, 거리 측정 정확도와 ego-motion 추정 정확도가 저하되고, 결과 프로파일에 인위적인 상향 곡률(artificial upward curvature)이 발생할 수 있다.

일부 기존 시스템은 계산 비용을 줄이기 위해, 롤링 셔터 및 렌즈 왜곡 보정을 수행하지 않은 원본 이미지 상에서 포인트 추적을 수행하기도 한다.

---

## 기술적 요구사항 정리

따라서 다음과 같은 요구가 존재한다.

- 시간에 따라 **일관된 기준 평면**을 사용하여 도로의 수직 편차를 계산할 수 있는 시스템 및 방법
- 방사 왜곡 및 롤링 셔터 효과를 고려하여 거리, ego-motion, 도로 프로파일을 보다 정확히 산출할 수 있는 기술
- 다중 프레임 정보를 안정적으로 결합할 수 있는 도로 프로파일 생성 방법

이러한 필요성에 대응하기 위해, 이후 절에서 새로운 시스템 및 방법이 제안된다.

 

 

# BRIEF SUMMARY (발명의 요약)

기존 기술에서와 같이 도로의 수직 편차를 검출하는 방법들은, 각 시간 단계마다 서로 다른 기준 평면(reference plane)을 사용한다는 문제점을 가진다. 각 프레임마다 기준 평면을 새로 계산할 경우, 서로 다른 시간 단계에서 얻어진 정보를 결합하기가 어렵고, 특히 도로 상에 과속방지턱과 같은 돌출부가 존재하는 경우 도로 평면의 추정 정확도가 저하될 수 있다.

본 발명의 일 측면에 따르면, 도로 표면의 수직 편차를 검출하기 위한 다양한 운전자 보조 시스템 및 컴퓨터 구현 방법이 제공된다. 이러한 방법들은 차량이 주행 중일 때 수행될 수 있으며, 차량에 장착된 카메라와 프로세서를 포함하는 운전자 보조 시스템에 의해 실행될 수 있다.

일 실시예에 따르면, 운전자 보조 시스템은 카메라를 통해 복수의 이미지를 획득하며, 상기 복수의 이미지는 서로 다른 시점에서 촬영된 도로 표면의 제1 이미지 및 제2 이미지를 포함한다. 상기 제2 이미지는 상기 제1 이미지 이후의 시점에서 촬영된다. 시스템은 상기 제1 이미지 및 제2 이미지를 기반으로 도로의 평면 법선에 대한 제1 추정값 및 제2 추정값을 산출하고, 이들 추정값에 기초하여 도로 표면 모델을 생성한다.

상기 도로 표면 모델을 이용하여 차량의 투영된 주행 경로를 따라 잔여 모션(residual motion)을 산출하고, 상기 잔여 모션에 기초하여 도로 표면의 수직 편차를 계산한다. 계산된 수직 편차 정보는 차량 제어 시스템으로 전송될 수 있다.

일 실시예에 따르면, 본 발명의 방법은 각 시간 단계마다 일관된 기준 평면에 기초하여 호모그래피 행렬을 생성하고, 이를 이용해 서로 다른 시간에 촬영된 이미지 프레임들을 정렬함으로써 잔여 모션을 보다 정확하게 계산할 수 있다. 이와 같이 안정화된(stabilized) 좌표계에서 도로 프로파일을 생성함으로써, 다중 프레임에 걸친 도로 형상 정보를 효과적으로 결합할 수 있다.

일 실시예에 따르면, 방사 왜곡(radial distortion) 및 롤링 셔터(rolling shutter)의 영향을 보정하여 거리 계산, ego-motion 추정 및 도로 프로파일 생성을 보다 정확하게 수행할 수 있다.

일 실시예에 따르면, 복수의 도로 프로파일이 동일한 도로 구간을 포함하는 경우, 데이터 항(data term), 평활성 항(smoothness term) 및 정규화 항(regularization term)을 포함하는 비용 함수를 최적화함으로써, 각 도로 프로파일의 기울기 및 오프셋을 조정하고, 이를 결합하여 다중 프레임 도로 프로파일을 생성할 수 있다.

일 실시예에 따르면, 생성된 도로 프로파일은 차량의 바퀴 경로를 따라 샘플링될 수 있으며, 선택된 거리 전방에 대응하는 복수의 데이터 포인트가 차량 제어 시스템으로 전송될 수 있다. 이때, 데이터 포인트의 개수보다 적은 횟수의 데이터 전송으로 효율적인 통신이 가능하다.

본 발명의 다른 실시예들에서는, 단일 카메라 시스템을 이용하여 도로 표면의 수직 편차를 검출할 수 있으며, 각 도로 프로파일의 특정 지점에 신뢰도 값(confidence value)을 연관시켜 차량 제어 시스템으로 전송할 수 있다.

상기 및 기타 특징과 장점은 이하의 상세한 설명 및 첨부 도면을 통해 보다 명확해질 것이다.