US 10,984,259 B2 번역

ABSTRACT 번역

일부 실시예에서, 두 장의 도로 영상으로부터 생성된 제1 호모그래피(homography)를 분해하여 자차의 에고모션(ego-motion)을 구하고, 이 에고모션을 사용해 이전에 추정된 도로 평면을 보정한다.
보정된 이전 도로 평면 추정값은 현재 프레임에서의 평면 추정값과 결합되어 제2 호모그래피를 형성하며, 이 제2 호모그래피는 도로 표면의 잔여(residual) 움직임과 수직 편차(vertical deviation)를 계산하는 데 사용된다.

일부 실시예에서는, 동일한 도로 구간에 대해 계산된 여러 개의 도로 프로파일을 대상으로 데이터 항(data term), 평활화 항(smoothness term), 정규화 항(regularization term)을 가지는 함수 최적화를 통해 각 프로파일의 기울기와 오프셋을 보정하며, 보정된 여러 프로파일을 결합해 멀티 프레임(multi-frame) 도로 프로파일을 생성한다.

일부 실시예에서는, 사전 결정된 개수의 데이터 포인트로 구성된 도로 프로파일 정보를 주기적인 데이터 버스트(data burst) 형태로 전송하며, 각 버스트에는 한 번에 둘 이상의 데이터 포인트가 포함될 수 있다.

BACKGROUND 번역

기술 분야(Technical Field)

본 출원은 차량에 장착되는 카메라를 이용해 도로 윤곽의 수직 편차(vertical deviation)를 탐지하는 운전자 보조 시스템 및 방법에 관한 것이다. 보다 구체적으로는, **안정화된 좌표계(stabilized coordinate frame)**를 이용해 도로 윤곽의 수직 편차를 검출하는 기술에 관한 것이다.

---

종래 기술(Description of Related Art)

최근 몇 년간, 카메라 기반 운전자 보조 시스템(DAS)은 시장에서 점점 확대되고 있다. 대표적인 예로는 차선 이탈 경고(LDW), 자동 상향등 제어(AHC), 교통 표지판 인식(TSR), 전방 충돌 경고(FCW), 보행자 감지 등이 있다.

도 1과 도 2를 참조하면, 차량에 장착된 카메라 또는 이미지 센서(12)를 포함하는 시스템(16)이 도시된다. 이미지 센서(12)는 전방 시야를 촬영하며, 실시간으로 프레임(15)을 생성한다. 프로세서(30)는 이 영상 프레임들을 동시에 혹은 병렬로 처리해 다양한 운전자 보조 기능(DAS)을 수행한다. 예를 들어, 이미지 내 보행자 감지(20), TSR(21), FCW(22) 등의 작업을 수행한다.
프로세서(30)는 별도의 하드웨어 회로나 저장 장치 및 소프트웨어와 함께 작동할 수 있다. 센서(12)는 단색(흑백) 또는 컬러 센서일 수 있다.

일부 실시예에서, 같은 차량에 여러 대의 카메라가 장착될 수 있고, 이들은 서로 다른 방향 혹은 동일/유사 방향으로 장착될 수 있으며, 서로 시야가 부분적으로 또는 완전히 중첩될 수도 있다. 두 개의 카메라가 나란히 배치되어 스테레오 방식으로 동작할 수도 있다. 본 문서에서는 단안 카메라(single-camera) 시스템을 예시로 들고 있으나, 본 기술은 다중 카메라 시스템에도 동일하게 적용될 수 있다.

일부 경우, 영상 프레임들은 서로 다른 운전자 보조 기능들 간에 분할되거나 공유될 수 있다.

---

기존 방식 요약

도로의 수직 편차를 검출하기 위한 기존 알고리즘은 다음과 같이 요약될 수 있다.

1. 연속된 두 프레임을 도로의 호모그래피(homography)를 이용해 정합(alignment)하여, 두 프레임 간의 **에고모션(회전 R, 평행이동 T)**을 계산한다. 도 3A는 호모그래피 계산에 사용된 33개의 트래킹 점을 보여준다.
2. 이후 **두 번째 프레임 쌍(현재 프레임과 일정 거리 이상 이전에 촬영된 프레임)**을 사용한다. 처음 계산한 연속 프레임 기반 호모그래피를 초기값으로 하여 보다 정확한 호모그래피를 구하고, 이를 통해 기준(reference) 도로 평면을 재계산한다.
3. 차량의 주행 경로를 영상에 투영하고(도 3C), 해당 경로를 따라 스트립(strips)을 추출하여 잔차(residual) 모션을 계산하는데, 이 잔차가 곧 **도로 평면으로부터의 수직 편차(예: 과속방지턱)**를 의미한다.
   도 3B는 왼쪽 바퀴 경로를 따라 31픽셀 폭 스트립에 대해 +6 픽셀 수직 이동 시 계산된 정규화 상관값(normalized correlation score)을 보여준다.
4. 마지막으로, 잔차 모션을 거리·높이로 변환한 후, 멀티 프레임 모델로 결합한다.

이 방식은 더 상세하게는 선행 특허 U.S. Patent No. 9,256,791에 설명되어 있다.

---

기존 방식의 문제점

기존 방식의 주요 문제점은 다음과 같다.

1. 프레임마다 기준 도로 평면이 달라진다.
   각 프레임에서 새로 계산된 도로 평면은 서로 약간씩 차이가 발생하며, 이는 멀티 프레임 결합 시 곤란하게 만든다.
   예를 들어, 과속방지턱처럼 큰 돌출물이 포함된 프레임에서는 도로 평면 추정이 오염되어 수직 편차 계산이 부정확해질 수 있다.
2. 렌즈 왜곡(radial distortion)과 롤링 셔터(rolling shutter)를 고려하지 않는다.
   이로 인해 거리 추정, 에고모션 계산, 도로 프로파일 생성에서 정확도가 떨어지고, 결과 프로파일이 약간 위로 휘어지는 인공적인 곡률이 발생할 수 있다.

도 4A와 4B는 이러한 문제점을 보여주는 예시이며, 과속방지턱 근처에서 프로파일 간 높이가 약 0.1m나 어긋나는 불안정성이 관찰된다.