Road Vertical devication Estimation

개요

Road Vertical Contour Detection Using a Stabilized Coordinate Frame (이하 “본 기술”)는 차량에 장착된 카메라와 연산 시스템을 이용하여 도로 표면의 수직 편차(vertical deviation), 즉 속도 범프, 움푹 팬 곳, 경사 변화 등을 탐지하기 위한 방법입니다. 구글 특허+2구글 특허+2
이 기술의 핵심은 도로면을 단순히 이미지 상에서 추적하는 것이 아니라, **안정화된 좌표계(stabilized world/road coordinate frame)**를 도입하여 여러 시점(frames)에 걸친 프로파일(profile)을 일관되게 비교하고 변화량을 검출하는 데 있습니다. 구글 특허+1

아래에서 배경, 주요 구성 단계, 기술적 특징, 응용 및 고려사항을 정리하겠습니다.

---

배경 및 필요성

• 차량 주행 시 카메라(또는 기타 센서)를 통해 보행자 검출, 차선 이탈 경고, 자동 하이빔 등 다양한 운전자지원시스템(DAS: Driver Assistance System)이 활용되고 있습니다. 구글 특허+1
• 이러한 시스템이 도로의 수직 변화를 인식할 수 있으면, 서스펜션 제어나 안정주행 보조 등에 활용 가능하며, 사고예방 및 승차감 향상 측면에서 유리합니다.
• 하지만 단일 프레임 또는 연속 프레임 상에서 단순히 영상기준으로 도로면의 수직 변화를 판단하면 다음과 같은 문제가 있습니다:
  • 차량 카메라 또는 차체가 이동하면서 생기는 차량 동작(ego-motion), 롤링/피칭 변화, 카메라 기하왜곡(대표적으로 방사 왜곡, 롤링셔터 효과) 등이 도로면 변화 탐지에 잡음(noise)을 유발합니다. 구글 특허+1
  • 각 프레임마다 도로면 참조 평면(reference plane)이 독립적으로 계산되면, 서로 다른 시간대의 프로파일(profile)을 비교할 때 기준이 달라져 왜곡된 변화로 인식될 수 있습니다. 구글 특허+1
• 따라서, 여러 프레임에 걸쳐 일관된 좌표계에서 도로면의 변화(수직편차)를 안정적으로 검출할 수 있는 방식이 요구됩니다.

---

기술 구성 및 주요 절차

본 기술은 논문보다는 특허 문헌 위주로 공개되어 있으므로, 절차를 요약하면 다음과 같은 흐름입니다. 구글 특허+1

1. 이미지 캡처 및 전처리

• 차량 전방에 장착된 카메라(단일 또는 다중 카메라)가 도로면을 포함한 영상 프레임을 시간순으로 캡처합니다. 구글 특허
• 카메라의 방사왜곡(radial distortion)이나 롤링셔터(rolling shutter) 효과가 있을 경우 보정이 필요합니다. 구글 특허

2. 차량 자차 모션(Ego-motion) 및 도로면 평면 추정

• 연속된 두 프레임(혹은 일정 거리 이동 후의 프레임)을 골라, 영상 내에 추적 가능한 특징점(grid of points, 예: 33개) 등을 이용해 동차변환(homography)을 계산합니다. 이 동차변환을 분해하여 차량의 회전(R) 및 병진(T)을 구합니다. 구글 특허+1
• 해당 프레임에서 추정된 도로면의 법선(plane normal)과 거리 등을 도출합니다. 이전 프레임에서의 도로면 법선값을 보정하여 현재의 참조 평면(reference plane)을 정의합니다. 구글 특허

3. 안정화된 좌표계 생성

• 위에서 추정된 평면 정보(현재 + 과거 + 카메라 고정 위치 기준)를 통합해 “안정화된 세계 좌표계(stabilized world coordinate frame)”를 생성합니다. 구글 특허+1
• 이 좌표계는 차량이 이동하거나 진동이 있어도 동일한 도로 구간에 대해 같은 참조 기준을 유지하도록 설계되어 있습니다. 잦은 평면 재설정 없이 여러 프레임을 걸쳐 일관된 비교가 가능해집니다. 구글 특허

4. 도로 프로파일 생성 및 수직 편차 검출

• 차량의 예상 주행 궤적(projected path) 위에서 이미지 상의 스트립(strip) 형태(예: 좌우 바퀴 궤적 근처의 31픽셀 너비) 데이터를 샘플링합니다. 구글 특허+1
• 이 스트립 내에서 영상 간 잔여 움직임(residual motion, 즉 평면 보정 후 남는 움직임)을 계산하고, 이를 통해 도로면의 수직 변화를 메트릭 거리 및 높이(metric distance & height)로 변환합니다. 구글 특허+1
• 여러 프레임에 대해 동일 도로 구간(projection path 상 동일 위치)에 대한 프로파일을 생성하고, 슬로프(slope)와 오프셋(offset)을 조정해 정렬(alignment)한 뒤, 최종적으로 **멀티프레임 프로파일(multi-frame profile)**을 획득합니다. 이때 최적화 함수(data term + smoothness term + regularization term)를 사용합니다. 구글 특허

5. 출력 및 응용

• 생성된 도로 수직 프로파일은 차량 제어 시스템(예: 서스펜션 제어, 주행안정제어 등) 혹은 도로 유지보수 관리 시스템 등으로 출력됩니다. 구글 특허+1
• 예컨대, 정상도로 구간의 높낮이 변화가 ±0.15 m일 때, 안정화되지 않은 상태에서는 이 값이 ±0.1 m 이상 오차가 발생할 수 있으나 안정화된 좌표계를 사용하면 분산을 ±0.05 m 수준으로 줄일 수 있다는 예시가 특허 내에 제시되어 있습니다. 구글 특허

---

기술적 특징 및 장점

• 안정화된 좌표계: 차량의 이동, 진동, 카메라의 미세한 움직임 등 외란에 대해 비교적 강건한 참조계 구축 → 여러 시점의 프로파일 비교 시 오차 감소. 구글 특허+1
• 잔여 움직임 기반 수직 변화 검출: 단순 영상 변화가 아닌, 보정된 평면 기준에서의 실제 수직 편차를 산출함 → 노면 정보의 메트릭화 가능.
• 멀티프레임 통합 처리: 동일 도로 구간을 시간축상 여러 프레임에서 반복 관측하고 정렬함으로써 노이즈를 평균화하고 신뢰도를 높임.
• 실시간 또는 준실시간 적용 가능성: 차량 탑재형 카메라 + 프로세서를 전제로 설계되어 있으므로 실제 차량 기반 주행보조시스템(DAS) 적용이 고려됨. 구글 특허+1

---

한계 및 고려사항

• 카메라 캘리브레이션, 왜곡 보정, 롤링셔터 보정 등이 제대로 이루어지지 않으면 정확도가 떨어질 수 있습니다. 구글 특허
• 차량 자차모션(특히 고속 주행, 급가속/급제동, 좌우 흔들림 등)이나 도로면 상태(예: 눈, 빙판, 물웅덩이 등) 등이 검출 오류를 유발할 수 있습니다.
• 노면 재질·반사 특성, 조명 조건(섀도우, 역광 등)의 변화는 이미지 기반 검출에서 여전히 과제이며, 특허 문헌에서도 ‘그림자’ 요소를 고려하는 예가 나옵니다. 구글 특허
• 차량 주행 궤적이 커브이거나 도로 경사·횡경사(roll) 변화가 큰 경우에는 평면 가정(homography 기반)이 제한될 수 있습니다. 특허에서는 도로곡률(curvature)이나 2차 곡면(quadratic surface) 모델도 언급하고 있습니다. 구글 특허

 

요약

• 본 기술은 차량에 장착된 카메라 영상을 기반으로 도로면의 **수직 변화(범프, 요철 등)**를 탐지하기 위해 안정화된 좌표계를 도입한 방식입니다.
• 주요 흐름은 이미지캡처 → 동차변환 기반 차량모션 추정 → 도로평면 추정 → 안정좌표계 구축 → 스트립 기반 잔여움직임 추출 → 수직 편차 산출 → 멀티프레임 프로파일 통합입니다.
• 장점은 외란에 강하고 여러 프레임을 통합함으로써 노이즈를 줄이며, 실제 차량 주행환경에서 적용 가능하다는 점입니다.
• 다만 카메라/차량모션/조명/노면조건 등의 현실적 제약이 있으며, 특히 국내 도로 환경에선 추가 고려사항이 많습니다.

---

원하시면 본 특허의 수식이나 흐름도(flow chart)를 한국어로 단계별로 풀어드릴 수도 있습니다. 그렇게 할까요?