Positive/Negative Optical flow

 양/음 Optical Flow의 의미

특허 개요 및 Optical Flow 정의

특허 US9118816B2(Road Vertical Contour Detection)는 카메라를 이용해 도로의 세로 윤곽(Vertical Contour), 즉 도로의 높낮이 변화를 정확히 검출하는 시스템을 다룹니다 이 시스템은 차량 전방 카메라 영상을 활용하여 실시간으로 도로의 높이 프로필(프로파일)을 측정하며, 차선이 없는 경우에도 도로 경계를 인식하거나 과속방지턱, 포트홀(pothole) 등을 탐지하는 등 운전자 보조에 활용됩니다=. 핵심 기술은 연속 영상 프레임 사이의 **이미지 움직임(Optical Flow)**을 분석하여, **도로 평면 모델이 예측하는 움직임과 실제 움직임의 차이(Residual Optical Flow)**를 계산하는 것입니다p. 이 잔여(optical) 플로우가 바로 도로 높이 윤곽의 변화, 즉 도로 평면에서의 이탈 정도를 나타냅니다

특허에서 Optical Flow는 첫 번째 영상 프레임과 두 번째 영상 프레임 사이의 도로 영상 움직임을 추정하는 것으로 정의됩니다

먼저 도로를 거의 평면으로 가정한 **도로 표면 모델(평면 혹은 2차 곡면 모델)**을 사용하여 두 프레임 사이의 예상 움직임(호모그래피 변환)을 계산하고 한 프레임을 다른 프레임에 맞춰 **워핑(warping)**합니다이렇게 하면 차량 자체 운동(전진에 따른 원근 변화, 피치/요 변화 등)으로 인한 이미지 움직임을 보정하여 평탄한 도로라면 정지했을 부분을 정렬해줍니다. 그 후 잔여 Optical Flow, 즉 예측된 도로 평면 움직임과 실제 관측된 움직임의 차이를 계산합니다이 잔여 Optical Flow가 0이면 도로가 예상대로 평탄한 것이고, 0이 아니라 위나 아래로 남는 부분이 있으면 그만큼 도로나 물체가 도로 평면에서 튀어나오거나 들어간 것이라고 볼 수 있습니다.

요약하면, 영상 간 Optical Flow를 측정하고 이를 도로 모델이 예측한 Optical Flow와 비교함으로써 도로 표면의 높이 변화(돌출 혹은 함몰)를 검출합니다. 특허에 따르면 이 방법으로 약 2cm 정도의 작은 높이 편차까지 감지할 수 있어, 과속 방지턱, 도로 노면의 구멍(맨홀, 포트홀), 연석(curb) 등의 작은 융기/침하도 탐지 가능하다고 합니다

양의 Optical Flow와 음의 Optical Flow 정의 (FOE 기반 분류)

특허에서는 Optical Flow 중에서도 수직 성분, 특히 도로 평면 대비 위쪽이나 아래쪽으로 벗어난 움직임에 주목합니다. **“양의(positive) Optical Flow”**는 **확장 중심(FOE, Focus of Expansion)**으로부터 멀어지는 방향의 흐름을 가리키며, 일반적으로 영상에서 “아래쪽 및 바깥쪽” 방향의 움직임을 뜻합니다. 반대로 **“음의(negative) Optical Flow”**는 FOE를 향해 수렴하는 방향의 흐름, 즉 영상에서 **“위쪽 및 안쪽”**으로 향하는 움직임을 의미합니다. 여기서 FOE는 카메라 진행 방향에 대한 소실점으로, **에피폴(epipole)**과 같은 개념입니다. 전방 주행 시 보통 FOE는 먼 전방의 소실점(대략 지평선 부근)에 해당하며, FOE로부터 멀어지는 흐름은 차량 전진으로 인해 영상 내에서 아래쪽으로 퍼져나가는 방향이 됩니다. 반대로 FOE를 향하는 흐름은 영상에서 위쪽(지평선 방향)으로 수렴하는 움직임입니다.

이 기준에 따라, 특허 알고리즘은 잔여 Optical Flow의 수직방향 성분 부호를 이용해 도로 위/아래 여부를 판별합니다. 도로 평면 위의 지점(평탄한 도로 표면)은 이상적으로 잔여 Optical Flow가 0에 가까운 움직임을 보여야 합니다patents.justia.com. 도로 평면보다 높은 특징(예: 도로 위에 솟은 물체나 도로 가장자리의 연석 등)은 카메라에 더 가깝기 때문에, 동일한 전진 움직임에서 **영상에서는 더 큰 하향 운동(FOE로부터 멀어지는 방향)**을 나타냅니다. 따라서 이런 지점들은 **잔여 Optical Flow가 양수(positive)**로 나타납니다patents.justia.com. 반대로 도로 평면보다 낮은 특징(예: 도로의 구멍이나 움푹 패인 부분, 내려앉은 맨홀 등)은 실제 카메라에서 더 멀어진 위치에 있으므로 예상보다 적게 이동하며, 영상에서는 **상향 운동(FOE 방향)**으로 잔여 흐름이 **음수(negative)**로 나타납니다patents.justia.com. 특허에서는 “도로 평면 위의 점들은 거의 0의 흐름을 보여야 하고, 도로 평면 위에 있는 특징은 0보다 큰 흐름을, 도로 평면 아래에 있는 특징은 0보다 작은 잔여 흐름을 보인다”고 설명하고 있습니다patents.justia.com. 여기서 0보다 크다는 것은 FOE로부터 멀어지는(+) 방향으로의 흐름, 0보다 작다는 것은 FOE로 향하는(–) 방향 흐름을 뜻합니다.

정리하면, 잔여 Optical Flow의 수직 성분이 양수인지 음수인지로 해당 지점의 높이 변화 방향을 판단합니다patents.justia.com. 양의 Flow = 카메라 진행 방향 기준 앞쪽/위쪽에 상대적으로 튀어나온 부분 (잔여 화소들이 예측보다 아래쪽으로 더 이동)이며, 음의 Flow = 상대적으로 들어간 부분 (잔여 화소들이 예측보다 위쪽으로 덜 이동)입니다.

Positive/Negative Flow 판별 기준과 역할

Positive vs. Negative Residual Flow의 판별 기준은 주로 잔여 Optical Flow의 수직 성분의 부호와 크기입니다. 특허 구현에서는 일정 임계값을 정하여, 잔여 수직 흐름이 +0.5 화소 이상이면 양의 흐름이 뚜렷한 영역, –0.5 화소 이하이면 음의 흐름이 뚜렷한 영역으로 간주하는 예를 들고 있습니다patents.justia.com. 예컨대, 잔여 수직흐름이 +0.5픽셀 초과인 점들은 실제 도로보다 높이 솟은 물체에 해당할 가능성이 높으며, –0.5픽셀 미만인 점들은 도로보다 패인 부분이나 분리된 객체일 확률이 높습니다patents.justia.com. 이러한 양/음 흐름 점들을 시각화한 결과, **도로 가장자리 연석 위의 보도(blind 또는 sidewalk)**는 +방향 흐름 점들이 밀집되어 나타났고, 도로에 움푹 패인 맨홀 뚜껑은 –방향 흐름 점들이 뚜렷하게 나타났습니다patents.justia.com. 또한 차량 전방에 있는 다른 차량 및 그 그림자처럼 도로에 고정되지 않은 객체들도 잔여 Optical Flow가 크게 나타나며, 실험 결과 음의 흐름(–)으로 분류되었다고 보고됩니다patents.justia.com. 이는 이동 물체나 도로 위에 있지만 도로면과 다른 움직임을 보이는 물체 역시 잔여 흐름으로 식별된다는 의미입니다.

특허는 Matlab Quiver Plot으로 잔여 Optical Flow를 화살표로 표시한 예시(FIG. 10)를 제시하며, 이 그림에서 도로 표면에는 화살표 길이가 거의 0에 가까운 점들이 분포하고, 보도(연석 위) 영역에는 FOE에서 바깥쪽(아래쪽)으로 뻗는 화살표들(양의 흐름)이 균일하게 나타났으며, 도로 내의 움푹 팬 맨홀 뚜껑 부근에는 FOE 방향(위쪽)으로 향하는 화살표들(음의 흐름)이 나타난 것을 보여줍니다patents.justia.compatents.justia.com. FIG. 12에서는 잔여 Optical Flow의 y성분만을 그레이스케일 이미지로 표현했는데, 여기서 도로 우측 바퀴 경로에 있는 음의 잔여 흐름 영역이 짙은 색(음수에 해당하는 어두운 영역)으로 나타났습니다patents.justia.com. 이 어두운 부분은 실제 도로가 내려앉은 **맨홀 뚜껑(도로 평면보다 낮은 부분)**에 대응하며, 그래프로 표현한 행별 평균값에서도 해당 위치에 뚜렷한 **음의 피크(음의 dip)**가 나타났습니다patents.justia.com. 이는 잔여 Optical Flow 기법이 도로 위의 작은 함몰도 명확히 포착함을 보여줍니다.

에피폴(FOE)과 흐름 방향 기준

**에피폴(epipole)**은 두 카메라 좌표계 사이의 대응 관계에서 생기는 특별한 점이지만, 단안 카메라에서 **FOE(Focus of Expansion)**와 사실상 동일한 개념으로 볼 수 있습니다. 여기서는 카메라가 진행하는 방향의 소실점이 FOE이며, 전방으로 움직이는 카메라에서는 정적 환경의 Optical Flow가 모두 이 FOE로부터 방사형으로 퍼져나가는 형태를 띱니다. 특허 알고리즘은 FOE를 기준으로 Optical Flow의 방향을 분석하는데, FOE로부터 **“멀어지는 방향”**의 흐름을 양(+)으로 정의했기 때문에, **FOE보다 아래쪽 영역에서는 아래로 퍼져나가는 흐름이 +**로, **FOE보다 위쪽(지평선 위쪽) 영역에서는 위로 퍼져나가는 흐름이 +**로 간주됩니다patents.justia.com. 다만 일반적인 도로 환경에서는 관심 영역이 **지평선 아래(차량 전방 도로)**에 있으므로, 현실적으로 양의 Residual Flow는 아래쪽/바깥쪽 방향, 음의 Residual Flow는 위쪽/안쪽 방향과 거의 동일하게 해석됩니다patents.justia.com. 결과적으로 Optical Flow의 방향을 FOE 대비 바깥쪽(+)이나 안쪽(–)으로 분류함으로써 해당 지점이 도로 평면보다 높거나 낮은지를 판단하는 것입니다.

도로 경계 식별 및 활용 방법

**잔여 Optical Flow의 부호 분류(양/음)**는 도로 위/밖의 구분, 특히 도로 경계 식별에 효과적으로 활용됩니다. 특허에서는 한 응용 사례로 인도 연석(보도 경계) 검출을 들고 있습니다. 도로와 인도가 만나는 연석 영역은 도로 평면보다 높이 솟은 구조물이므로, 카메라 영상에서 연석 위 보도는 **일정한 양의 Residual Flow 영역(균질한 양의 흐름 영역)**으로 나타납니다patents.justia.compatents.justia.com. 반면 바로 옆의 도로 표면은 Residual Flow가 거의 0에 가까운 영역입니다. 따라서 도로와 보도 사이 경계에는 잔여 Optical Flow 값이 낮은 영역과 높은 영역이 인접해 있고, 그 사이에 늘씬한 선 형태의 경계가 나타납니다patents.justia.com. 특허에 따르면 이 경계선은 차선의 소실점 방향(FOE 방향), 다시 말해 도로 진행 방향에 평행하게 길게 뻗는 선형 특징으로 나타나며, 이를 통해 연석을 따라 길게 이어진 보도 경계를 인식할 수 있다고 합니다patents.justia.com. 요약하면, **“잔여 흐름이 거의 0인 도로 영역”**과 **“양의 잔여 흐름이 비교적 균일하게 큰 인도(연석 위) 영역”**이 공존하고, 그 경계에 세로 형상의 길쭉한 선이 포착되면 해당 선을 **도로 경계(연석)**로 판별할 수 있다는 것입니다patents.justia.com.

이와 유사하게, 도로 가장자리의 다른 형태의 경계들도 잔여 Optical Flow로 식별 가능합니다. 예를 들어 **급경사 낭떠러지나 도로의 끝(edge)**를 생각해보면, 도로가 갑자기 끊기고 그 앞 아래로 낮은 지형이나 빈 공간이 있는 경우, 도로 끝 너머 영역은 카메라에서 보면 도로 평면보다 훨씬 낮은 부분입니다. 이런 경우 도로 끝 부분을 지나 보이는 지면 혹은 배경은 음의 Residual Flow 영역(예상보다 덜 내려오는, 심지어 위로 보정되는 흐름)으로 나타날 가능성이 높습니다. 따라서 도로 경계선 바깥쪽에 음의 잔여 흐름 영역이 나타나고 그것이 도로 경계선을 따라 길게 분포한다면, 이는 낭떠러지나 내리막 경사 등으로 인해 도로 밖 지형이 급격히 낮아지는 상황으로 해석될 수 있습니다. 반대로 도로 옆 방호벽이나 난간처럼 도로 가장자리 위로 솟은 구조물은 그 표면이 도로보다 높으므로, 해당 위치에서는 양의 Residual Flow가 나타나게 됩니다. 이러한 경우 방호벽의 윗부분과 도로 표면 사이 경계가 잔여 Optical Flow 차이로 뚜렷이 드러날 것이며, 이를 이용해 단순한 차선 페인트가 없어도 물리적인 도로 경계를 파악할 수 있습니다.

요컨대, Positive/Negative Optical Flow 분류 기법은 차량 전방 환경에서 도로의 입체적 경계나 장애물을 인식하는 데 중요한 역할을 합니다. 양의 Residual Flow 영역은 도로 위로 돌출된 부분을 가리키므로 연석, 보도, 방호벽, 도로 위 장애물(예: 솟은 맨홀 뚜껑이나 융기)을 식별하는 데 활용됩니다patents.justia.compatents.justia.com. 음의 Residual Flow 영역은 도로보다 낮은 부분을 나타내므로 포트홀, 패인 도로, 도로 끝단의 낭떠러지나 아래로 꺾인 경사면을 감지하는데 유용합니다patents.justia.compatents.justia.com. 특허에서는 실제 예로 보도 연석과 **도로 내 함몰부(맨홀)**를 보여주며, 각각 양의 흐름 영역과 음의 흐름 영역으로 뚜렷하게 검출됨을 확인했습니다patents.justia.compatents.justia.com. 또한 이 방법은 도로 프로파일을 정밀 추정하여 작은 요철(약 2cm 높이 차이)까지 감지할 수 있으므로, 과속 방지턱이나 도로면 팽창 이음새 같은 미세한 돌출도 인지할 수 있습니다patents.google.com. 이를 통해 운전자 경고(예: 범피 도로 경고)나 차량의 능동 서스펜션 제어, 혹은 자율주행에서 도로 이탈 방지 등에 응용할 수 있습니다.

실제 응용 사례 및 효과

이 기술은 **운전자 보조 시스템(DAS)**에 통합되어 실시간으로 도로의 세로 프로파일을 인식함으로써 다양한 안전 및 편의 기능에 기여합니다. 예를 들면:

• 차선이 희미하거나 없어도 도로 경계를 추정: 차선 인식이 어려운 상황에서 연석이나 도로 가장자리의 높이 변화를 감지하여 차량이 도로를 이탈하지 않도록 도울 수 있습니다. 양의/음의 Optical Flow로 검출된 연석이나 낭떠러지 정보는 **LDW(차선이탈경고)**나 자동 조향 보조 시스템에 활용되어 차량이 안전한 영역 내에 머물도록 유지시킬 수 있습니다.
• 도로의 요철 및 장애물 탐지: 전방 카메라로 감지된 과속방지턱, 포트홀, 침하 등은 운전자에게 시각/청각 경고를 주거나, 차량의 **능동 현가장치(서스펜션)**나 브레이크가 미리 대비하도록 정보를 제공할 수 있습니다. 작은 높이 변화도 검출 가능하기 때문에, 승차감 향상이나 충격 방지에 도움을 줄 수 있습니다.
• 전방 추돌경고 및 보행자 보호 향상: 도로 위 물체(예: 떨어진 화물, 보행자 발 등)가 도로 평면에서 튀어나온 경우 양의 Residual Flow로 나타나므로, **전방 충돌 경고(FCW)**나 보행자 검출 알고리즘에 추가 정보를 제공합니다. 예를 들어 보행자가 도로 가장자리 연석에 서 있는 경우 그 연석과 보도 영역의 높이 차도 인지할 수 있어, 상황을 더 정확히 파악하는 데 기여합니다.

이러한 Road Vertical Contour Detection 기술은 단일 카메라로 차량 전방 3차원 정보를 일부 복원해낸다는 점에서 의미가 큽니다. 기존의 카메라 기반 ADAS 기능들(차선인식, 신호판 인식, 전방차 경고 등)에 더해, 도로의 입체적 형태까지 파악함으로써 주행 환경을 더 풍부하게 이해하게 됩니다. 실제 Mobileye 제품군에서는 이 개념을 활용하여 도로 경사도 추정, 범프 경고, 도로 이탈 판단 등 다양한 기능을 제공하는 것으로 알려져 있습니다. 특허 기술 실험 결과에서도 연석(보도)과 맨홀 함몰부를 명확히 감지하여 시각화한 예시가 제시되어 있으며, 이는 곧 실제 주행 환경에서 이러한 높이 차이를 성공적으로 인식할 수 있음을 보여줍니다. 결론적으로, 양/음의 Optical Flow 개념은 카메라 영상에서 도로 위/밖의 높이 차 특징을 판별하는 핵심 요소로 작용하며, 에피폴(FOE)을 기준으로 한 흐름 방향 분류를 통해 안전운전에 중요한 도로 경계와 장애물을 실시간으로 식별할 수 있게 해주는 기술입니다.