[H-모빌리티 클래스 자율주행 인지 기초 내용 정리]20. 센서융합 기술 사례

1. 카메라, 레이더 센서 융합

 

1) 카메라 : 물체에 대한 정확한 인식 결과를 주는 데 반해 위치 측정 정확도는 떨어짐

 

2) 레이더 : 물체의 거리에 대한 정확한 측정 결과를 제공하지만 클러터나 잡음으로 인해 오탐률이 높음

 

3) 두 가지 센서의 장단점을 보완하기 위한 카메라 레이다 센서 융합

   1. 레이더 검출 결과 또는 중간 단계 결과를 카메라 좌표계로 투영하여 병합하는 방법

   2. 카메라 영상 기반 물체 검출 결과 또는 중간 단계 결과를 레이더의 3차원 좌표계로 변환하여 융합하는 방법이 필요

   3. 카메라 좌표계와 3차원 좌표계 간 변환이 가능해야 함 -> 카메라, 레이더 캘리브레이션 적용

   4. 카메라는 2차원, 레이더는 3차원이기 때문에 변환하게 되면 일대다 관계를 가짐

   5. 3차원 좌표계의 한 점을 카메라 좌표계로 투영 가능 but 카메라 좌표계의 한 점은 3차원 좌표계에서 여러 점으로 투영

 

4) 카메라, 레이더 센서 융합 전략

   1. 레이더 검출 결과 또는 중간 단계 결과 -> 카메라 좌표계로 투영하여 병합

   2. 카메라 영상 기반 물체 검출 결과 또는 중간 단계 결과 -> 레이더의 3차원 좌표계로 변환하여 융합

 

2. 카메라, 라이다 센서 융합

 

1) 라이다 : 3차원 공간에 대한 정확한 거리 정보를 제공하지만 물체에 대한 색상, 형태 정보는 얻지 못함

 

2) 카메라와 라이다 센서를 융합하여 검출 성능 개선

   1. 카메라 좌표계와 라이다의 3차원 좌표계 간 변환이 필요 -> 카메라, 라이다 캘리브레이션 적용

   2. 카메라 중심의 융합 : 카메라를 통한 검출이 메인이 되고 라이다 포인트 데이터는 보조적으로 사용

   3. 라이다 중심의 융합 : 라이다 데이터의 해상도가 높은 경우 라이다 포인트 클라우드를 이용한 3차원 또는 조감도 영역에서의 물체 검출이 가능하므로, 카메라를 통한 검출 결과는 보조적으로 사용

 

퀴즈)

1. 다음 중 자율주행 센서에 대한 설명으로 옳지 않은 것은? 답 4

 

1. 다양한 종류이 센서를 사용한다.

2. 센서마다 장단점이 있다.

3. 외부의 물리적 신호를 전기적 신호로 변환한다.

4. 복합 센서를 사용하는 경우 인지 성능이 저하된다.

 

2. 다음 중 복합센서 융합 기술에서 센서 융합 전략으로 옳지 않은 것은? 답 1

 

1. 양방향 융합 전략

2. 중간 융합 전략

3. 후기 융합 전략

4. 초기 융합 전략