8_Sensor Fusion (Sound+Vision)

1. 데모 코드 작성완료
2. AI 바우처 도로 노면 세그멘테이션 모델 개발을 기다리는 중

중은 정의 댓글:

목적¶

• 이미지를 활용한 음파의 감지 범위 확장 기술의 구현. 2024 AI 바우처 지원사업을 통해 추진 중
  • 비전 AI 기반 노면 Segmentation, 개인정보 침해 요소(사람 얼굴, 차량 번호판) Segmentation 기술은 올빅뎃에서 구현

목표¶

• 센서 퓨전 알고리즘 함수 구현

• 함수 입력 값

  • 입력 파라미터 현장에서 촬영된 이미지
  • 이미지 내에서 음파 타격점 (X, Y) 값 : 본 Task 에서는 이미지 중심 점으로 가정

• 함수 출력 값

  • 개인정보 침해 요소 검출 영역이 Blur 처리되고, 노면 종류 별로 Segmentation 처리 이미지

• 아래의 순서로 구동 되는 함수 일체를 구현

1. 올빅뎃에서 구현할 개인정보 침해 요소 Segmentation AI 호출

• 입력 값 : 현장에서 촬영된 이미지
• 결과 값 : 개인정보 침해 요소 검출 영역 정보 (JSON 파일)

2. 검출 영역을 Blur 처리, 또는 삭제 처리

• 입력 값 : 현장에서 촬영된 이미지, 개인정보 침해 요소 검출 영역 정보 (JSON 파일)
• 결과 값 : 개인정보 침해 요소가 Blur/삭제 처리된 이미지

3. 올빅뎃에서 구현할 노면 종류 별 Segmentation AI 호출

• 입력 값 : 개인정보 침해 요소가 Blur/삭제 처리된 이미지
• 결과 값 : 노면 검출 영역 정보 (JSON 파일)

4. 음파 타격점을 포함한 Segmentation 영역의 Class 가 Dry(건조) 여부 판단

• 입력 값 : 음파 타격점, 노면 검출 영역 정보 (JSON 파일)
• 결과 값 : TRUE/FALSE

5. 상기 결과에 따른 분기

• 입력 값 : TRUE/FALSE, 음파 타격점
• 결과 값 : 업데이트 된 노면 검출 영역 정보 (JSON 파일)

5-1) True(=Dry) : Do nothing (노면 검출 영역 정보 업데이트 없음)
5-2) False : 모바휠에서 구현한 음파 AI 호출

• 음파 AI 구동하기 위한 음파 Raw-data 전달 구현 필요 (AI 구동 코드 내부에 데이터 가공 전 처리 코드 존재)
• 음파 타격 점을 포함한 Segmentation 영역의 Class 를 음파 AI 결과 값으로 대체 : 노면 검출 영역 정보 업데이트 (JSON 파일)

6. 업데이트 된 노면 검출 영역 정보로 Segmentation 이미지 생성

• 입력 값 : 업데이트 된 노면 검출 영역 정보 (JSON 파일)
• 출력 값 : 개인정보 침해 요소 검출 영역이 Blur 처리되고, 노면 종류 별로 Segmentation 처리 이미지

담당자¶

• 박상현 주임

개발 기간¶

• 3주