8_Sensor Fusion (Sound+Vision)

목적¶

　1) Image Segmentation 모델 개발 시 초벌 분류 활용
　　- 1차 분류 후 Segmentation 할 수 있도록
　2) 데일리 DB 를 자동화에 활용
　3) 동일한 데이터셋으로 음파 vs 비전 비교 연구

현황¶

• 분류 종류 : 2024 데이터바우처 지원사업 분류기준 9가지
• 활용 데이터: 데이터바우처 지원사업 2023년 6월 데이터
• 실험데이터 구성 [표로]
• 실험 정확도 (Accuracy) : 92%
• 개발 모델 : MobileNet-v3 [python / pytorch]

• https://pytorch.org/vision/stable/models/mobilenetv3.html
• Python 3.9.18
• PyTorch 2.1.1+cu118

　- 연구 기간 : 2024년 3월 ~ 4월
　　* MobileNet 개발 환경 구축
　　* MobileNet 초기 모델 개발

목표¶

　Efficient Det 기반 이미지 활용 노면 분류 AI 개발
　- 시각적으로 명확한 클래스 기준 각 클래스 최소 Recall 정확도 80% 이상
　※ 애매 Class [습윤/결빙 or 젖음/결빙 or 습윤/젖음] 제외
　- 전체 평균 정확도 (Accuracy) : 90%
　- 대상 데이터: 데이터바우처 지원사업 2023년 6월 데이터

개발 기간 : 2024년 5월 ~ 8월¶

핵심 Task¶

　- (1단계/1개월) AI 활용 데이터 검수/정제
　- (2단계/1개월) MobileNet 성능 향상 연구
　- (3단계/1개월) 다른 AI 모델 Benchmark 연구
　　* 검토 신경망: ViT_L_32, LiVT 등
　　* 가장 성능이 좋은 데이터를 실용에 활용
　- (4단계/1개월) 연구 결과 정리/실용화 개발