Actions
Task #236
진행중마일스톤 #139: [비전] 노면 상태 인식 AI (Toy-PJ)
MobileNet 성능 검증 (2차)
상태:
검토 대기
담당자:
시작일:
2024/05/27
완료기한:
2024/06/14 (약 17달 지연)
진척도:
20%
설명
목적¶
- Task #142 통해서, 현재까지 사용한 훈련데이터와 검증데이터 셋은 서로 적합하지 않다는 점 확인.
- 데이터바우처 6월 데이터 내부에서, 서로 섞이지 않게 훈련, 검증 데이터를 나누고 이를 학습 및 검증한 결과 필요
목표¶
- MobileNet 을 데이터바우처 6월 데이터 내부에서 훈련/검증 데이터를 나누고 이를 학습한 결과 도출
데이터바우처 6월 총 데이터에서 no-use를 제외한 후, 총 9개 조합에 대한 실험 검증
- 남은 데이터에서 Random sampling 하여 훈련:검증 조합을 실험
- 훈련:검증 의 5가지 조합 = 5:5, 6:4, 7:3, 8:2, 9:1
- 남은 데이터에서 기간으로 분할해서 훈련:검증 조합을 실험
- 조합 1
- 훈련: 5가지 기기에 대한 2022년 11월-12월 데이터
- 검증: 5가지 기기에 대한 2023년 1월-2월 데이터
- 조합 2
- 훈련: 5가지 기기에 대한 2022년 11월, 2023년 1월 데이터
- 검증: 5가지 기기에 대한 2022년 12월, 2023년 2월 데이터
- 남은 데이터에서 기기로 분할해서 훈련:검증 조합을 실험
※ 기기 번호는 임의로 부여
- 조합 1
- 훈련: 5가지 기기 중 3개 기기에 대한 데이터 (1, 2, 3)
- 검증: 나머지 2개 기기에 대한 데이터 (4, 5)
- 조합 2
- 훈련: 5가지 기기 중 3개 기기에 대한 데이터 (3, 4, 5)
- 검증: 나머지 2개 기기에 대한 데이터 (1, 2)
- 실험 결과를 Notion 에 기록
투입 인력¶
- 박상현
예상 수행 기간¶
- 3주
상현 박이(가) 일년 이상 전에 변경
- 상태을(를) 보류에서 검토 대기(으)로 변경되었습니다.
- 진척도을(를) 0에서 100(으)로 변경되었습니다.
mobilenet_v3_small 모델 (건조, 습윤, 젖음, 슬러쉬 4가지 분명한 라벨링만 사용)
-
전체 정확도 99.4%의 굉장히 고성능을 보여준다.
-
데이터 수가 절대적으로 많은 건조 데이터를 제외하고 성능을 평가해도 98.8%의 높은 정확도를 기록함
-
논의점
- 애매한 라벨링 (건조/습윤, 습윤/젖음, 젖음/슬러쉬)를 포함하여 추론시 발생할 성능 저하 이슈에 대한 고민 필요
- 부분적 데이터 사용으로 인한 과적합 문제를 학습 데이터 증대를 통해 해결해야 함
Actions