Task #142
완료됨마일스톤 #139: [비전] 노면 상태 인식 AI (Toy-PJ)
AI 연구 개발용 데이터 검수/정제
100%
설명
목적¶
- Efficient Det 초기 모델 개발에서, 훈련 정확도 대비 테스트 정확도가 현저하게 낮은 증상 보이고 있음
- 훈련 데이터 : 2023 데이터바우처 지원사업 6월 데이터
- 검증 데이터 : 2024 년 축적 중인 Daily DB 데이터
- 훈련 데이터와 검증 데이터 사이에 이미지의 현저한 차이가 있을 것으로 예상되며, 데이터에 대한 정제는 이뤄지지 않은 상황
- 훈련 데이터와 검증 데이터를 직접 확인하고, 정제하여 올바른 학습과 검증이 될 수 있도록 유도하기 위함
목표¶
- 훈련 데이터/검증 데이터 육안 확인 및 차이 분석
- 훈련/검증용 데이터 정제. 클래스 별로 수량 확보 (수량 확정은 미정)
예상 개발 기간¶
- 4주
참여 인력¶
- 박상현
파일
상현 박이(가) 일년 이상 전에 변경
- 파일에 데이터바우처 6월.xlsx 데이터바우처 6월.xlsx이(가) 추가되었습니다.
개요
-
현재 사용중인 올빅뎃 6월 라벨링 데이터의 5개 센서만 가지고 있다.
-
20220826_000_40P0S0R0A0_0, 20220428_000_40P0S1R1AX_0, 20220826_001_40P0S0R0A0_0, 20221109_000_40P0S1R1A0_0, 20221109_001_40P0S1R1A0_0 (현재 시리얼 기준)
-
G00000008, G00000009, G00000011, G00000013, G00000014 (과거 gateway_id 기준)
-
현재 모바휠 자체 데이터의 경우, 10개 이상 사이트에서 데이터 수집 중
결론
-
올빅뎃 6월 데이터는 데이터 편향의 문제가 있다.
-
지속적인 DailyDB 운용을 통해 데이터 다양성의 확보가 필요하다.
중은 정이(가) 일년 이상 전에 변경 · Edited
- 상태을(를) 검토 대기에서 검토(으)로 변경되었습니다.
- 진척도을(를) 50에서 100(으)로 변경되었습니다.
상현 주임님!
말씀해주신 데로 훈련 데이터가 본 적이 없는 사이트 (데이터바우처 6월에 포함되지 않은 나머지 5개 사이트) 에 대해서도 예측을 하라고 하면 성능이 당연히 낮을 것 같습니다.
현재 훈련 데이터셋과 검증 데이터셋은 mobileNet 모델을 검증하는데 적합한 쌍이 아닌 것 같습니다.
6월 데이터 내에서 서로 섞이지 않게 [훈련 / 검증] 데이터를 나누어 (5:5 든, 7:3 이든 좋습니다.) 모델의 성능을 시험해보면 좋겠습니다.
만약 DailyDB 로 모은 데이터 수량이 충분하다면 꼭 데이터바우처 6월 데이터일 필요도 없습니다.
DailyDB 를 통해 데이터를 모으고 있으니, 현 Task는 여기서 종료하도록 하겠습니다.
수고하셨습니다.