Task #122
완료됨마일스톤 #55: 시 운영 및 보완
노면 분류 AI 모니터링 (4월)
100%
설명
목적¶
- "배포된 AI 성능 모니터링 시스템" AI 평가 정책(2차 보완)에 기반한 시 운영
- AI 모니터링 평가 프로세스의 실효성 검증
- AI 모니터링 평가 정책을 보완할 점 발견
- AI 모니터링 평가 S/W에 반영되어야 할 기능/요구 사항 도출
목표¶
- 노면 분류 AI의 4월 운영 결과 평가 완료 (권현준)
- 지온 분류 AI의 4월 운영 결과 평가 완료 (박상현)
예상 개발 기간¶
- 4주
[1주차(5/07~10)] 전월 데이터 샘플링
[2주차(5/13~17)] AI 정확도 측정 / 학습 필요 데이터 정제
[3주차(5/20~24)] AI 개선 모델 제작 및 내부 테스트
[4주차(5/27~31)] AI 비교 평가 리포팅 (배포 안 함)
※ Standard data set 미확보 상태로 내부 AI들과 성능 비교에 제약 있음. 그러므로,
1) 4월 새로 제작한 모델과, 현장에 배포된 모델 2개 모델만 비교함
2) 두 모델의 평가는 4월 개선 AI 모델의 검증 셋을 사용함
참여 인력¶
- 노면 분류 AI (권현준)
- 지온 분류 AI (박상현)
파일
현준 권이(가) 일년 이상 전에 변경 · Edited
- 진척도을(를) 0에서 20(으)로 변경되었습니다.
[1주차(5/07~10)] 전월 데이터 샘플링 결과 보고드립니다.
20220428_000_41P0S1R1AX_1 (안양 석수)
4월 데이터
'dry' 파일 수: 1000
'humid' 파일 수: 343
'wet' 파일 수: 237
전월 보충 데이터
'dry' 파일 수: 0
'humid' 파일 수: 657
'wet' 파일 수: 763
20220826_001_40P0S0R0A0_0 (한국 원자력 안전 기술원)
4월 데이터
'dry' 파일 수: 1000
'humid' 파일 수: 356
'wet' 파일 수: 564
전월 보충 데이터
'dry' 파일 수: 0
'humid' 파일 수: 644
'wet' 파일 수: 436
20221109_001_40P0S1R1A0_0 (삼양사 중앙 연구소)
4월 데이터
'dry' 파일 수: 1000
'humid' 파일 수: 311
'wet' 파일 수: 645
전월 보충 데이터
'dry' 파일 수: 0
'humid' 파일 수: 689
'wet' 파일 수: 355
20230216_003_40P0S1R1AX_0 (청소년문화의집 옆)
4월 데이터
'dry' JPG 파일 수: 1000
'humid' JPG 파일 수: 159
'wet' JPG 파일 수: 807
전월 보충 데이터
'dry' JPG 파일 수: 0
'humid' JPG 파일 수: 841
'wet' JPG 파일 수: 193
현준 권이(가) 일년 이상 전에 변경
- 상태을(를) 진행에서 검토 대기(으)로 변경되었습니다.
[2주차(5/13~17)] AI 정확도 측정 / 학습 필요 데이터 정제 결과 보고드립니다.
-
20220428_000_41P0S1R1AX_1 (안양)
dry: 87.4% / humid: 53.4% / wet: 37.6% -
20220826_001_40P0S0R0A0_0 (대전)
dry: 97.7% / humid: 14.9% / wet: 8.6% -
20221109_001_40P0S1R1A0_0 (대전)
dry: 67.3% / humid: 47.8% / wet: 44.7% -
20230216_003_40P0S1R1AX_0 (제천)
dry: 99.1% / humid: 6.9% / wet: 8.3%
중은 정이(가) 일년 이상 전에 변경
- 상태을(를) 검토 대기에서 검토(으)로 변경되었습니다.
전체적으로 dry 에 대해서는 dry 라고 90% 이상 잘 맞추고 있는데,
humid 또는 wet에 대해서는 적중률이 저조한 상황이라고 인지하면 될까요?
dry 라고 찍는 편향이 있는 것 같이 보이네요
- 20220826_001_40P0S0R0A0_0 (대전)
- 20230216_003_40P0S1R1AX_0 (제천)
AI가 틀린 데이터들을 잘 모으고 이를 반영해서 재학습시키는 후속 과정이 필요할 것 같습니다.
현재까지 제가 의도한 데로 잘 따라와주고 있습니다! 수고많으십니다!
현준 권이(가) 일년 이상 전에 변경 · Edited
3주차: AI 개선 모델 제작 및 내부 테스트 결과 보고드립니다.
사용된 데이터 및 클래스는 아래와 같습니다. (snow 클래스 제외)
- dry: 3528(작년 데이터) + 126(올해 데이터) = 3654
- humid: 884(작년 데이터) + 2770(올해 데이터) = 3654
- wet: 578(작년 데이터) + 3076(올해 데이터) = 3654
학습 및 검증 비율은 8:2로 하여, 학습엔 2923개 / 검증엔 731개의 데이터를 사용했습니다.
전체 정확도는 72.8%이며, dry에 대한 정확도는 높으나, humid와 wet에 대한 정확도는 높지 않은 모습을 보였습니다.
현재 인프라센서에 사용중인 작년에 제작한 노면 ai모델을 위 데이터로 테스트를 해보려했으나, 에러가 발생하여 해결 중에 있습니다.
현준 권이(가) 일년 이상 전에 변경 · Edited
- 파일에 1-1.png 1-1.png이(가) 추가되었습니다.
- 파일에 1-2.png 1-2.png이(가) 추가되었습니다.
- 파일에 1-3.png 1-3.png이(가) 추가되었습니다.
- 파일에 1-4.png 1-4.png이(가) 추가되었습니다.
- 파일에 1-5.png 1-5.png이(가) 추가되었습니다.
- 상태을(를) 보류에서 검토 대기(으)로 변경되었습니다.
3주차: AI 개선 모델 제작 및 내부 테스트 결과 보고드립니다.
이전에 보고드린 내용에 코드 오류가 발견되어, 수정 후 다시 보고드립니다.
사용된 데이터 및 클래스는 아래와 같습니다. (snow 클래스 제외)
- dry: 3528(작년 데이터) + 126(올해 데이터) = 3654
- humid: 884(작년 데이터) + 2770(올해 데이터) = 3654
- wet: 578(작년 데이터) + 3076(올해 데이터) = 3654
학습 및 검증 비율은 8:2로 하여, 학습엔 2923개 / 검증엔 731개의 데이터를 사용했습니다.
새 학습 모델 훈련 정보입니다.
새 학습 모델 검증 결과입니다.
- dry: 91.8%
- humid: 63.5%
- wet: 73.3%
전체 정확도: 76.2%
이전 학습 모델 검증 결과입니다.
(4번 클래스는 클래스 수 맞추기 용도입니다.)
- dry:83.4%
- humid: 35.6%
- wet: 16.6%
전체 정확도: 45.1%
이전 학습 모델과 비교하여 전반적으로 정확도가 오른 형태를 보이는데(45.1% -> 76.2%)
humid의 오답은 dry와 wet에 각각 비슷한 비율을 보이고, wet의 오답은 대부분 humid에 높은 비율로 보이고 있습니다.
인프라센서 데이터용 stft 파라미터의 최적화 작업을 한다면, 더 정확도를 올릴 수 있다고 생각합니다.