16장. AI 데이터 정제와 데이터 증강

정리

• 데이터 정제는 읽어 보기, 재어 보기, 고르기, 맞추기의 네 걸음입니다. 원본은 두고 결과를 새 폴더에 쓰며, 버린 파일은 이유와 함께 표로 남깁니다.
• 빈 파일은 크기 0, 깨진 파일은 cv2.imread 의 None 으로 거르고, IMREAD_UNCHANGED 로 읽어 채널 1(흑백)과 4(투명)를 찾아 COLOR_GRAY2BGR·COLOR_BGRA2BGR 로 맞춥니다.
• 밝기는 4장의 판정을 다시 씁니다. 평균 40 미만이나 하얗게 날아간 사진은 버리고, 조금 어두운 사진은 정규화로 고칩니다. lime_10.png 는 평균 62.7 에서 141.6 이 되었습니다.
• 흐림 점수는 Laplacian 결과의 분산(평균에서 떨어진 거리의 제곱의 평균)입니다. 흐린 사진 셋은 3.2~6.1, 선명한 사진은 203.8 이상이어서 기준 100 으로 갈랐고, 어두운 사진은 밝기를 고친 뒤 잽니다.
• MD5 는 바이트까지 같은 복사본(2쌍)을, 평균 해시는 다시 저장한 비슷한 사진(tangerine_11.jpg, 거리 0)까지 찾습니다. 다른 사진끼리는 거리가 9 이상이었습니다.
• 데이터 증강은 정답이 바뀌지 않는 변환만 씁니다. 화살표·글자 뒤집기, 6 돌리기, 귤의 색상 +30(H 15 → 45, 라임 47)은 정답을 바꿉니다.
• 증강은 씨앗을 고정해 확률로 걸고, 시험용을 먼저 떼어 학습용만 늘립니다. 프로젝트에서 38개가 정제 후 27장, 학습용 21장이 증강 후 84장이 되었고 시험용 6장은 그대로 두었습니다.