16장. AI 데이터 정제와 데이터 증강

용어 짚고 가기

데이터 정제(data cleaning)모은 데이터에서 쓸 수 없는 것을 골라내고 고칠 수 있는 것은 바로잡는 일입니다. cleaning 은 "청소"라는 뜻입니다.
데이터 증강(data augmentation)뒤집고 돌리고 밝기를 바꾼 사진을 더해 학습 데이터를 늘리는 일입니다. augment 는 "늘리다"라는 뜻입니다. 14장에서 이름만 소개했습니다.
GIGO(Garbage In, Garbage Out)쓰레기가 들어가면 쓰레기가 나온다는 말입니다. 나쁜 데이터로 배운 모델은 나쁜 답을 낸다는 뜻으로 씁니다.
클래스(class)분류에서 붙이는 이름 하나하나입니다. 이 장의 클래스는 사과(apple), 귤(tangerine), 라임(lime) 셋입니다. 1장의 분류(classification)와 같은 뿌리의 말입니다.
라벨(label)사진마다 붙인 정답 이름표입니다. label 은 "꼬리표"라는 뜻입니다. 이 장에서는 파일 이름의 앞부분이 라벨입니다.
알파 채널(alpha channel)칸마다 얼마나 투명한지를 적은 넷째 채널입니다. 2장의 BGRA 그림에서 본 A 입니다. alpha 는 그리스 문자의 첫 글자로, 색 채널 뒤에 붙는 덧칸을 부르는 이름입니다.
흐림 점수(blur score)사진이 얼마나 선명한지 나타내는 숫자입니다. 이 장에서는 Laplacian 결과의 분산을 씁니다. 클수록 선명합니다.
분산(variance)값들이 평균에서 떨어진 거리를 제곱해 평균 낸 것입니다. 4장에서 본 표준편차를 제곱한 값과 같습니다. vary 는 "달라지다"라는 뜻입니다.
기준값(threshold)이보다 작으면 버리고 크면 남기는 경계 숫자입니다. 8장의 임계값과 같은 말입니다. threshold 는 "문지방"이라는 뜻입니다.
중복(duplicate)같은 사진이 이름만 달리해 두 번 이상 들어 있는 것입니다. duplicate 는 라틴어 duplex(두 겹)에서 온 말입니다.
해시(hash)긴 데이터를 짧은 글자로 줄인 지문입니다. 내용이 같으면 지문도 같습니다. hash 는 "잘게 다지다"라는 뜻입니다.
MD5(Message Digest 5)파일의 바이트로 32글자짜리 지문을 만드는 해시 방법입니다. digest 는 "요약"이라는 뜻이고 5 는 다섯째 판이라는 뜻입니다.
평균 해시(average hash)그림을 8×8 로 줄인 뒤 평균보다 밝은 칸은 1, 어두운 칸은 0 으로 적은 64칸짜리 그림 지문입니다. 비슷한 그림은 지문도 비슷합니다.
해밍 거리(Hamming distance)길이가 같은 두 지문에서 서로 다른 칸의 개수입니다. 이 셈을 처음 쓴 수학자 해밍(Hamming)의 이름을 붙였습니다.
파일 이름 규칙(naming convention)파일 이름을 짓는 약속입니다. 이 장에서는 클래스_번호.png 꼴(apple_001.png)로 짓습니다. convention 은 "관례, 약속"이라는 뜻입니다.
학습용 데이터(train set)모델이 보고 배우는 사진 묶음입니다. train 은 "훈련시키다"라는 뜻입니다.
시험용 데이터(test set)학습이 끝난 뒤 모델의 실력을 재는 사진 묶음입니다. 학습에 쓰지 않고 따로 떼어 둡니다.
기하 증강(geometric augmentation)뒤집기, 회전, 자르기, 옮기기처럼 칸의 자리를 옮겨 늘리는 증강입니다. 14장의 기하학 변환을 씁니다.
색 증강(color augmentation)밝기, 대비, 색상, 블러, 노이즈처럼 칸의 값을 바꿔 늘리는 증강입니다.
확률적 적용(random application)변환마다 "이번에 걸지 말지"를 주사위처럼 정하는 일입니다. rng.random() < 0.5 면 절반쯤의 사진에만 겁니다.
씨앗(seed)난수 만들개의 시작 숫자입니다. 같은 씨앗이면 언제 돌려도 같은 난수가 나와 결과를 다시 만들 수 있습니다. 6장에서 노이즈를 만들 때 썼습니다.
정답 보존(label-preserving)변환한 뒤에도 정답 이름표가 그대로 맞는 성질입니다. 사과를 뒤집어도 사과이므로 좌우 뒤집기는 과일 사진에서 정답을 보존합니다.
거울 글씨(mirror writing)좌우를 뒤집어 거울에 비친 것처럼 된 글씨입니다. 14장에서 뒤집기의 주의할 점으로 보았습니다.