프로젝트 1 — 학습용 묶음 만들기: 정제 → 크기 통일 → 증강

import os
import shutil
import hashlib
import cv2
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

plt.rcParams["font.family"] = "Malgun Gothic"
plt.rcParams["axes.unicode_minus"] = False

folder = "ch16_raw"
CLASSES = ["apple", "tangerine", "lime"]
names = sorted(n for n in os.listdir(folder) if n != "answer.csv")
removed, kept, fixed = [], {}, []

# 요구사항 1: 실습 1의 관문
for name in names:
    path = os.path.join(folder, name)
    if os.path.getsize(path) == 0:
        removed.append({"파일": name, "이유": "빈 파일"})
        continue
    img = cv2.imread(path, cv2.IMREAD_UNCHANGED)
    if img is None:
        removed.append({"파일": name, "이유": "깨짐"})
        continue
    if min(img.shape[:2]) < 64:
        removed.append({"파일": name, "이유": "너무 작음"})
        continue
    if img.ndim == 2:                                  # 흑백 → 세 채널
        img = cv2.cvtColor(img, cv2.COLOR_GRAY2BGR)
        fixed.append(name)
    elif img.shape[2] == 4:                            # 투명 채널 → 세 채널
        img = cv2.cvtColor(img, cv2.COLOR_BGRA2BGR)
        fixed.append(name)
    kept[name] = img

print("1단계 뒤 남은 사진:", len(kept), "/ 버린 파일:", [r["파일"] for r in removed])
print("채널을 맞춘 사진:", fixed)

def blur_score(img):
    """흑백 Laplacian 의 분산. 클수록 선명하다."""
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    return float(cv2.Laplacian(gray, cv2.CV_64F).var())

def exposure(gray):
    """이 장의 밝기 판정표."""
    mean, bright = float(gray.mean()), float((gray > 205).mean())
    if mean < 40:
        return "아주 어두움"
    if mean < 80 or float((gray < 50).mean()) > 0.4:
        return "어두움"
    if mean > 175 or bright > 0.4:
        return "밝음"
    return "정상"

# 요구사항 2: 밝기 판정 → (고친 뒤) 흐림 점수
for name in list(kept):                                # 돌면서 지우므로 이름 목록을 복사해 돈다
    img = kept[name]
    label = exposure(cv2.cvtColor(img, cv2.COLOR_BGR2GRAY))
    if label in ("아주 어두움", "밝음"):
        removed.append({"파일": name, "이유": label})
        del kept[name]
        continue
    if label == "어두움":
        img = cv2.normalize(img, None, 0, 255, cv2.NORM_MINMAX)   # 5차시의 정규화
        kept[name] = img
        fixed.append(name)
    score = blur_score(img)
    if score < 100:
        removed.append({"파일": name, "이유": f"흐림({score:.1f})"})
        del kept[name]

print("2단계 뒤 남은 사진:", len(kept))
print(pd.DataFrame(removed).to_string(index=False))

def md5_of(path):
    with open(path, "rb") as f:
        return hashlib.md5(f.read()).hexdigest()

def ahash(img):
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    small = cv2.resize(gray, (8, 8), interpolation=cv2.INTER_AREA)
    return (small > small.mean()).flatten()

# 요구사항 3: 이름순으로 돌며, 이미 남긴 사진과 같으면 버린다(앞의 것이 남는다)
seen = []                                              # (이름, MD5, 평균 해시)
for name in sorted(kept):
    digest, bits = md5_of(os.path.join(folder, name)), ahash(kept[name])
    twin = None
    for other, other_digest, other_bits in seen:
        if digest == other_digest:
            twin = (other, "MD5 같음")
            break
        if int((bits != other_bits).sum()) <= 5:
            twin = (other, f"해시 거리 {int((bits != other_bits).sum())}")
            break
    if twin:
        removed.append({"파일": name, "이유": f"중복({twin[0]}, {twin[1]})"})
        del kept[name]
    else:
        seen.append((name, digest, bits))

print("3단계 뒤 남은 사진:", len(kept))
for r in removed[-3:]:
    print(" ", r["파일"], "→", r["이유"])

# 요구사항 4: 버린 이유 표
removed_df = pd.DataFrame(removed).sort_values("파일").reset_index(drop=True)
removed_df.to_csv("out_ch16_removed.csv", index=False, encoding="utf-8-sig")
print(removed_df.to_string(index=False))
print("저장: out_ch16_removed.csv")

# 내 처리: 버린 파일은 버림, 채널·밝기를 고친 파일은 고침, 나머지는 그대로
mine = {n: "그대로" for n in names}
mine.update({n: "고침" for n in fixed if n in kept})
mine.update({r["파일"]: "버림" for r in removed})

answer = pd.read_csv(os.path.join(folder, "answer.csv"))
answer["내처리"] = answer["파일"].map(mine)
hit = int((answer["처리"] == answer["내처리"]).sum())
print(f"정답표와 같은 처리: {hit} / {len(answer)}")
wrong = answer[answer["처리"] != answer["내처리"]]
print("다른 곳:", "없음" if wrong.empty else wrong[["파일", "처리", "내처리"]].to_string(index=False))

GRAY = (128, 128, 128)

def letterbox(img, size=128, color=GRAY):
    """긴 변을 size 에 맞춰 줄이고 모자란 칸을 회색으로 덧댄다(14차시)."""
    h, w = img.shape[:2]
    scale = size / max(h, w)
    nw, nh = round(w * scale), round(h * scale)
    small = cv2.resize(img, (nw, nh), interpolation=cv2.INTER_AREA)
    top, left = (size - nh) // 2, (size - nw) // 2
    return cv2.copyMakeBorder(small, top, size - nh - top, left, size - nw - left,
                              cv2.BORDER_CONSTANT, value=color)

# 요구사항 5: 128×128 로 맞춘 뒤, 클래스마다 씨앗 1620 으로 섞어 2장을 시험용으로
boxed = {name: letterbox(img) for name, img in kept.items()}
split_rng = np.random.default_rng(1620)
train, test = {}, {}
for cls in CLASSES:
    members = sorted(n for n in boxed if n.startswith(cls + "_"))
    order = split_rng.permutation(members)             # 순서를 섞은 새 목록
    test[cls] = sorted(order[:2].tolist())
    train[cls] = sorted(order[2:].tolist())
    print(f"{cls:9} 남은 {len(members)}장 → 학습용 {len(train[cls])}, 시험용 {test[cls]}")
print("크기:", {img.shape for img in boxed.values()})

def augment(img, rng):
    """실습 5와 같은 랜덤 증강."""
    out = img.copy()
    h, w = out.shape[:2]
    if rng.random() < 0.5:
        out = cv2.flip(out, 1)
    if rng.random() < 0.7:
        M = cv2.getRotationMatrix2D((w / 2, h / 2), rng.uniform(-15, 15), 1.0)
        out = cv2.warpAffine(out, M, (w, h), borderMode=cv2.BORDER_REFLECT)
    if rng.random() < 0.5:
        s = rng.uniform(0.8, 0.95)
        ch, cw = int(h * s), int(w * s)
        y0, x0 = int(rng.integers(0, h - ch + 1)), int(rng.integers(0, w - cw + 1))
        out = cv2.resize(out[y0:y0 + ch, x0:x0 + cw], (w, h), interpolation=cv2.INTER_LINEAR)
    if rng.random() < 0.7:
        out = np.clip(out.astype(np.float32) * rng.uniform(0.8, 1.2) + rng.uniform(-30, 30), 0, 255).astype(np.uint8)
    if rng.random() < 0.3:
        hsv = cv2.cvtColor(out, cv2.COLOR_BGR2HSV)
        hsv[:, :, 0] = (hsv[:, :, 0].astype(np.int32) + int(rng.integers(-3, 4))) % 180
        out = cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR)
    if rng.random() < 0.2:
        out = cv2.GaussianBlur(out, (3, 3), 0)
    if rng.random() < 0.2:
        out = np.clip(out.astype(np.float64) + rng.normal(0, rng.uniform(5, 12), out.shape), 0, 255).astype(np.uint8)
    return out

# 다시 돌려도 전의 파일이 남지 않게 결과 폴더를 지우고 시작한다
root = "out_ch16_dataset"
shutil.rmtree(root, ignore_errors=True)
aug_rng = np.random.default_rng(1630)
saved = {}
for cls in CLASSES:
    for part in ("train", "test"):
        os.makedirs(os.path.join(root, part, cls), exist_ok=True)   # makedirs: 중간 폴더까지 만든다
    # 시험용: 그대로 저장
    for k, name in enumerate(test[cls], start=1):
        cv2.imwrite(os.path.join(root, "test", cls, f"{cls}_{k:03d}.png"), boxed[name])
    # 학습용: 원본 한 장 + 증강 세 장
    k = 0
    for name in train[cls]:
        for copy in range(4):
            k += 1
            img = boxed[name] if copy == 0 else augment(boxed[name], aug_rng)
            cv2.imwrite(os.path.join(root, "train", cls, f"{cls}_{k:03d}.png"), img)
    saved[cls] = k
print("학습용 저장:", saved)
print("예:", sorted(os.listdir(os.path.join(root, "train", "apple")))[:5])

# 요구사항 7: 클래스마다 개수
rows = []
for cls in CLASSES:
    rows.append({
        "클래스": cls,
        "원본": sum(n.startswith(cls + "_") for n in names),
        "정제후": sum(n.startswith(cls + "_") for n in kept),
        "학습용": len(train[cls]),
        "시험용": len(os.listdir(os.path.join(root, "test", cls))),
        "증강후학습용": len(os.listdir(os.path.join(root, "train", cls))),
    })
counts = pd.DataFrame(rows)
counts.loc[len(counts)] = ["합계"] + [int(counts[c].sum()) for c in counts.columns[1:]]
print(counts.to_string(index=False))

# 클래스마다 학습용 앞의 8장(원본 2장과 그 증강 6장)을 한 줄로
fig, axes = plt.subplots(3, 8, figsize=(12, 4.8))
for row, cls in enumerate(CLASSES):
    files = sorted(os.listdir(os.path.join(root, "train", cls)))[:8]
    for col, file in enumerate(files):
        img = cv2.imread(os.path.join(root, "train", cls, file))
        axes[row, col].imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
        axes[row, col].set_title(file, fontsize=8)
        axes[row, col].axis("off")
plt.tight_layout()
plt.savefig("out_ch16_preview.png", dpi=80)
print("저장: out_ch16_preview.png")
plt.show()