빅데이터분석기사 혼동행렬, 정밀도와 재현율을 왜 자꾸 헷갈릴까

혼동행렬: 정밀도와 재현율을 절대 헷갈리지 않는 법

빅데이터분석기사 3·4과목에서 혼동행렬 계산은 매회 1~2문제 고정 출제되는 단골 유형입니다.
이 유형이 반복 출제되는 이유는 정확도·정밀도·재현율·F1이라는 네 가지 지표를 단 하나의 2×2 표에서 모두 뽑아낼 수 있기 때문입니다.
어떤 지표를 요구하느냐에 따라 분모가 달라지고, 그 분모 선택이 정답과 오답을 가릅니다.

[문제] 어느 분류기의 혼동행렬이 TP=40, FP=10, FN=20, TN=30일 때, 이 모델의 F1-Score는 약 얼마인가?

① 0.67
② 0.70
③ 0.73
④ 0.80

정답: ③ 0.73

이 문제에서 핵심은요, 보기 네 개가 각각 재현율·정확도·F1·정밀도를 순서대로 배치한 정교한 함정이라는 점입니다.
중간 계산값에서 멈추는 순간 오답을 고르게 됩니다.

계산 흐름을 단계별로 짚겠습니다.

Precision(정밀도) = TP / (TP + FP) = 40 / 50 = 0.80
분모는 모델이 양성이라고 예측한 전체 수(TP+FP)입니다.

Recall(재현율) = TP / (TP + FN) = 40 / 60 ≈ 0.667
분모는 실제로 양성인 전체 수(TP+FN)입니다.

F1 = 2 × P × R / (P + R) = 2 × 0.80 × 0.667 / (0.80 + 0.667) ≈ 0.727
소수점 둘째 자리에서 반올림하면 약 0.73, ③이 정답입니다.

이제 오답을 하나씩 해부합니다.

① 0.67은 재현율(Recall) 그 자체입니다.
Recall = 40/60 ≈ 0.667로, F1 공식 적용 직전에 계산을 멈춰버린 케이스입니다.
재현율까지는 정확하게 구했지만 거기서 정답을 골라버린 것입니다.

② 0.70은 정확도(Accuracy) 함정입니다.
Accuracy = (TP + TN) / 전체 = 70 / 100 = 0.70입니다.
혼동행렬을 보면 반사적으로 정확도부터 계산하는 수험생이 이 보기에 걸리게 됩니다.

④ 0.80은 정밀도(Precision) 함정입니다.
Precision = 40/50 = 0.80으로, 분모를 올바르게 잡았지만 조화평균 계산을 생략한 케이스입니다.
보기에 떡하니 올라와 있으니 "맞는 값을 구했나 보다"라고 착각하고 골라버리는 게 문제입니다.

핵심 암기 포인트를 정리합니다.

핵심 암기 포인트 1: 분모는 '누구 기준'인가
정밀도는 예측 양성 기준(TP+FP), 재현율은 실제 양성 기준(TP+FN)입니다.
세로(예측) 방향으로 자르면 정밀도, 가로(실제) 방향으로 자르면 재현율이라고 기억하세요.

핵심 암기 포인트 2: F1은 반드시 조화평균
F1 = 2PR / (P+R) 이고, (P+R)/2 산술평균으로 계산하면 절대 정답이 나오지 않습니다.
조화평균은 두 값 중 낮은 쪽에 더 가혹하게 반응하기 때문에, 정밀도와 재현율 중 하나라도 낮으면 F1도 낮게 나옵니다.

시험장에서 이 유형이 나오면 먼저 2×2 표를 손으로 그리세요.
열(예측)과 행(실제)을 명확히 구분한 뒤, TP에서 출발해 각 분모의 방향을 손가락으로 짚으면 분모 혼동을 막을 수 있습니다.

ROC 곡선과 AUC: 축을 거꾸로 외우면 0점

ROC 곡선 문제는 개념형과 그래프 해석형이 섞여 출제되며, 모델 성능 평가 파트의 고빈도 주제입니다.
이 유형은 X축·Y축 정의, AUC 값의 의미, 임계값 변화에 따른 곡선 이동 세 가지 개념을 동시에 테스트합니다.
그래프에서 두 모델을 비교하는 문제까지 나오기 때문에 단순 공식 암기를 넘어 그래프 독해력이 필요합니다.

[문제] ROC 곡선과 AUC에 대한 설명으로 옳지 않은 것은?

① X축은 거짓 양성률(FPR), Y축은 참 양성률(TPR)이다.
② AUC가 0.5에 가까울수록 분류 성능이 우수하다.
③ 임계값을 낮추면 TPR과 FPR이 모두 증가하는 경향이 있다.
④ 두 모델의 ROC 곡선이 교차하지 않는다면 위쪽 곡선의 모델이 더 우수하다.

정답: ② AUC가 0.5에 가까울수록 분류 성능이 우수하다.

이 문제에서 핵심은요, ②가 왜 틀렸는지를 AUC 값의 의미로 정확히 설명할 수 있어야 한다는 점입니다.

AUC = 0.5는 완벽한 랜덤 분류기입니다.
동전을 던져서 양성·음성을 결정하는 수준, 즉 아무런 판별 능력이 없는 모델이 AUC 0.5의 대각선을 그립니다.
AUC는 1.0에 가까울수록 우수하고, 0.5에 가까울수록 쓸모없는 모델입니다.

이제 나머지 보기들이 왜 맞는 설명인지 확인합니다.

①은 옳은 설명입니다.
X축이 FPR(False Positive Rate, 1-특이도), Y축이 TPR(True Positive Rate, 재현율·민감도)입니다.
이것을 거꾸로 외우는 수험생이 매우 많으니 "X축은 거짓의 축(FPR)"이라고 기억하세요.

③은 옳은 설명입니다.
임계값(threshold)을 낮추면 모델이 더 많은 샘플을 양성으로 분류합니다.
실제 양성을 더 많이 잡아내어 TPR이 오르지만, 음성을 양성으로 잘못 분류하는 FPR도 함께 오릅니다.

④는 옳은 설명입니다.
ROC 곡선이 교차하지 않는다면 모든 임계값에서 위쪽 곡선 모델의 TPR이 더 높다는 의미입니다.
따라서 위쪽 곡선이 항상 더 우수한 모델입니다.

핵심 암기 포인트를 정리합니다.

핵심 암기 포인트 1: AUC 해석 기준 3단계
AUC = 1.0이면 완벽한 분류기, AUC = 0.5면 랜덤 분류기(대각선), AUC < 0.5면 예측을 뒤집으면 오히려 더 잘 맞는 역설적 모델입니다.
시험에서 "AUC가 0.5보다 낮은 경우 어떻게 해야 하는가"라는 응용 문제가 나오면 "예측 클래스를 반전시킨다"가 정답입니다.

핵심 암기 포인트 2: X축 Y축을 절대 바꾸지 마라
X축: FPR = FP / (FP + TN), Y축: TPR = TP / (TP + FN)입니다.
"ROC 그래프는 X가 나쁜 것(False), Y가 좋은 것(True)"이라고 기억하면 헷갈리지 않습니다.

불균형 데이터: 정확도 99%에 속지 마라

불균형 데이터 문제는 2과목 데이터 전처리와 3·4과목 모델 평가를 연결하는 통합형 유형으로 출제됩니다.
클래스 불균형 상황에서 어떤 평가지표가 적절한지, 오버샘플링과 언더샘플링의 차이는 무엇인지를 함께 묻습니다.
SMOTE는 거의 매회 등장하는 키워드이므로 정의와 적용 시점 모두 반드시 숙지해야 합니다.

[문제] 양성 클래스가 전체의 1%인 불균형 분류 문제에서 모델 성능 평가에 가장 적절하지 않은 지표는?

① 정확도(Accuracy)
② 재현율(Recall)
③ F1-Score
④ PR-AUC

정답: ① 정확도(Accuracy)

이 문제에서 핵심은요, "정확도가 높으면 좋은 모델 아닌가?"라는 직관이 왜 완전히 틀리는지를 극단적 예시로 납득시키는 것입니다.

모든 샘플을 음성으로만 예측해도 정확도가 99%입니다.
양성 클래스가 1%밖에 없으니, 한 번도 양성을 예측하지 않아도 99%의 정확도를 얻습니다.
정확도는 클래스 불균형이 심한 경우 실제 모델의 판별 능력을 전혀 반영하지 못합니다.

오답 보기들이 왜 더 적절한지 설명합니다.

② 재현율(Recall)은 양성 클래스를 얼마나 잡아냈는지 직접 측정합니다.
Recall = TP / (TP + FN)이므로, 실제 양성 중 모델이 놓친 비율을 바로 알 수 있습니다.
사기 거래 탐지, 질병 진단처럼 양성을 놓치는 비용이 큰 경우 특히 중요한 지표입니다.

③ F1-Score는 정밀도와 재현율의 균형을 동시에 고려합니다.
불균형 데이터에서 재현율만 높이면 정밀도가 무너지는 트레이드오프가 발생하는데, F1은 이 두 가지를 조화평균으로 묶어 균형 잡힌 평가를 가능하게 합니다.

④ PR-AUC는 불균형 데이터에 특화된 성능 지표입니다.
Precision-Recall 곡선 아래 면적을 나타내며, 소수 클래스 탐지 성능을 ROC-AUC보다 민감하게 반영합니다.
불균형이 극심할수록 ROC-AUC보다 PR-AUC가 더 현실적인 평가 기준이 됩니다.

핵심 암기 포인트를 정리합니다.

핵심 암기 포인트 1: 불균형 데이터에서 정확도는 함정이다
클래스 불균형 + 정확도 = 잘못된 평가입니다.
불균형 문제가 보이는 순간 재현율·F1·PR-AUC를 먼저 떠올리세요.

핵심 암기 포인트 2: SMOTE는 오버샘플링이다, 언더샘플링이 아니다
SMOTE(Synthetic Minority Over-sampling Technique)는 소수 클래스 샘플 사이를 보간하여 합성 데이터를 만드는 오버샘플링 기법입니다.
다수 클래스를 줄이는 언더샘플링과 반드시 구별하세요.

시험에서 이렇게 나오면 반드시 기억할 것이 하나 더 있습니다.
SMOTE는 훈련 데이터에만 적용해야 하고, 검증 데이터와 테스트 데이터에는 절대 적용하지 않습니다.
전체 데이터에 SMOTE를 먼저 적용하고 분할하면 데이터 누수(data leakage)가 발생해 평가 결과가 부풀려지는데, 이 적용 시점을 묻는 문제가 최근 자주 출제되고 있습니다.