1.1 기계학습이란 무엇인가 What Is Machine Learning?

L02 s04–s08 · ISL 2.1.4

강의는 인공지능(artificial intelligence, AI)의 정의에서 출발한다. AI는 인간이나 동물의 지능(intelligence)과 구별되는, 기계나 소프트웨어의 지능이다. 그런 지능을 가진 기계를 만들고 연구하는 컴퓨터과학의 한 분야를 가리키기도 한다. 그러면 지능이란 무엇인가. 추상화, 논리, 이해, 자기 인식, 배움, 정서적 지식, 추리, 계획, 창의성, 비판적 사고, 문제 해결 능력 등 정의는 여럿이다. 이를 하나로 묶으면 정보를 지각하거나 추리하고, 그것을 지식으로 간직했다가 주어진 환경이나 맥락에서 적응적으로 행동하는 데 쓰는 능력이다. 두 정의는 모두 강의가 Wikipedia에서 가져왔다.

AI를 구현하는 길은 크게 둘이다. 하나는 인간의 지능이 어떻게 작동하는지 이해하고 그것을 기계로 흉내 내는 길이다. 뇌과학(brain science)과 인지과학(cognitive science)에서 인공신경망(artificial neural network)과 딥러닝(deep learning)으로 이어진다. 다른 하나는 기계가 왜 늘 사람을 흉내 내야 하느냐고 묻고, 기계에 더 알맞은 방식을 찾는 길이다. 1차 논리(first-order logic)와 지식표현(knowledge representation)을 거쳐 통계적 기계학습(statistical machine learning)으로 이어진다. 강의는 앞의 길에 DL, 뒤의 길에 ML이라는 이름표를 붙였다. 과목 이름을 이루는 두 축이다.

그러나 집합으로 보면 두 길은 나란하지 않다. 기계학습(machine learning)은 AI를 구현하는 한 방식이고, 딥러닝은 기계학습 안의 한 갈래다. 곧 AI ⊃ 기계학습 ⊃ 딥러닝이다. 강의의 비유로는 음식 ⊃ 이탈리아 요리 ⊃ 봉골레 파스타와 같다.

정의의 두 요소는 앞의 지능 정의와 짝을 이룬다. 데이터로부터 배우는 것은 정보를 지각하는 일에, 처음 보는 데이터에 일반화하는 것은 간직한 지식을 새 상황에 적응적으로 적용하는 일에 해당한다. 이 가운데 이 장이 끝까지 붙들고 가는 것은 일반화다. 가진 데이터에 잘 맞는 것과 처음 보는 데이터에 잘 맞는 것은 같지 않다. 1.7절은 이 차이를 수로 재고, 1.9절은 그 원인을 나누어 본다.

배우는 데이터의 모양에 따라 기계학습은 두 갈래로 나뉜다. 지도학습에서는 관측값(observation)과 그 레이블(label)의 짝이 주어진다. 훈련(training)을 마친 모형(model)은 처음 보는 관측값의 레이블을 예측(prediction)한다. 예를 들어 이미지마다 airplane, automobile, bird, cat, deer, dog, frog, horse, ship, truck 가운데 하나의 레이블이 붙은 CIFAR-10으로 훈련한 모형은, 레이블 없는 고양이 사진을 받아 cat이라고 답한다. 비지도학습(unsupervised learning)에서는 레이블 없이 관측값의 목록만 주어지고, 모형은 관측값들만으로 패턴을 배운다. 강의의 예는 여러 동물 그림을 새, 물고기, 고양이와 개의 무리로 묶는 군집화(clustering)다. 비지도학습과 군집화는 제8장에서 다룬다. 그때까지 이 책은 지도학습만 다룬다.

1.2 지도학습의 네 단계 The Four Steps of Supervised Learning

L02 s09, s39

기계학습은 데이터 기반 접근이다. 이 말을 지도학습에 맞춰 네 단계로 풀어 놓은 것이 이 책 전체의 뼈대인 지도학습 틀(supervised learning framework)이다. 강의의 예는 \(x\) 하나로 \(y\)를 맞히는 \(f(x) = ax\)다.

그림 1.1의 산점도(scatterplot)에서 점들이 훈련 데이터다. 「데이터 기반」의 뜻이 여기서 분명해진다. 사람은 \(a\)의 값을 정하지 않는다. 형태 \(y = ax\)만 정하면 \(a\)는 데이터가 정한다. 1–3단계는 모형을 만드는 일이고 4단계는 만든 모형을 쓰는 일이다. 처음 보는 데이터에서 모형이 얼마나 맞는지 재고, 여러 후보 가운데 모형을 고르는 일도 4단계의 몫이다(1.7–1.9절). 강의는 네 단계를 차례로 다룰 때마다 이 그림을 다시 띄웠다. 이 책에서는 1.4–1.7절의 제목이 그 구실을 한다.

강의는 이 틀을 되짚으며 앞으로 배울 것을 넷으로 예고했다. 첫째는 모형을 설계하는 법이다. 설계는 문제의 유형과 데이터의 유형에 따라 달라진다. 문제로는 회귀(regression)와 분류(classification)를, 데이터로는 이미지, 텍스트, 시계열(time series)을 예로 들었다. 둘째는 훈련 데이터에 모형을 적합(fit)하는 법, 셋째는 모형을 평가(evaluation)하는 법, 넷째는 여러 후보 가운데 모형을 고르는 법이다. 표 1.1은 이 예고를 네 단계에 맞추어 이 책의 장과 절에 대응시킨 것이다.

표 1.1지도학습의 네 단계와 그것을 다루는 이 책의 자리

단계	묻는 것	이 장	이어지는 곳
1 모형 설계	문제와 데이터의 유형에 맞는 \(f\)의 형태는 무엇인가	1.3, 1.4, 1.10	제2장, 제4장, 제6–7장, 제9–10장, 제12–13장
2 목표 정의	「\(y \approx f(x)\)」를 어떤 양으로 재는가	1.5	2.3–2.4절, 제4장
3 훈련	훈련 데이터로 파라미터를 어떻게 찾는가	1.6	2.5절, 제4장, 제9장, 제11장
4 예측·평가·선택	처음 보는 데이터에서 얼마나 맞는가, 무엇을 고르는가	1.7–1.10	제3장, 제4장, 제5장

1.3 회귀 문제와 회귀함수 Regression Problems and the Regression Function

L02 s11–s14 · ISL 2.1

네 단계를 구체적인 회귀 문제에 적용해 보자. Advertising 데이터는 여러 시장에서 한 제품의 판매량 Sales와 TV, Radio, Newspaper 세 매체의 광고비를 기록한 ISL의 예제 데이터다. 과제는 광고비로 Sales를 추정하는 것이다. 첫 시도로 매체마다 따로 선형회귀(linear regression)를 적합해 볼 수 있다. 곧 \(\text{Sales} \approx f_1(\text{TV})\), \(\text{Sales} \approx f_2(\text{Radio})\), \(\text{Sales} \approx f_3(\text{Newspaper})\)이다. 세 산점도(ISL 그림 2.1)에서 TV와의 관계가 가장 뚜렷하고 Newspaper와의 관계는 약하다. 그러나 세 광고비를 한꺼번에 받는 하나의 모형 \(\text{Sales} \approx f(\text{TV}, \text{Radio}, \text{Newspaper})\)가 더 나을 것이다.

표기 Notation

여기서 Sales는 예측하려는 반응변수(response)이고, 반응변수는 일반적으로 \(y\)로 적는다. TV는 feature이며 \(X_1\)이라 부른다. 같은 식으로 Radio는 \(X_2\), Newspaper는 \(X_3\)이다. 모형에 들어가는 것 전체를 입력(input)이라 하고 그 안의 변수 하나하나를 feature라 한다. 한 관측값의 feature 값을 모은 입력 벡터(input vector)는

$$\bx = \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} \in \R^3$$

이고, 모형은 함수 \(f : \R^3 \to \R\)를 써서 다음과 같이 적는다.

$$y = f(\bx) + \epsilon \tag{1.1}$$

\(\epsilon\)은 측정오차(measurement error)를 비롯해 \(f(\bx)\)로 설명되지 않는 어긋남을 모두 담는 오차(error)로, \(\bx\)와 독립(independent)이라고 가정한다. 슬라이드에는 독립만 적혀 있지만, 이 책은 \(\E[\epsilon] = 0\)도 함께 가정한다. 아래 식 (1.2)처럼 \(f\)를 잡으면 이 가정은 저절로 성립한다(보충).

회귀함수가 하는 일 What the Regression Function Does

\(f\)를 회귀함수(regression function)라 한다. 회귀함수는 \(\bx\)를 받아 \(y\)를 출력(output)으로 내놓는다. \(\bx\)는 스칼라일 수도, 성분이 여럿인 벡터일 수도 있고, \(y\)도 마찬가지다. feature가 \(p\)개이면 \(\bx = (x_1, x_2, \dots, x_p)^\top\)이다. 물론 아무 \(y\)나 내놓는 \(f\)는 소용이 없다. 여러 \(\bx\)에 대해 좋은 \(y\)를 내놓는 좋은 \(f\)가 필요하다.

좋은 회귀함수는 두 가지로 쓰인다. 하나는 예측이다. 다른 하나는 \(\bx\)의 어느 성분이 \(y\)를 설명하는 데 중요하고 어느 성분이 무관한지를 이해하는 것으로, ISL은 이것을 추론(inference)이라 부른다. 예를 들어 소득 Income을 설명할 때 근속 연수 Seniority와 교육 연수 Years of Education은 큰 영향을 주지만, 혼인 여부 Marital Status는 그렇지 않을 수 있다(Income 데이터는 1.4절에서 소개하는 ISL의 모의 데이터다).

이상적인 회귀함수 The Ideal Regression Function

그러면 이상적인 \(f\)는 무엇인가. 특히 어떤 한 점, 예컨대 \(x = 4\)에서 \(f(4)\)는 어떤 값이어야 하는가. 그림 1.2에서 보듯 \(x = 4\)에서도 \(y\)는 한 값이 아니라 여러 값으로 흩어져 있다. 좋은 값은 \(x = 4\)일 때 \(y\)의 기댓값(expected value), 곧 평균(mean)이다. 이것을 4뿐 아니라 가능한 모든 \(x\)에서 원한다.

그러나 식 (1.2)를 그대로 계산할 수는 없다. 우리가 가진 것은 \(X\)와 \(Y\)의 분포가 아니라 유한한 관측값뿐이기 때문이다. 게다가 실제 데이터에는 \(x\)가 정확히 4인 관측값이 거의 없다. 그러니 조건부 기댓값을 데이터로 추정하는 길은 두 가지다. 하나는 \(x = 4\) 근처의 관측값을 평균하는 것으로, 이 발상은 1.10절에서 분류 방법의 모습으로 다시 나온다. 다른 하나는 \(f\)의 형태를 미리 정해 두고 그 안에서 데이터에 가장 잘 맞는 것을 고르는 것이다. 다음 절에서 보듯, 이 두 길이 모형을 설계하는 두 방식에 대응한다(보충).

1.4 1단계: 모수 모형과 비모수 모형 Step 1: Parametric and Non-parametric Models

L02 s16–s18 · ISL 2.1.2

1단계는 \(f\)의 형태를 정하는 일이다. 대부분의 통계적 학습(statistical learning) 방법은 이 일을 하는 방식에 따라 모수적이거나 비모수적이다.

선형 모형(linear model) \(f_L\)은 입력값 \(x_1, \dots, x_p\)를 \(p + 1\)개의 파라미터 \(\beta_0, \beta_1, \dots, \beta_p\)로 선형 결합해 출력과 관계 짓는다. 파라미터 값은 3단계에서 훈련 데이터에 적합해 정한다(1.6절). 이렇게 하면 함수 \(f\) 전체를 추정하는 어려운 문제가 수 \(p + 1\)개를 추정하는 훨씬 쉬운 문제로 바뀐다(ISL 2.1.2). 선형이라는 가정은 거의 언제나 정확히 맞지 않는다. 그래도 선형 모형은 알 수 없는 참 함수(true function) \(f\)를 잘 근사하는 경우가 많고, 무엇보다 해석하기 쉽다. 곧 해석력(interpretability)이 높다.

그림 1.3은 이 관계를 Income 데이터로 보여 준다. Income 데이터는 교육 기간과 근속 기간으로 소득을 설명하는 ISL의 모의 데이터로, 변수는 Years of Education, Seniority, Income이다. 모의 데이터라서 참 \(f\)를 안다. (a)의 곡면이 참 \(f\)이고 점은 관측한 소득이다. (b)는 같은 데이터에 선형회귀 모형을 적합한 평면이다. \(f\)의 추정을 \(\hat{f}\)으로 적고 Years of Education을 \(X_1\), Seniority를 \(X_2\)라 하면

$$\hat{f}(\bx) = \hat{\beta}_0 + \hat{\beta}_1 x_1 + \hat{\beta}_2 x_2$$

이다. 모자(^)는 데이터로 추정했다는 표시다. 파라미터 세 개만 추정하면 되는 대신, 평면은 참 \(f\)가 교육 기간 방향으로 그리는 S자 굴곡을 잡지 못한다. 이 그림은 1.7절에서 다시 쓴다.

비모수 모형(non-parametric model)은 \(f\)의 함수 형태(functional form)를 명시적으로 가정하지 않는다. 대신 데이터 점에 되도록 가까우면서도 너무 거칠거나 구불구불하지 않은 \(f\)의 추정값(estimate)을 찾는다. 모수 모형에는 \(f\)를 추정하려고 고른 함수 형태가 참 \(f\)와 크게 다를 위험이 있다. 비모수 방법은 형태를 사실상 가정하지 않으므로 이 위험을 아예 피한다. 그러나 문제를 파라미터 몇 개로 줄이지 못하므로, 정확한 추정을 얻으려면 관측값이 매우 많이 필요한 경향이 있다. 표 1.2에 두 방식을 견주었다.

표 1.2모수 모형과 비모수 모형

	모수 모형	비모수 모형
형태 가정	한다(예: 선형 \(f_L\))	명시적으로 하지 않는다
추정할 것	파라미터 유한 개(선형이면 \(p + 1\)개)	함수 자체
장점	문제가 쉬워지고 해석하기 쉽다	형태를 잘못 고를 위험이 없다
대가	고른 형태가 참 \(f\)와 크게 다를 수 있다	관측값이 매우 많이 필요하다
이 장의 예	식 (1.3)의 선형회귀, 그림 1.3(b)	그림 1.5의 곡면, KNN(1.10절)

1.5 2단계: 평균제곱오차와 조건부 기댓값 Step 2: Mean Squared Error and the Conditional Expectation

L02 s20–s21 · ISL 2.1.1

2단계는 「되도록 \(y \approx f(\bx)\)」를 정확한 수식으로 옮기는 일이다. 목표를 수식으로 적은 것을 목적함수(objective function)라 한다. 1.3절의 예로 돌아가면, 가능한 모든 입력 \(\bx\)에서 \(f(\bx) = \E[Y \mid X = \bx]\)이기를 바랄 수 있다. 이것이 유일한 방법은 아니지만 널리 쓰이는 방법이다. 이 선택을 뒷받침하는 기준이 평균제곱 예측오차(mean-squared prediction error) \(\E[(Y - g(X))^2 \mid X = \bx]\)다. 여기서 \(g\)는 아무 후보 함수다.

슬라이드는 이 결과를 두고 지금은 이해하지 못해도 되며 나중에 다시 본다고 했다. 증명은 짧으므로 이 절 끝에 보충으로 싣는다.

이제 어떤 추정 \(\hat{f}\)을 쓸 때 예측이 얼마나 틀리는지 보자. \(\hat{f}\)과 \(\bx\)를 고정하고 \(Y = f(X) + \epsilon\)을 넣으면 기대 제곱오차(squared error)는 두 부분으로 나뉜다.

$$\begin{aligned} \E\big[(Y - \hat{f}(X))^2 \mid X = \bx\big] &= \E\big[(f(X) + \epsilon - \hat{f}(X))^2 \mid X = \bx\big] \\ &= [f(\bx) - \hat{f}(\bx)]^2 + 2[f(\bx) - \hat{f}(\bx)]\,\E[\epsilon] + \E[\epsilon^2] \\ &= \underbrace{[f(\bx) - \hat{f}(\bx)]^2}_{\text{reducible}} + \underbrace{\Var(\epsilon)}_{\text{irreducible}} \end{aligned} \tag{1.5}$$

가운데 줄은 슬라이드가 건너뛴 전개다(보충). 1.3절의 가정대로 \(\epsilon\)이 \(\bx\)와 독립이고 평균이 0이면 교차항(cross term)이 사라지고 \(\E[\epsilon^2] = \Var(\epsilon)\)이 남는다.

첫 항은 \(\hat{f}\)을 참 \(f\)에 가깝게 만들수록 줄어드는 줄일 수 있는 오차(reducible error)이고, 둘째 항 \(\Var(\epsilon)\)은 줄일 수 없는 오차(irreducible error)다. \(\epsilon = y - f(\bx)\)는 참 \(f\)를 알아도 남는다. 각 \(\bx\)에서 가능한 \(y\) 값이 보통 하나가 아니라 분포를 이루기 때문이다(그림 1.2). 강의는 이 과목의 초점을 이렇게 못 박았다. 줄일 수 있는 오차를 최소화하도록 \(f\)를 추정하는 기법을 배운다는 것이다.

식 (1.4)의 증명(보충). \(\bx\)를 고정하고 \(\mu = \E[Y \mid X = \bx]\)라 두자. 아무 상수 \(c\)에 대해 \(Y - c = (Y - \mu) + (\mu - c)\)로 쪼개어 제곱하고 조건부 기댓값을 취하면 다음을 얻는다.

$$\begin{aligned} \E\big[(Y - c)^2 \mid X = \bx\big] &= \E\big[(Y - \mu)^2 \mid X = \bx\big] \\ &\quad + 2(\mu - c)\,\E[Y - \mu \mid X = \bx] + (\mu - c)^2 \\ &= \Var(Y \mid X = \bx) + (\mu - c)^2 \end{aligned}$$

교차항은 \(\E[Y - \mu \mid X = \bx] = \mu - \mu = 0\)이어서 사라진다. 남은 두 항 가운데 조건부 분산(variance) \(\Var(Y \mid X = \bx)\)는 \(c\)와 무관하고, \((\mu - c)^2\)은 \(c = \mu\)일 때만 0이다. 따라서 \(c = \mu\)가 유일한 최소점이다. 이 논증은 각 \(\bx\)에서 따로 성립하므로, 모든 점에서 \(g(\bx) = \E[Y \mid X = \bx]\)로 고른 함수, 곧 회귀함수 \(f\)가 평균제곱 예측오차를 최소화한다. 미분으로 보아도 같다. \(c\)로 미분한 \(-2\,\E[Y - c \mid X = \bx]\)를 0으로 두면 \(c = \mu\)다.

1.6 3단계: 훈련은 최적화다 Step 3: Training as Optimization

L02 s23 · ISL 2.1.2

3단계에서는 서로 다른 데이터 점 \(n\)개를 관측했다고 늘 가정한다. 이 관측값들로 \(f\)를 추정하는 방법을 훈련하므로 이것을 훈련 데이터라 부른다. 목표는 훈련 데이터에 학습 방법(learning method)을 적용해 알 수 없는 함수 \(f\)를 추정하는 것이다. 곧 어떤 관측값 \((\bx, y)\)에 대해서도 \(y \approx \hat{f}(\bx)\)가 되는 \(\hat{f}\)을 찾는다.

이 단계를 최적화(optimization)라 부르며, 하는 방법은 여럿이다. 가능하면 닫힌 형태의 해(closed-form solution)를 쓴다. 선형회귀가 그 예로, 해를 2.5절에서 행렬 계산 한 번으로 구한다. 닫힌 해가 없으면 경사하강법(gradient descent) 같은 수치적 방법(numerical method)을 널리 쓴다. 경사하강법은 제4장에서 다룬다.

1.7 4단계: 훈련오차와 시험오차 Step 4: Training Error and Test Error

L02 s25–s29 · ISL 2.2.1

4단계에서는 훈련한 모형으로 처음 보는 \(\bx\)의 \(\hat{y}\)를 계산한다. 모형이 얼마나 잘 맞히는지, 곧 모형의 정확도(accuracy)를 재는 일도 이 단계의 몫이다. 훈련 데이터 \(\mathsf{Tr} = \{(\bx_i, y_i)\}_{i=1}^{n}\)에 모형 \(\hat{f}\)을 적합했다고 하자. 가장 손쉬운 잣대는 훈련 데이터 위에서 잰 평균제곱오차(mean squared error, MSE)다.

$$\MSE_{\mathsf{Tr}} = \Ave_{i \in \mathsf{Tr}}\big[y_i - \hat{f}(\bx_i)\big]^2 = \frac{1}{n}\sum_{i \in \mathsf{Tr}}\big[y_i - \hat{f}(\bx_i)\big]^2 \tag{1.6}$$

이 값을 훈련오차(training error)라 한다. 그러나 훈련오차는 과적합(overfitting)된 모형 쪽으로 치우친다. \(\hat{f}\)은 바로 이 데이터에서 오차가 작아지도록 고른 것이어서, 유연한 모형일수록 훈련 데이터의 우연한 흔들림까지 따라가며 훈련오차를 낮출 수 있기 때문이다. 그래서 가능하면 훈련 데이터와 다른 새 시험 데이터(test data) \(\mathsf{Te} = \{(\bx_i, y_i)\}_{i=1}^{M}\)으로 잰다.

$$\MSE_{\mathsf{Te}} = \Ave_{i \in \mathsf{Te}}\big[y_i - \hat{f}(\bx_i)\big]^2 = \frac{1}{M}\sum_{i \in \mathsf{Te}}\big[y_i - \hat{f}(\bx_i)\big]^2 \tag{1.7}$$

이것이 시험오차(test error)다. 1.1절의 「처음 보는 데이터에 일반화한다」가 여기서 잴 수 있는 양이 된다.

그림 1.4는 ISL 그림 2.9를 예시 데이터로 다시 그린 것이다. 왼쪽은 참 \(f\)(점선)에서 뽑은 관측값 50개에 유연성(flexibility)이 다른 세 모형을 적합한 결과다. 선형 모형은 참 곡선의 굽음을 따라가지 못하고, 가장 유연한 비선형 모형(nonlinear model)은 점 하나하나를 좇느라 요동친다. 오른쪽은 유연성을 자유도(degrees of freedom)로 재어 가로축에 놓고 훈련 MSE와 시험 MSE를 그린 것이다. ISL은 두 비선형 모형으로 smoothing spline을 썼고, 이 그림도 같은 계열의 매끄러운 곡선 적합을 썼다. 곡선이 매끄럽도록 크기 50인 훈련 데이터를 여러 번 새로 뽑아 평균했다(보충).

훈련 MSE는 유연성이 커질수록 계속 준다. 시험 MSE는 줄다가 다시 늘어 U자를 그린다. 선형 모형은 두 오차가 모두 크고, 가장 유연한 모형은 훈련 MSE가 가장 작은데도 시험 MSE가 다시 커진다. 시험 MSE가 가장 작은 것은 가운데의 적당히 매끄러운 모형이다. 이 예에서는 참 \(f\)가 매끄러우므로 매끄러운 비선형 모형이 가장 잘 맞는 것이다. 점선은 식 (1.5)의 줄일 수 없는 오차 \(\Var(\epsilon) = 1\)이다. 시험 MSE의 기댓값은 어떤 모형으로도 이 밑으로 내려가지 않는다. U자가 생기는 까닭은 1.9절에서 답한다.

같은 일을 Income 데이터에서 보자. 유연성이 가장 낮은 선형 모형은 그림 1.3(b)의 평면이었다. 강의는 이 그림을 모형 선택(model selection), 곧 여러 후보 가운데 하나를 고르는 문제의 첫 후보로 다시 띄운 뒤 유연성을 올려 갔다. 그 결과가 그림 1.5다. 변수 사이의 비선형 관계를 쓰는 더 유연한 모형(a)은 참 \(f\)의 굴곡을 상당히 비슷하게 재현하고, 점과 면 사이의 거리도 평면보다 짧다. 유연성을 더 올린 모형(b)은 모든 훈련 관측값을 정확히 지나므로 훈련 데이터에서 오차가 전혀 없다. 그러나 곡면이 참 \(f\)보다 훨씬 울퉁불퉁하므로 새 데이터에서는 오차가 커질 것이다. 1.4절에서 비모수 방법이 너무 거칠거나 구불구불하지 않은 추정을 찾는다고 한 단서가 바로 이것이다. ISL은 두 곡면을 thin-plate spline으로 그렸고(ISL 그림 2.5·2.6), 그림 1.5도 같은 방법으로 그렸다.

1.8 모형 선택의 세 가지 트레이드오프 Three Trade-offs in Model Selection

L02 s30–s31 · ISL 2.1.3

모형을 고를 때는 서로 당기는 기준 사이에서 균형을 잡아야 한다. 강의는 이것을 모형 선택의 세 가지 트레이드오프(trade-off)로 정리했다(표 1.3).

표 1.3모형 선택의 세 가지 트레이드오프와 이 책에서 다루는 곳

트레이드오프	강의가 던진 물음과 관찰 (이 책에서)
적합 대 과적합·과소적합	훈련 데이터의 정확도는 처음 보는 데이터의 정확도를 잘 가리키는가? 아니라면 어느 모형이 나은지 어떻게 정하는가? (1.7절, 3.5–3.6절)
예측 정확도 대 해석력	선형 모형은 해석하기 쉽고, 비선형 모형은 더 정확하다. (그림 1.6)
간결성 대 복잡성	변수를 모두 쓰는 블랙박스 모형보다 변수가 적은 단순한 모형을 흔히 선호한다. (3.1–3.4절, 제5장)

첫째는 좋은 적합과, 과적합 또는 과소적합(underfitting) 사이의 균형이다. 훈련 데이터의 정확도가 처음 보는 데이터의 정확도를 잘 가리키느냐는 물음에 1.7절은 「아니다」라고 답했다. 그러면 어느 모형이 나은지 어떻게 정하느냐는 물음이 남는데, 이것은 제3장이 3.5–3.6절에서 답한다. 둘째는 예측 정확도와 해석력 사이의 균형이다. 선형 모형은 해석하기 쉽고 비선형 모형은 더 정확하다. 다만 이것은 일반적인 경향일 뿐이며, 그림 1.4의 가장 유연한 모형처럼 과적합되면 시험 정확도는 오히려 떨어진다(보충). 셋째는 간결성(parsimony)과 복잡성 사이의 균형이다. 변수를 모두 쓰는 블랙박스(black box) 모형보다 변수가 적은 단순한 모형을 흔히 선호한다. 무엇을 남길지 고르는 법은 제3장의 feature selection이 다룬다.

그림 1.6은 둘째 트레이드오프를 여러 방법의 대략적인 자리로 보여 준다. 가장 덜 유연하고 해석하기 쉬운 쪽에 부분집합 선택(subset selection)과 lasso가 있다. 부분집합 선택은 제3장에서, lasso는 제5장에서 다룬다. 그다음이 제2장의 최소제곱법(least squares)이다. 가운데에는 일반화 가법 모형(generalized additive model, GAM)과 결정 트리(decision tree)가 있다. GAM은 이 책에서 다루지 않고, 결정 트리는 제6장에서 다룬다. 오른쪽 아래로 갈수록 제6장의 bagging과 boosting, 제7장의 서포트 벡터 머신(support vector machine, SVM), 제2부(제9–13장)의 딥러닝이 차례로 놓인다. 이 그림은 제1부의 지도인 셈이다.

1.9 편향-분산 트레이드오프 The Bias-Variance Trade-off

L02 s32 · ISL 2.2.2

그림 1.4의 시험 MSE는 왜 U자를 그리는가. 훈련 데이터 \(\mathsf{Tr}\)에 모형 \(\hat{f}\)을 적합했고, \((\bx_0, y_0)\)가 모집단(population)에서 뽑은 시험 관측값 하나라고 하자. 참 모형이 \(y = f(\bx) + \epsilon\)이고 \(f(\bx) = \E[Y \mid X = \bx]\)이면 다음이 성립한다.

식 (1.9)의 양을 편향(bias)이라 한다. \(\hat{f}(\bx_0)\)의 평균이 참값(true value) \(f(\bx_0)\)에서 체계적으로 벗어난 정도다. 식 (1.8)은 기대 시험오차를 \(\hat{f}(\bx_0)\)의 분산, 편향의 제곱, \(\epsilon\)의 분산 셋으로 나눈다. 이것을 편향-분산 분해(bias-variance decomposition)라 한다.

보통 \(\hat{f}\)의 유연성이 커지면 분산은 커지고 편향은 줄어든다. 그러므로 평균 시험오차를 기준으로 유연성을 고르는 일은 편향과 분산을 맞바꾸는 일이다. 이것을 편향-분산 트레이드오프(bias-variance trade-off)라 한다.

식 (1.5)와 견주면 뜻이 더 분명해진다. 식 (1.5)는 \(\hat{f}\)을 고정했을 때의 분해였다. 그 줄일 수 있는 오차 \([f(\bx_0) - \hat{f}(\bx_0)]^2\)를 훈련 데이터에 대해 평균하면 \(\Var(\hat{f}(\bx_0)) + [\Bias(\hat{f}(\bx_0))]^2\)가 된다. 곧 식 (1.8)은 줄일 수 있는 오차를 다시 분산과 편향의 제곱으로 쪼갠 것이다. 증명은 2.6절에서 한다.

그림 1.7은 그림 1.4의 예시 데이터에서 세 항을 따로 계산해 그린 것이다(보충). 선형 모형은 분산이 작지만 편향이 커서 시험 MSE가 크다. 가장 유연한 모형은 편향이 거의 0이지만 분산이 커서 시험 MSE가 다시 커진다. 두 효과가 맞물리는 중간에서 시험 MSE가 가장 작다. 이것이 U자의 이유다.

1.10 분류 문제와 K-최근접 이웃 Classification and K-Nearest Neighbors

L02 s34–s38 · ISL 2.1.5, 2.2.3

지금까지는 반응변수 \(y\)가 수치인 회귀 문제였다. 분류 문제에서는 \(y\)가 질적(qualitative) 변수, 곧 범주형(categorical) 변수다. 예를 들어 이메일은 \(\mathcal{C} = \{\text{spam}, \text{ham}\}\) 가운데 하나이고(ham은 정상 메일이다), 손글씨 숫자는 \(\mathcal{C} = \{0, 1, \dots, 9\}\) 가운데 하나다. \(y\)가 가질 수 있는 값을 클래스(class)라 하고, 그 집합을 \(\mathcal{C}\)로 적는다. 분류의 목표는 셋이다.

1. 레이블이 없는 미래의 관측값 \(\bx\)에 \(\mathcal{C}\)의 클래스 레이블을 붙이는 분류기(classifier)를 만든다.
2. 각 분류의 불확실성(uncertainty)을 평가한다.
3. \(\bx = (x_1, x_2, \dots, x_p)^\top\)의 여러 feature가 하는 역할을 이해한다.

첫째와 셋째는 회귀의 예측과 추론(1.3절)에 대응한다. 분류기의 성능은 보통 시험 데이터에서의 오분류율(misclassification error rate)로 잰다.

$$\mathrm{Err}_{\mathsf{Te}} = \frac{1}{M}\sum_{i \in \mathsf{Te}} I\big(y_i \neq \hat{f}(\bx_i)\big) \tag{1.10}$$

여기서 \(I(\cdot)\)는 괄호 안이 참이면 1, 거짓이면 0인 지시함수(indicator function)다. 곧 오분류율은 시험 관측값 \(M\)개 가운데 틀린 것의 비율로, 회귀의 식 (1.7) \(\MSE_{\mathsf{Te}}\)에 해당한다. 슬라이드는 분류기를 \(f\)로 적었지만, 데이터로 만든 추정이므로 이 책은 \(\hat{f}\)으로 적는다. 분류 모형을 본격적으로 세우고 훈련하는 일은 제4장이 맡는다.

이미지 분류(image classification)는 기계학습의 핵심 과업이다. 레이블의 집합 {dog, cat, truck, plane, …}이 주어졌다고 할 때, 사진 한 장을 받아 그 가운데 하나, 예컨대 cat을 내놓는다. 입력은 픽셀 값의 배열이고 출력은 클래스 레이블이다.

K-최근접 이웃 K-Nearest Neighbors

가장 단순한 분류기 가운데 하나가 K-최근접 이웃(K-nearest neighbors, KNN)이다. 질의(query) 이미지가 들어오면 레이블이 붙은 훈련 데이터에서 그것과 가장 비슷한 이미지 \(K\)개를 찾아 그 레이블을 쓴다. 무엇을 비슷하다고 볼지, 곧 유사도(similarity)를 어떻게 잴지는 여기서 정하지 않는다.

이를 확률의 말로 적으면 다음과 같다.

확률이 가장 큰 클래스는 이웃 \(K\)개 가운데 가장 많은 클래스이므로, 식 (1.12)는 이웃들의 다수결(majority vote)과 같다.

그림 1.8은 feature 두 개로 이루어진 평면에서 이 과정을 보여 준다. 배경색이 바뀌는 곳이 결정 경계(decision boundary)다. 슬라이드의 그림은 다섯 클래스를 나눈 영역을 보여 주는데, 경계가 계단처럼 들쭉날쭉하고 다른 클래스의 영역 안에 점 하나를 둘러싼 작은 섬이 생기기도 한다. KNN이 경계의 모양을 미리 정하지 않고 데이터를 그대로 따르기 때문이다.

KNN은 1.3절의 조건부 기댓값과 같은 발상이다. 조건부 기댓값을 데이터로 추정하려면 \(\bx\) 근처 관측값의 평균을 쓸 수밖에 없었는데, KNN은 이 「근처의 평균」을 클래스의 비율로 바꾼 것이다(보충).

KNN은 비모수 모형(1.4절)의 좋은 예다. 훈련 데이터를 모두 기억해 두었다가 질의마다 그 데이터에서 직접 답을 낼 뿐, 선형회귀처럼 모수 모형을 적합하지 않는다. 그래서 형태를 잘못 가정할 위험은 없지만 관측값이 많이 필요하다는 비모수 모형의 대가도 그대로 진다(보충). \(K\)를 어떻게 정하는지는 3.5절에서 다루고, KNN과 이미지 분류는 제9장에서 다시 만난다.

2.1 단순선형회귀와 최소제곱 Simple Linear Regression and Least Squares

L03 s04–s10 · ISL 3.1.1

선형회귀(linear regression)는 회귀(regression) 문제를 푸는 가장 단순한 지도학습 방법이다. 반응변수(response) \(y\)가 feature \(x_1, x_2, \dots, x_p\)에 선형으로 의존한다고 가정한다. 1.3절의 말로 하면 식 (1.2)의 회귀함수(regression function) \(f(\bx) = \E[Y \mid X = \bx]\)가 식 (1.3)의 선형 모형(linear model) \(f_L\)의 꼴이라고 놓는 것이다. 그런데 현실의 회귀함수는 결코 정확히 선형이 아니다. 그럼에도 선형회귀는 지나치게 단순해 보이는 것과 달리 개념으로도 실용으로도 매우 쓸모가 크다.

1.3절에서 본 Advertising 데이터는 시장마다 TV, Radio, Newspaper 세 매체의 광고 예산과 판매량 Sales를 기록한 것이다. 이 데이터를 앞에 두면 표 2.1의 질문들이 자연스럽게 떠오른다. 이 장은 이 질문들을 안내판으로 삼는다. 각 질문에 답하는 절을 표에 달아 두었다(ISL 3.4도 같은 질문들에 차례로 답하며 3장을 맺는다).

표 2.1Advertising 데이터로 던지는 질문(L03 s05)과 이 책에서 답하는 곳

질문	답하는 곳
1. 광고 예산과 Sales 사이에 관계가 있는가?	2.8(검정은 3.1)
2. 그 관계는 얼마나 강한가?	2.2
3. 어느 매체가 Sales에 가장 크게 기여하는가?	2.8
4. 앞으로의 Sales를 얼마나 정확히 예측할 수 있는가?	2.2, 2.7
5. 관계는 선형인가?	2.10
6. 매체 사이에 시너지 효과가 있는가?	2.10

모형과 표기 Model and Notation

feature가 하나뿐인 선형회귀를 단순선형회귀(simple linear regression)라 한다. 그 모형(model)은 다음과 같다.

$$ y = \beta_0 + \beta_1 x + \epsilon \tag{2.1} $$

\(\beta_0\)와 \(\beta_1\)은 각각 절편과 기울기(slope)를 나타내는 두 미지의 상수로, 회귀계수 또는 파라미터(parameter)라고도 부른다. \(\epsilon\)은 오차항(error term)이다. 1.3절에서처럼 오차항은 평균(mean)이 0이고 \(x\)와 독립(independent)이라고 둔다. \(\beta_0, \beta_1\)은 모르므로 훈련 데이터(training data)의 관측값(observation) \(n\)개 \((x_1, y_1), \dots, (x_n, y_n)\)으로 추정(estimation)해야 한다. 데이터에서 계산한 추정값(estimate) \(\hat\beta_0, \hat\beta_1\)을 얻으면, 새 \(x\)에 대한 예측(prediction)은

$$ \hat y = \hat\beta_0 + \hat\beta_1 x $$

이다. \(\hat y\)는 \(x\)를 바탕으로 한 \(y\)의 예측값(predicted value)이다. 모자 기호(^)는 데이터로 추정하거나 예측한 값을 뜻한다. \(\beta_1\)은 모르는 상수이고 \(\hat\beta_1\)은 그것을 데이터로 어림한 값이다. 이 구분이 이 장 전체의 표기 약속이다.

최소제곱법 Least Squares

RSS를 가장 작게 만드는 \(\hat\beta_0, \hat\beta_1\)을 고르는 방법이 최소제곱법(least squares)이고, 그렇게 얻은 직선이 데이터에 대한 최소제곱 적합(fit)이다. 잔차와 오차항은 다르다. 오차항 \(\epsilon\)은 참 모형에서 \(y\)가 \(\beta_0 + \beta_1 x\)로부터 벗어난 양이라 관측할 수 없고, 잔차 \(e_i\)는 적합한 직선에서 관측값이 벗어난 양이라 데이터에서 계산된다.

식 (2.3)은 모양으로도 읽힌다. \(\hat\beta_1\)의 분자는 \(x\)와 \(y\)가 함께 변하는 정도인 공분산(covariance)을, 분모는 \(x\)가 흩어진 정도인 표본분산(sample variance)을 계산한 것이다(둘을 똑같이 \(n-1\)로 나누면 정확히 그 값이 된다). 그러니 기울기는 공분산을 \(x\)의 표본분산으로 나눈 것이다. \(\hat\beta_0\)는 적합 직선이 표본평균점 \((\bar x, \bar y)\)를 지나게 만드는 값이다.

최소제곱 해의 유도 Deriving the Least Squares Estimates

RSS를 \(\hat\beta_0\)와 \(\hat\beta_1\)의 함수로 보고, 각각에 대한 편미분(partial derivative)을 0으로 놓는 1계 조건(first-order condition)을 푼다.

1. \(\hat\beta_0\)에 대한 조건. $$ \frac{\partial \RSS}{\partial \hat\beta_0} = -2\sum_{i=1}^n (y_i - \hat\beta_0 - \hat\beta_1 x_i) = 0 $$ 합을 풀면 \(\sum_i y_i - n\hat\beta_0 - \hat\beta_1 \sum_i x_i = 0\)이고, 양변을 \(n\)으로 나누면 \(\hat\beta_0 = \bar y - \hat\beta_1 \bar x\)다.
2. \(\hat\beta_1\)에 대한 조건. $$ \frac{\partial \RSS}{\partial \hat\beta_1} = -2\sum_{i=1}^n x_i (y_i - \hat\beta_0 - \hat\beta_1 x_i) = 0 $$
3. 1의 \(\hat\beta_0\)를 대입한다. \(y_i - \hat\beta_0 - \hat\beta_1 x_i = (y_i - \bar y) - \hat\beta_1 (x_i - \bar x)\)이므로 $$ \sum_{i=1}^n x_i (y_i - \bar y) - \hat\beta_1 \sum_{i=1}^n x_i (x_i - \bar x) = 0 $$ 곧 \(\hat\beta_1 = \sum_i x_i (y_i - \bar y) \big/ \sum_i x_i (x_i - \bar x)\)이다.
4. 분자와 분모를 식 (2.3)의 대칭인 꼴로 바꾼다. 평균에서 잰 편차(deviation)의 합은 늘 0이다: \(\sum_i (y_i - \bar y) = 0\), \(\sum_i (x_i - \bar x) = 0\). 그러므로 분자에서 \(\bar x \sum_i (y_i - \bar y) = 0\)을, 분모에서 \(\bar x \sum_i (x_i - \bar x) = 0\)을 빼도 값이 그대로이고, 그 결과가 식 (2.3)의 \(\hat\beta_1\)이다. 슬라이드가 「How?」라고 물은 곳이 이 단계다.

(보충) 1계 조건을 만족하는 점이 최소인 까닭은 이렇다. RSS는 \((\hat\beta_0, \hat\beta_1)\)에 대한 이차식이고, \(x_i\)가 모두 같지만 않으면(\(\sum_i (x_i - \bar x)^2 \gt 0\)) 위로 열린 그릇 모양이라 바닥이 한 점뿐이다. 2.5절에서 행렬로 다시 확인한다.

2.2 적합의 정확도: 잔차표준오차와 결정계수 Assessing Accuracy: RSE and R-squared

L03 s11 · ISL 3.1.3

최소제곱 직선은 어떤 데이터에서든 하나 나온다. 그 직선이 데이터에 얼마나 잘 맞는지는 따로 재야 한다. 잣대는 두 종류다. 하나는 잔차의 크기를 \(y\)의 단위로 재고, 다른 하나는 \(y\)의 흩어짐 가운데 설명한 비율을 잰다.

RSE는 오차항 \(\epsilon\)의 표준편차(standard deviation) \(\sigma\)를 추정한다. \(n\) 대신 \(n-2\)로 나누는 것은 이 추정량(estimator)을 불편(unbiased)으로 만들기 위해서다. 직선을 맞추느라 파라미터 두 개(\(\beta_0, \beta_1\))를 같은 데이터에서 추정했으므로 잔차에 남은 자유도(degrees of freedom)는 \(n-2\)다. 엄밀히 불편인 것은 제곱한 양 \(\RSS/(n-2)\)를 \(\sigma^2\)의 추정량으로 볼 때이고, 그 제곱근인 RSE는 \(\sigma\)에 대해 정확히 불편하지는 않다. 또 \(\RSS/(n-2)\)가 \(\sigma^2\)의 불편추정량인 것은 모형이 맞을 때, 곧 평균이 정말 선형이고 오차들이 서로 독립이며 분산이 같을 때다. feature가 \(p\)개이면 파라미터 \(p+1\)개를 추정하므로 분모는 \(n-p-1\)이 되어 \(\RSE = \sqrt{\RSS/(n-p-1)}\)이다(ISL 3.2.2). 불편의 정의와 이런 계산의 틀은 2.6–2.7절에서 세운다. 어차피 \(n\)이 크면 \(n \approx n-2\)다.

RMSE는 \(n\)으로 나눈다. 훈련 데이터에서 계산하면 RMSE의 제곱은 1.7절에서 정의한 훈련 데이터 위의 평균제곱오차(mean squared error, MSE) \(\MSE_{\mathsf{Tr}} = \Ave_{i \in \mathsf{Tr}} (y_i - \hat y_i)^2\)(식 (1.6))와 같다.

\(R^2\)은 \(y\)의 단위에 좌우되지 않는다. TSS는 \(x\)를 전혀 쓰지 않고 \(\bar y\) 하나로 예측할 때의 제곱 잔차 합이고, RSS는 회귀 뒤에도 남은 제곱 잔차 합이다. 그래서 \(\RSS/\TSS\)는 \(y\)의 전체 흩어짐 가운데 적합이 놓친 비율이고, \(R^2\)은 적합이 설명한 비율이다. 설명된 분산 비율(fraction of variance explained)이라는 다른 이름이 여기서 나온다. 목표는 RSS를 되도록 줄이는 것이며, \(\RSS = 0\)이면 \(R^2 = 1\)이다. 절편이 있는 최소제곱 적합에서는 \(R^2\)이 0과 1 사이에 놓인다. 기울기를 0으로 두면 \(\bar y\) 예측이 되므로, 최소제곱 해의 RSS는 TSS보다 클 수 없다.

단순선형회귀에서는 \(R^2\)이 \(x\)와 \(y\)의 상관(correlation)을 재는 상관계수 \(r\)의 제곱과 같다.

$$ R^2 = r^2, \qquad r = \frac{\sum_i (x_i - \bar x)(y_i - \bar y)}{\sqrt{\sum_i (x_i - \bar x)^2}\,\sqrt{\sum_i (y_i - \bar y)^2}} $$

표 2.1로 돌아가면, 둘째 질문(관계가 얼마나 강한가)에는 \(R^2\)으로, 넷째 질문(얼마나 정확히 예측하는가)에는 우선 RSE로 답한다.

2.3 최대가능도 추정 Maximum Likelihood Estimation

L03 s15–s24

왜 최소제곱인가 Why Least Squares?

지금까지는 선형 모형을 데이터에 맞추는 데 최소제곱법을 그냥 적용했을 뿐, 왜 그 방법인지는 설명하지 않았다. 일반적으로 원하는 것은 \(y \approx f(\bx)\)다. 둘의 차이, 곧 오차(error)를 재는 방법은 여럿이다.

$$ \bigl(y - f(\bx)\bigr)^2, \qquad \bigl|y - f(\bx)\bigr|, \qquad \bigl|y / f(\bx) - 1\bigr|, \qquad \dots $$

차례로 제곱오차(squared error), 절대오차(absolute error), 상대오차(relative error)다. 어느 것을 최소화해도 \(y \approx f(\bx)\)는 이루어지지만 오차가 남는 모양이 달라진다. 예를 들어 제곱오차는 큰 오차에 훨씬 무거운 벌을 주므로 이상치(outlier) 하나에 크게 끌려가고, 절대오차는 덜 끌려간다. 그렇다면 왜 제곱을 고집하는가? 1.5절에서 미룬 이 질문에 답하려면 먼저 최대가능도(maximum likelihood)라는 개념이 필요하다. 답은 2.4절에서 나온다.

i.i.d. 가정과 가능도 The i.i.d. Assumption and the Likelihood

확률변수(random variable)의 모음이 독립동일분포(independent and identically distributed, i.i.d.)라는 것은 모든 확률변수가 같은 확률분포(probability distribution)를 따르고 서로 모두 독립이라는 뜻이다. 두 조건을 나누어 보자. 독립은 표본(sample)의 항목들이 서로 아무 식으로도 연결되지 않았다는 뜻이다. 한 변수의 값을 알아도 다른 변수의 값에 대해 아무 정보도 얻지 못하고, 그 반대도 같다. 동일분포(identical distribution)는 분포가 흔들리지 않는다는 뜻이다. 표본의 모든 항목이 같은 확률분포에서 나온다. 주사위를 100번 던져 나온 눈은 전형적인 i.i.d. 표본이다. 실제로는 표본이 따르는 분포를 모르므로, 명백히 아니라는 증거가 없는 한 i.i.d.를 가정하는 것이 보통이다.

크기가 \(n\)인 표본 \(x_1, \dots, x_n\)이 모르는 분포 \(p_\theta(x)\)에서 i.i.d.로 뽑혔다고 하자(\(x_1, \dots, x_n \iid p_\theta\)). \(\theta\)는 분포의 성격을 정하는 파라미터다. 이 절의 \(x_i\)는 feature가 아니라 분포에서 뽑은 표본이다. 회귀에 적용하는 것은 2.4절에서 한다.

가능도는 식으로는 결합확률과 같지만 보는 방향이 반대다. 확률은 파라미터를 고정하고 데이터의 함수로 보고, 가능도는 데이터를 고정하고 파라미터의 함수로 본다. 직관적으로 가능도는 「이 파라미터라면 지금 본 일이 일어날 확률」이다. MLE는 가능한 모든 \(\theta\) 가운데 관측한 표본에 가장 큰 확률을 주는 \(\theta\)다.

로그를 취해도 최대점은 옮겨지지 않는다. 로그는 단조증가(monotonically increasing) 함수라서 어떤 양의 함수 \(g\)에 대해서도 \(\argmax_\theta g(\theta) = \argmax_\theta \log g(\theta)\)이기 때문이다(최솟값도 마찬가지다). 그런데도 로그가능도를 널리 쓰는 것은 수학적으로 편하기 때문이다. 곱이 합으로 바뀌어 미분이 쉬워지고, 작은 확률을 여러 번 곱할 때 생기는 수치 언더플로(underflow)도 피한다.

MLE를 계산하는 법 Computing the MLE

함수는 극대(local maximum)나 극소(local minimum)에서 1계 도함수(derivative)가 0이다. 그래서 로그가능도의 gradient가 0이 되는 점이 MLE의 후보다.

$$ \nabla\ell(\theta) = \mathbf{0} \iff \frac{\partial \ell(\theta)}{\partial\theta_j} = 0 \quad (j = 1, \dots, d_\theta) $$

\(d_\theta\)는 파라미터의 개수다. 이런 점을 정류점(stationary point)이라 한다. 정류점은 극대일 수도, 극소일 수도, 파라미터가 여럿이면 어떤 방향으로는 오르고 다른 방향으로는 내리는 안장점(saddle point)일 수도 있으므로(그림 2.2), 극대인지 확인하려면 2계 도함수를 본다. 파라미터가 여럿이면 2계 도함수는 로그가능도의 헤세 행렬(Hessian matrix)

$$ [\mathbf{H}(\theta)]_{ij} = \frac{\partial^2 \ell(\theta)}{\partial\theta_i\,\partial\theta_j} $$

이고, 이것이 음의 정부호(negative definite), 곧 \(\mathbf{0}\)이 아닌 모든 벡터 \(\mathbf{v}\)에 대해 \(\mathbf{v}^\top\mathbf{H}\mathbf{v} \lt 0\)이면 극대다(충분조건이다). 반대로 \(\mathbf{H}\)가 양의 정부호(positive definite)이면 극소이고, \(\mathbf{v}^\top\mathbf{H}\mathbf{v}\)의 부호가 \(\mathbf{v}\)에 따라 갈리면 안장점이다. 파라미터가 하나면 조건은 \(\ell''(\theta) \lt 0\)으로 줄어든다.

(보충) 극대는 그 주변에서만 가장 큰 점이다. 로그가능도가 파라미터 공간 전체에서 오목(concave)하면(예를 들어 헤세 행렬이 어디서나 음의 정부호이면) 정류점이 곧 전역 최적(global optimum)이다. 아래 두 예 가운데 첫째가 그런 경우다. 둘째 예의 로그가능도는 \(\sigma\)에 대해 어디서나 오목하지는 않지만, 정류점이 하나뿐이고 \(\sigma\)가 0이나 무한대로 가면 로그가능도가 \(-\infty\)로 가므로(표본값이 모두 같지는 않다고 할 때) 그 정류점이 전역 최대다. 1계 조건을 손으로 풀 수 없을 때는 수치적 방법(numerical method)으로 최대점을 찾아가는데, 그 대표인 경사하강법(gradient descent)은 제4장에서 다룬다.

예: 베르누이 분포 Example: The Bernoulli Distribution

0 또는 1만 나오는 표본(동전 던지기)은 베르누이 분포(Bernoulli distribution)를 따른다. 확률질량함수(probability mass function, pmf)는 \(p_\theta(x) = \theta^{x}(1-\theta)^{1-x}\), \(x \in \{0, 1\}\)이고, \(\theta\)는 \(x = 1\)이 나올 확률이다. \(x = 1\)이면 \(\theta\), \(x = 0\)이면 \(1 - \theta\)가 되도록 한 줄로 쓴 것이다.

1. 로그가능도. 로그를 취하면 지수가 계수로 내려온다. $$ \begin{aligned} \ell(\theta) &= \sum_{i=1}^n \log \theta^{x_i}(1-\theta)^{1-x_i} \\ &= \log\theta \sum_{i=1}^n x_i + \log(1-\theta) \sum_{i=1}^n (1 - x_i) \end{aligned} $$
2. 1계 조건. $$ \frac{\partial \ell}{\partial\theta} = \frac1\theta \sum_{i=1}^n x_i - \frac{1}{1-\theta} \sum_{i=1}^n (1 - x_i) = 0 $$ 양변에 \(\theta(1-\theta)\)를 곱하면 \((1-\theta)\sum_i x_i = \theta\sum_i (1 - x_i) = n\theta - \theta\sum_i x_i\), 곧 \(\sum_i x_i = n\theta\)다.
3. 2계 조건. $$ \frac{\partial^2 \ell}{\partial\theta^2} = -\frac{1}{\theta^2}\sum_{i=1}^n x_i - \frac{1}{(1-\theta)^2}\sum_{i=1}^n (1 - x_i) \le 0 $$ 0과 1을 더한 합은 음수가 아니고 제곱도 음수가 아니므로 전체는 늘 0 이하다. 그러므로 정류점은 최대점이다.

$$ \hat\theta_{\text{MLE}} = \frac1n \sum_{i=1}^n x_i \tag{2.9} $$

MLE는 표본에서 1이 나온 비율이다. 동전을 던져 앞면이 나온 비율로 앞면이 나올 확률을 어림하는 직관과 같다. 표본이 모두 0이거나 모두 1이면 정류점이 \(0 \lt \theta \lt 1\) 안에 없고 MLE는 경계값 0 또는 1이 되는데, 식 (2.9)는 이때도 맞는다.

예: 정규분포 Example: The Normal Distribution

연속형의 예로 정규분포(normal distribution)의 두 파라미터 \(\theta = (\mu, \sigma)\), 곧 평균과 표준편차를 함께 추정한다. 확률밀도함수(probability density function, pdf)는 다음과 같다.

$$ p_\theta(x) = \frac{1}{\sigma\sqrt{2\pi}} \exp\!\left(-\frac{(x - \mu)^2}{2\sigma^2}\right) $$

로그가능도에서는 로그가 지수를 벗겨 내면서 제곱이 드러난다. 2.4절에서 최소제곱과 이어지는 고리가 이 제곱이다.

$$ \ell(\mu, \sigma) = -n\log\sigma - n\log\sqrt{2\pi} - \frac{1}{2\sigma^2}\sum_{i=1}^n (x_i - \mu)^2 $$

\(\mu\)에 대한 1계 조건 \(\partial\ell/\partial\mu = \sum_i (x_i - \mu)/\sigma^2 = 0\)에서 \(\sum_i x_i = n\mu\)를 얻는다. \(\sigma\)에 대한 1계 조건은 다음과 같다(첫 항은 \(-n\log\sigma\)를 미분한 것이다).

$$ \frac{\partial \ell}{\partial\sigma} = -\frac{n}{\sigma} + \frac{1}{\sigma^3}\sum_{i=1}^n (x_i - \mu)^2 = 0 $$

양변에 \(\sigma^3/n\)을 곱하면 \(\sigma^2 = \frac1n \sum_i (x_i - \mu)^2\)이다. 정리하면 다음과 같다.

$$ \hat\mu = \bar x = \frac1n \sum_{i=1}^n x_i, \qquad \hat\sigma^2 = \frac1n \sum_{i=1}^n (x_i - \hat\mu)^2 \tag{2.10} $$

평균의 MLE는 표본평균이고, 분산의 MLE는 편차 제곱의 평균이다. 분모가 \(n\)이라는 데 주목하자. 2.2절의 RSE는 불편하게 만들려고 \(n-2\)로 나누었는데, MLE는 그런 보정 없이 \(n\)으로 나눈다. 그래서 \(\hat\sigma^2\)은 평균적으로 \(\sigma^2\)을 조금 작게 잡는다. 정확히는 \(\E[\hat\sigma^2] = (n-1)\sigma^2/n\)이어서, 이 경우 불편하게 만드는 분모는 \(n-1\)이다(같은 데이터에서 추정한 파라미터가 \(\mu\) 하나다). 이 치우침에는 2.6절에서 이름을 붙인다.

베르누이 분포와 정규분포의 MLE는 이 책에서 여러 번 돌아온다. 제4장에서 베르누이 분포의 \(\theta\)가 \(\bx\)에 따라 변하게 하면 로지스틱 회귀(logistic regression)의 가능도가 되고, 정규분포의 MLE는 선형판별분석(linear discriminant analysis, LDA)과 이차판별분석(quadratic discriminant analysis, QDA)의 재료가 된다. 로지스틱 회귀에서는 1계 조건을 손으로 풀 수 없어서, 정류점을 찾는 일을 수치적 방법에 맡긴다.

2.4 최소제곱은 최대가능도 추정이다 Least Squares as Maximum Likelihood

L03 s34 (앞당김), s26–s28 · ISL 3.2.1

절편을 벡터에 흡수하기 Absorbing the Intercept

feature가 \(p\)개인 선형 모형 \(y \approx \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p\)는 벡터로 \(y \approx \beta_0 + \bbeta^\top\bx\)라고 쓸 수 있다(\(\bbeta, \bx \in \R^p\)). \(^\top\)은 전치(transpose)다. 절편만 따로 떨어져 있는 것이 번거로우므로 \(\bx\)의 맨 앞에 상수 1을, 계수 벡터의 맨 앞에 \(\beta_0\)를 붙인다.

$$ \beta_0 + \bbeta^\top\bx = \begin{bmatrix} \beta_0 \\ \bbeta \end{bmatrix}^{\!\top} \begin{bmatrix} 1 \\ \bx \end{bmatrix} = \bbeta'^\top\bx' $$

여기서 \(\bbeta' = (\beta_0, \beta_1, \dots, \beta_p)^\top\)와 \(\bx' = (1, x_1, \dots, x_p)^\top\)는 둘 다 \((p+1) \times 1\)이다. 이제 절편은 내적(inner product) 하나 안에 들어 있다. 이후로는 프라임을 생략하고 \(y \approx \bbeta^\top\bx\)라고만 쓴다. 이때 \(\bx\)의 첫 성분은 1이고, \(\bbeta\)는 절편 \(\beta_0\)를 포함해 성분이 \(p+1\)개인 벡터다. 이 약속은 이 장의 나머지 모든 \(\bbeta^\top\bx\)와 2.5절의 행렬에 적용된다. 슬라이드는 이 크기를 \(d\)로 적었지만 이 책은 feature 수 \(p\)와 절편을 포함한 \(p + 1\)로 쓴다.

확률 모형으로 다시 쓰기 A Probabilistic Model

선형회귀의 기본 가정은 \(y\)가 \(\bx\)에 선형으로 의존한다는 것, 곧 \(y \approx \bbeta^\top\bx\)다. 예를 들어 Advertising 데이터에서는 \(\text{Sales} = \beta_0 + \beta_1\cdot\text{TV} + \beta_2\cdot\text{Radio} + \beta_3\cdot\text{Newspaper} + \epsilon\)이다. 이제 한 걸음 더 나아가, 오차항이 평균 0, 분산 \(\sigma^2\)인 정규분포를 따른다고 가정한다.

$$ y = \bbeta^\top\bx + \epsilon, \qquad \epsilon \sim \mathcal{N}(0, \sigma^2) $$

그러면 \(\bx\)가 주어졌을 때 \(y\)의 조건부 분포(conditional distribution)는 다음과 같다.

$$ y \mid \bx \sim \mathcal{N}(\bbeta^\top\bx, \sigma^2) \tag{2.11} $$

이 식은 두 가지를 말한다. 첫째, 평균 \(\E[y \mid \bx] = \bbeta^\top\bx\)는 1.3절의 회귀함수, 곧 식 (1.2)의 \(f(\bx) = \E[Y \mid X = \bx]\)이고 그 꼴이 선형이다. 회귀 모형의 조건부 분포를 적을 때는 이처럼 \(\E[Y \mid X = \bx]\)를 \(\E[y \mid \bx]\)로 줄여 쓴다. feature가 둘이면 이 평균은 \((x_1, x_2, y)\) 공간의 평면, 곧 회귀평면(regression plane)을 이룬다(ISL 그림 3.4). 둘째, 분산 \(\sigma^2\)은 \(\bx\)와 상관없이 일정하다. 이것을 등분산(homoscedasticity)이라 한다(그림 2.3). 2.1절의 Sales–TV 데이터처럼 \(x\)가 커질수록 퍼짐이 커지는 데이터는 이 둘째 가정을 어긴다.

가능도를 최대화하면 RSS가 남는다 Maximizing the Likelihood Leaves the RSS

식 (2.11)의 MLE를 구하자. 2.3절의 틀에 맞추려면 세 가지를 바꿔 읽는다. 추정할 파라미터 \(\theta\)는 \(\bbeta\)다. 확률을 매기는 대상은 이제 \(x\)가 아니라 \(y\)이고, 그것도 \(\bx\)가 주어진 조건부 분포 \(p_{\bbeta}(y \mid \bx)\)다. 그리고 정규분포의 평균 \(\mu\) 자리에 회귀함수 \(\bbeta^\top\bx\)가 들어간다. 2.3절의 정규분포 예에서 상수였던 평균을 \(\bx\)에 따라 움직이게 한 것이 선형회귀의 확률 모형이다.

$$ p_{\bbeta}(y \mid \bx) = \frac{1}{\sigma\sqrt{2\pi}} \exp\!\left(-\frac{(y - \bbeta^\top\bx)^2}{2\sigma^2}\right) $$

관측값 \((\bx_i, y_i)\)들이 i.i.d.라고 하면 로그가능도는 다음과 같다.

$$ \begin{aligned} \ell(\bbeta) &= \sum_{i=1}^n \log p_{\bbeta}(y_i \mid \bx_i) \\ &= -n\log\bigl(\sigma\sqrt{2\pi}\bigr) - \frac{1}{2\sigma^2}\sum_{i=1}^n (y_i - \bbeta^\top\bx_i)^2 \end{aligned} $$

첫 항 \(-n\log(\sigma\sqrt{2\pi})\)는 \(\bbeta\)와 무관한 정규화 상수(normalizing constant)에서 왔고, 둘째 항의 \(1/(2\sigma^2)\)은 양의 상수 배율이다. 어느 쪽도 최대점의 위치를 바꾸지 않으므로 지운다. 여기서 \(\sigma\)는 \(\bbeta\)와 무관한 상수로 다룬다. 남은 것을 최대화하는 것은 부호를 바꾼 것을 최소화하는 것과 같다.

$$ \begin{aligned} \argmax_{\bbeta} \ell(\bbeta) &= \argmax_{\bbeta} \Bigl(-\sum_{i=1}^n (y_i - \bbeta^\top\bx_i)^2\Bigr) \\ &= \argmin_{\bbeta} \sum_{i=1}^n (y_i - \bbeta^\top\bx_i)^2 \end{aligned} \tag{2.12} $$

1.5절에서 미룬 「왜 제곱인가」의 답이 이것이다. 제곱은 임의의 선택이 아니라, 오차가 정규분포라는 가정이 가능도를 거쳐 낳은 손실이다. 거꾸로 말하면 가정을 바꾸면 최소화할 양도 바뀐다.

2.5 행렬 표기와 정규방정식 Matrix Notation and the Normal Equation

L03 s30–s32

식 (2.12)의 합은 행렬 표기(matrix notation)로 쓰면 한 줄이 된다. \(n\)개 관측값의 회귀식 \(y_i = \bbeta^\top\bx_i + \epsilon_i\)를 세로로 쌓는다. 반응을 열벡터(column vector) \(\by\)로, 각 관측값의 \(\bx_i^\top\)를 행으로 쌓은 행렬을 \(\bX\)로 쓰면 다음과 같다.

$$ \underbrace{\begin{bmatrix} y_1 \\ \vdots \\ y_n \end{bmatrix}}_{\by} = \underbrace{\begin{bmatrix} 1 & x_{11} & \cdots & x_{1p} \\ \vdots & \vdots & & \vdots \\ 1 & x_{n1} & \cdots & x_{np} \end{bmatrix}}_{\bX} \underbrace{\begin{bmatrix} \beta_0 \\ \vdots \\ \beta_p \end{bmatrix}}_{\bbeta} + \underbrace{\begin{bmatrix} \epsilon_1 \\ \vdots \\ \epsilon_n \end{bmatrix}}_{\beps} \tag{2.13} $$

\(x_{ij}\)는 \(i\)번째 관측값의 \(j\)번째 feature 값이다. \(\bX\)를 설계행렬(design matrix)이라 하며, 크기는 \(n \times (p+1)\)이고 첫 열은 모두 1이다(2.4절에서 흡수한 절편). 슬라이드의 feature matrix도 같은 것이다. 한 줄로 쓰면 \(\by = \bX\bbeta + \beps\)다.

잔차 벡터 \(\by - \bX\bbeta\)의 \(i\)번째 성분이 \(y_i - \bbeta^\top\bx_i\)이므로, RSS는 이 벡터와 자기 자신의 내적이다.

$$ \RSS(\bbeta) = \sum_{i=1}^n (y_i - \bbeta^\top\bx_i)^2 = (\by - \bX\bbeta)^\top(\by - \bX\bbeta) \tag{2.14} $$

\(1 \times n\) 행벡터(row vector)와 \(n \times 1\) 열벡터의 곱 하나가 \(i = 1, \dots, n\)에 걸친 합을 대신한다(그림 2.5).

정규방정식 The Normal Equation

RSS를 \(\bbeta\)로 미분해 0으로 놓는다. 이 계산을 행렬 미분(matrix derivative)으로 한 번에 한다.

1. 곱을 풀어 쓴다. $$ \RSS(\bbeta) = \by^\top\by - \bbeta^\top\bX^\top\by - \by^\top\bX\bbeta + \bbeta^\top\bX^\top\bX\bbeta $$
2. 가운데 두 항은 스칼라이고 서로의 전치다(\(\mathbf{a}^\top\mathbf{b} = \mathbf{b}^\top\mathbf{a}\)). 그래서 \(\RSS(\bbeta) = \by^\top\by - 2\bbeta^\top\bX^\top\by + \bbeta^\top\bX^\top\bX\bbeta\)다.
3. 벡터 미분 공식 \(\partial(\bbeta^\top\mathbf{a})/\partial\bbeta = \mathbf{a}\)와, 대칭행렬(symmetric matrix) \(\mathbf{A}\)에 대한 \(\partial(\bbeta^\top\mathbf{A}\bbeta)/\partial\bbeta = 2\mathbf{A}\bbeta\)를 쓴다(\(\bX^\top\bX\)는 대칭이다). $$ \frac{\partial \RSS(\bbeta)}{\partial\bbeta} = -2\bX^\top\by + 2\bX^\top\bX\bbeta = -2\bX^\top(\by - \bX\bbeta) $$
4. 0으로 놓으면 \(\bX^\top\by - \bX^\top\bX\bbeta = \mathbf{0}\)이다.

슬라이드는 곱의 미분법으로 두 인자를 차례로 미분해 \(-\bX^\top(\by - \bX\bbeta) - (\by - \bX\bbeta)^\top\bX\)를 얻는다. 둘째 항은 첫째 항의 전치라서 gradient를 열벡터로 맞춰 적으면 같은 벡터가 되고, 합하면 위의 \(-2\bX^\top(\by - \bX\bbeta)\)다.

차원(dimension)을 확인하자. \(\bX^\top\bX\)는 \((p+1) \times n\) 행렬과 \(n \times (p+1)\) 행렬의 곱이라 \((p+1) \times (p+1)\)이다. 그 역행렬에 \((p+1) \times n\)인 \(\bX^\top\)와 \(n \times 1\)인 \(\by\)를 차례로 곱하면 \((p+1) \times 1\), 곧 \(\bbeta\)와 같은 모양이 된다. 1.6절에서 말한 닫힌 형태의 해가 이것이다.

2.1절의 식과 대조하기 Checking Against Section 2.1

feature가 하나(\(p = 1\))이면 \(\bX\)의 두 열은 \((1, \dots, 1)^\top\)과 \((x_1, \dots, x_n)^\top\)이다.

$$ \bX^\top\bX = \begin{bmatrix} n & \sum_i x_i \\ \sum_i x_i & \sum_i x_i^2 \end{bmatrix}, \qquad \bX^\top\by = \begin{bmatrix} \sum_i y_i \\ \sum_i x_i y_i \end{bmatrix} $$

정규방정식의 첫 줄 \(n\beta_0 + \beta_1 \sum_i x_i = \sum_i y_i\)는 2.1절의 \(\hat\beta_0 = \bar y - \hat\beta_1 \bar x\) 바로 그것이다. \(2 \times 2\) 역행렬을 곱해 둘째 성분을 정리하면

$$ \hat\beta_1 = \frac{\sum_i x_i y_i - n\bar x\bar y}{\sum_i x_i^2 - n\bar x^2} = \frac{\sum_i (x_i - \bar x)(y_i - \bar y)}{\sum_i (x_i - \bar x)^2} $$

으로 식 (2.3)과 같다. 단순선형회귀의 공식은 식 (2.16)의 특수한 경우다.

예측 Prediction

적합한 \(\bhbeta\)로 처음 보는 데이터(unseen data)를 예측한다. 새 관측값 하나의 feature 벡터 \(\bx\)(첫 성분이 1인 \((p+1) \times 1\) 벡터)는 내적 하나로, 새 관측값 \(M\)개를 행으로 쌓은 \(M \times (p+1)\) 행렬 \(\bX_{\mathsf{Te}}\)는 행렬곱 하나로 예측한다.

$$ \hat y = \bhbeta^\top\bx, \qquad \hat\by_{\mathsf{Te}} = \bX_{\mathsf{Te}}\,\bhbeta $$

두 식의 \(\bhbeta\)는 모두 훈련 데이터의 \(\bX\), \(\by\)로 계산한 식 (2.16)이다. 첨자 \(\mathsf{Te}\)는 1.7절의 시험 데이터(test data)를 가리킨다. 훈련 데이터 자신에 대한 예측 \(\hat\by = \bX\bhbeta\)는 적합값(fitted value)이라 부른다. 슬라이드는 새 관측값의 행렬과 개수에도 \(\bX\)와 \(n\)을 다시 썼지만, 훈련 데이터와 섞이지 않도록 \(\bX_{\mathsf{Te}}\)와 \(M\)으로 적었다.

2.6 추정량의 편향·분산·MSE Bias, Variance, and MSE of an Estimator

L03 s36–s39

2.5절까지로 추정하는 법은 갖추었다. 이제 그 추정이 얼마나 좋은지 묻는다. 추정량 \(\hat\theta = \hat\theta(x_1, \dots, x_n)\)은 데이터의 함수다. 데이터가 확률적으로 뽑히므로 \(\hat\theta\)도 확률변수이고, 같은 방식으로 표본을 거듭 뽑을 때마다 다른 값을 낸다. 그 값들의 분포를 \(\hat\theta\)의 표본분포(sampling distribution)라 한다. 좋은 추정량이란 표본분포의 중심이 참값(true value)에 있고 퍼짐이 작은 것이다(그림 2.6).

2.3절의 \(\hat\sigma^2\)이 \(\sigma^2\)을 평균적으로 조금 작게 잡는다는 것은 이제 그것이 편향 추정량이라는 말로 바꿔 쓸 수 있다. 이 셋 사이에는 간단한 관계가 있다.

증명. 양변을 성분으로 풀면

$$ \E\Bigl[\sum_j (\hat\theta_j - \theta_j)^2\Bigr] = \sum_j \E\bigl[(\hat\theta_j - \E[\hat\theta_j])^2\bigr] + \sum_j \bigl(\E[\hat\theta_j] - \theta_j\bigr)^2 $$

을 보이면 된다. 기댓값의 선형성(linearity of expectation)으로 왼쪽의 기댓값이 합 안으로 들어가므로 성분마다 따로 보이면 충분하다. 그러므로 일반성을 잃지 않고(without loss of generality) \(d_\theta = 1\)로 둔다. \(\hat\theta\)와 참값 사이에 \(\E[\hat\theta]\)를 빼고 더한 뒤 제곱을 전개하면 세 항이 나온다.

$$ \begin{aligned} \E\bigl[(\hat\theta - \theta)^2\bigr] &= \E\bigl[(\hat\theta - \E[\hat\theta] + \E[\hat\theta] - \theta)^2\bigr] \\ &= \underbrace{\E\bigl[(\hat\theta - \E[\hat\theta])^2\bigr]}_{\Var(\hat\theta)} + \underbrace{2\E\bigl[(\hat\theta - \E[\hat\theta])(\E[\hat\theta] - \theta)\bigr]}_{(\ast)} \\ &\quad + \underbrace{\E\bigl[(\E[\hat\theta] - \theta)^2\bigr]}_{\Bias(\hat\theta)^2} \end{aligned} $$

셋째 항은 상수의 기댓값이라 편향의 제곱 그 자체다. 남은 교차항(cross term) \((\ast)\)은 0이다. \(\theta\)는 모르는 값이지만 확률변수가 아니라 상수이고, \(\E[\hat\theta]\)도 상수이기 때문이다. 전개하면

$$ \begin{aligned} (\ast) &= 2\E\bigl[\hat\theta\,\E[\hat\theta] - \hat\theta\,\theta - (\E[\hat\theta])^2 + \theta\,\E[\hat\theta]\bigr] \\ &= 2\bigl[(\E[\hat\theta])^2 - \theta\,\E[\hat\theta] - (\E[\hat\theta])^2 + \theta\,\E[\hat\theta]\bigr] = 0 \end{aligned} $$

이고, 증명이 끝난다.

참값을 상수로 보는 것은 빈도주의(frequentist) 관점이다. 무작위인 것은 데이터와 거기서 계산한 \(\hat\theta\)뿐이다.

(보충) 1.9절의 분해 식을 증명하기 Proving the Decomposition of Section 1.9

시험점 \(\bx_0\)에서 참값 \(\theta = f(\bx_0)\)을 추정하는 추정량을 \(\hat\theta = \hat f(\bx_0)\)으로 보자. 무작위성은 \(\hat f\)을 만든 훈련 데이터에서 온다. 새 반응 \(y_0 = f(\bx_0) + \epsilon\)의 잡음(noise) \(\epsilon\)은 훈련 데이터와 독립이고 \(\E[\epsilon] = 0\)이므로, 1.5절의 식 (1.5)와 같은 계산으로 다음을 얻는다.

$$ \begin{aligned} \E\bigl[(y_0 - \hat f(\bx_0))^2\bigr] &= \E\bigl[(f(\bx_0) - \hat f(\bx_0))^2\bigr] + \Var(\epsilon) \\ &= \Var\bigl(\hat f(\bx_0)\bigr) + \bigl[\Bias\bigl(\hat f(\bx_0)\bigr)\bigr]^2 + \Var(\epsilon) \end{aligned} $$

첫 줄에서는 교차항 \(2\E[\epsilon\,(f(\bx_0) - \hat f(\bx_0))]\)이 독립성 때문에 0이 되고, 둘째 줄은 식 (2.17)을 \(d_\theta = 1\)로 적용한 것이다. 이것이 1.9절에서 진술만 하고 증명을 미룬 식 (1.8)이다. 1.9절의 U자 곡선이 편향의 제곱, 분산, 줄일 수 없는 오차(irreducible error) \(\Var(\epsilon)\) 세 곡선으로 갈라지는 까닭이 여기 있다.

2.7 최소제곱 추정량의 성질 Properties of the Least Squares Estimator

L03 s33 (뒤로), s40 · ISL 3.1.2

이제 2.6절의 잣대를 최소제곱 추정량(least squares estimator) \(\bhbeta = (\bX^\top\bX)^{-1}\bX^\top\by\)에 댄다. \(\bX\)는 주어진 것으로 보고(\(\bX\)에 조건부로) 계산한다. 무작위인 것은 \(\by\), 더 정확히는 오차 \(\beps\)다. 2.4절의 가정을 행렬로 쓰면 \(\by \mid \bX \sim \mathcal{N}(\bX\bbeta, \sigma^2\bI)\), 곧 \(\E[\by \mid \bX] = \bX\bbeta\)이고 \(\Var(\by \mid \bX) = \sigma^2\bI\)다. \(\bI\)는 \(n \times n\) 단위행렬(identity matrix)이다. 확률벡터 \(\mathbf{Z}\)와 상수 행렬 \(\mathbf{A}\)에 대한 두 성질 \(\E[\mathbf{A}\mathbf{Z}] = \mathbf{A}\,\E[\mathbf{Z}]\)와 \(\Var(\mathbf{A}\mathbf{Z}) = \mathbf{A}\Var(\mathbf{Z})\mathbf{A}^\top\)만 있으면 된다.

식 (2.18)의 성질을 불편성(unbiasedness)이라 한다. 유도는 다음과 같다.

1. 기댓값. 상수 행렬 \((\bX^\top\bX)^{-1}\bX^\top\)를 밖으로 꺼내고 \(\E[\by \mid \bX] = \bX\bbeta\)를 넣는다. $$ \begin{aligned} \E[\bhbeta \mid \bX] &= (\bX^\top\bX)^{-1}\bX^\top\,\E[\by \mid \bX] \\ &= (\bX^\top\bX)^{-1}\bX^\top\bX\bbeta = \bbeta \end{aligned} $$
2. 분산. 같은 행렬을 앞뒤로 꺼내고 \(\Var(\by \mid \bX) = \sigma^2\bI\)를 넣는다. $$ \begin{aligned} \Var(\bhbeta \mid \bX) &= (\bX^\top\bX)^{-1}\bX^\top\,\Var(\by \mid \bX)\,\bX(\bX^\top\bX)^{-1} \\ &= \sigma^2(\bX^\top\bX)^{-1}\bX^\top\bX(\bX^\top\bX)^{-1} \\ &= \sigma^2(\bX^\top\bX)^{-1} \end{aligned} $$ 첫 줄에서 \(\bigl((\bX^\top\bX)^{-1}\bX^\top\bigr)^\top = \bX(\bX^\top\bX)^{-1}\)을 썼다. \(\bX^\top\bX\)가 대칭이라 그 역행렬도 대칭이기 때문이다.

데이터가 늘면 분산이 준다. \(\bX^\top\bX = \sum_i \bx_i\bx_i^\top\)는 관측값마다 항이 하나씩 더해지므로 대략 \(n\)에 비례해 커지고, 그 역행렬은 대략 \(1/n\)로 줄어든다. (보충) 단순선형회귀에서는 이것이 눈에 보인다. 2.5절의 \(2 \times 2\) 행렬 \(\bX^\top\bX\)의 역행렬에서 오른쪽 아래 성분을 읽으면

$$ \Var(\hat\beta_1 \mid \bX) = \frac{\sigma^2}{\sum_{i=1}^n (x_i - \bar x)^2} $$

이다. 관측값이 많을수록, 그리고 \(x\)가 넓게 퍼져 있을수록 기울기 추정이 안정된다. 이 분산의 제곱근에서 \(\sigma\)를 RSE로 바꾼 것이 ISL이 계수표에 싣는 표준오차(standard error) \(\SE(\hat\beta_1)\)이다.

선형회귀의 MSE The MSE of Linear Regression

2.6절의 정리, 식 (2.17)에 대입하면 선형회귀 추정량의 MSE가 나온다. 편향이 0이므로 MSE는 모두 분산에서 온다.

$$ \begin{aligned} \MSE(\bhbeta \mid \bX) &= \operatorname{tr}\Var(\bhbeta \mid \bX) + \lVert\Bias(\bhbeta \mid \bX)\rVert^2 \\ &= \sigma^2 \operatorname{tr}\bigl[(\bX^\top\bX)^{-1}\bigr] + 0 \end{aligned} \tag{2.20} $$

슬라이드는 여기에 대각합을 붙이지 않고 행렬 \(\sigma^2(\bX^\top\bX)^{-1}\)을 적었지만, 식 (2.17)에서 MSE는 스칼라이므로 \(\operatorname{tr}\)이 붙어야 한다. 새 관측값이 feature 공간의 모든 방향으로 고르게 쌓여 \(\bX^\top\bX/n\)이 가역 행렬로 수렴하면, 데이터가 무한히 늘 때 이 분산, 곧 MSE도 0으로 간다.

가우스-마르코프 정리 The Gauss–Markov Theorem

최소제곱 추정량은 불편이다. 그렇다면 불편추정량 가운데 가장 좋은가? 이에 답하는 것이 가우스-마르코프 정리(Gauss–Markov theorem)다. 슬라이드는 「MLE가 최량 불편추정량(best unbiased estimator)이다. 곧 MLE보다 분산이 작은 다른 추정량은 없다」고 요약했는데, 정확히는 두 진술을 합친 것이다.

계수 하나 \(\hat\beta_j\)의 분산만 보려면 \(\mathbf{a}\)를 \(j\)번째 성분만 1인 벡터로 두면 된다. 정리가 말하는 것은 불편추정량들 사이의 순위뿐이다. 편향을 조금 허용하는 대신 분산을 크게 줄이는 추정량은 MSE(식 (2.17))로는 최소제곱 추정량보다 나을 수 있다. 특히 다음 절에서 보듯 식 (2.19)의 분산이 매우 커지는 경우가 있는데, 이때 계수를 작게 눌러 분산을 줄이는 규제(regularization)가 제5장의 주제다.

2.8 다중선형회귀 계수의 해석 Interpreting Coefficients in Multiple Linear Regression

L03 s12–s13 (뒤로) · ISL 3.2.1

feature가 여럿인 선형회귀를 다중선형회귀(multiple linear regression)라 한다. Advertising 데이터에서 세 매체를 모두 넣으면 모형은

$$ \text{Sales} = \beta_0 + \beta_1\cdot\text{TV} + \beta_2\cdot\text{Radio} + \beta_3\cdot\text{Newspaper} + \epsilon $$

이다. 이 절은 적합된 계수 \(\hat\beta_j\)를 어떻게 읽을지 묻는다. 표 2.1의 셋째 질문, 곧 어느 매체가 Sales에 가장 크게 기여하는가에 답하려면 이 읽는 법이 필요하다.

이상적인 경우는 feature끼리 서로 무상관인 균형 설계(balanced design)다. 이때는 각 계수를 따로 추정하고 따로 검정(test)할 수 있으며, 「다른 feature를 모두 고정한 채 \(X_j\)가 한 단위 변하면 \(y\)는 평균 \(\beta_j\)만큼 변한다」는 해석이 성립한다. 여기서 \(X_j\)는 \(j\)번째 feature를 가리킨다.

feature끼리 상관이 있으면 문제가 생긴다. 모든 계수의 분산이 커지는 경향이 있고, 때로는 극적으로 커진다. 해석도 위험해진다. \(X_j\)가 변할 때 다른 모든 것이 함께 변하므로, 「다른 feature를 고정하면」이라는 상황이 데이터 안에서 일어나지 않는다.

분산이 커지는 까닭은 2.7절의 식 (2.19) \(\Var(\bhbeta \mid \bX) = \sigma^2(\bX^\top\bX)^{-1}\)에 있다. \(\bX\)의 열들이 선형 관계에 가까우면 \(\bX^\top\bX\)는 역행렬이 없는 특이행렬(singular matrix)에 가까워지고, 그 역행렬의 성분은 매우 커진다. 두 변수 사이의 이런 관계를 공선성(collinearity), 여러 변수에 걸친 것을 다중공선성(multicollinearity)이라 한다.

표 2.2Advertising 데이터의 다중선형회귀 계수(ISL 표 3.4의 계수 열)

	계수	추정값
Intercept	\(\hat\beta_0\)	2.939
TV	\(\hat\beta_1\)	0.046
radio	\(\hat\beta_2\)	0.189
newspaper	\(\hat\beta_3\)	−0.001

표 2.3Advertising 데이터의 상관행렬(ISL 표 3.5, 위 삼각만)

	TV	radio	newspaper	sales
TV	1.0000	0.0548	0.0567	0.7822
radio		1.0000	0.3541	0.5762
newspaper			1.0000	0.2283
sales				1.0000

그래서 표 2.1의 셋째 질문에는 이렇게 답한다. 다른 두 매체를 고려하고 나면 Sales에 기여하는 것은 TV와 Radio이고, Newspaper의 몫은 거의 없다. 첫째 질문(관계가 있는가)에도 여기서 답할 수 있다. 세 매체를 함께 넣어도 TV와 Radio의 계수는 저마다 표준오차의 20배가 넘으므로(ISL 표 3.4) 광고 예산과 Sales 사이에는 관계가 있다. 이 물음을 한꺼번에 따지는 F-검정(F-test)은 이 강의가 다루지 않는다(3.1절).

2.9 범주형 feature Categorical Features

L04 s04, s06–s10 · ISL 3.3.1

2.8절까지는 모형 \(\by = \bX\bbeta + \beps\)를 고정해 두고 \(\bbeta\)를 추정하고 해석했다. 이제부터는 \(\bX\)의 열을 바꾼다. 기본 선형회귀를 넓히는 길은 세 가지다: 범주형(categorical) 변수, 변수 사이의 상호작용(interaction), 그리고 feature selection. 앞의 둘은 이 절과 2.10절에서, feature selection은 제3장에서 다룬다. 어느 길이든 추정 절차(2.5절)는 그대로이고, 바뀌는 것은 \(\bX\)에 무엇을 열로 넣느냐뿐이다.

feature 가운데에는 수치가 아닌 것이 있다. 양적(quantitative) feature와 달리 질적(qualitative) feature는 몇 개의 값 가운데 하나를 가진다. 범주형 feature, 또는 요인(factor) 변수라고도 한다. Credit 데이터는 신용카드 사용자들의 기록이다. 양적 변수 7개(balance, age, cards, education, income, limit, rating)에 더해 질적 변수 4개가 있다: own(주택 소유 여부), student(학생 여부), status(결혼 여부), region(East, West, South). 양적 변수들의 산점도행렬(scatterplot matrix)(ISL 그림 3.6)을 보면 limit과 rating은 거의 한 직선 위에 놓인다. 3.1절에서 다루는 「거의 중복된 feature」의 실례다. 질적 변수는 수치가 아니어서 그대로 \(\bX\)의 열로 넣을 수 없으므로, 0과 1로 된 수치 열로 바꾼다.

두 값을 가지는 변수 Variables with Two Levels

주택 소유 여부 own에 따라 카드 잔액 balance(\(y\))가 어떻게 다른지 보자. 다른 변수는 무시한다. own을 이진 변수(binary variable) 하나로 나타낸다.

$$ x_i = \begin{cases} 1 & \text{if person } i \text{ owns a house} \\ 0 & \text{otherwise} \end{cases} $$

모형에 넣고 두 경우로 풀어 쓰면 해석이 바로 보인다.

$$ y_i = \beta_0 + \beta_1 x_i + \epsilon_i = \begin{cases} \beta_0 + \beta_1 + \epsilon_i & \text{owner} \\ \beta_0 + \epsilon_i & \text{non-owner} \end{cases} \tag{2.21} $$

\(\beta_0\)는 주택이 없는 사람의 평균 잔액이고, \(\beta_1\)은 주택 소유자와 비소유자의 평균 잔액 차이다. 이렇게 범주를 0과 1로 나타낸 변수를 가변수(dummy variable)라 한다. 표 2.4의 위쪽이 적합 결과다. 비소유자의 평균 카드 빚은 509.80달러로 추정되고, 소유자는 19.73달러를 더 져서 509.80 + 19.73 = 529.53달러로 추정된다.

세 값 이상을 가지는 변수 Variables with More Than Two Levels

범주형 feature가 가질 수 있는 값 하나하나를 수준(level)이라 한다. 수준이 셋 이상이면 가변수를 더 만든다. region(East, West, South)에는 두 개를 둔다.

$$ x_{i1} = \begin{cases} 1 & \text{South} \\ 0 & \text{otherwise} \end{cases}, \qquad x_{i2} = \begin{cases} 1 & \text{West} \\ 0 & \text{otherwise} \end{cases} $$ $$ y_i = \beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \epsilon_i = \begin{cases} \beta_0 + \beta_1 + \epsilon_i & \text{South} \\ \beta_0 + \beta_2 + \epsilon_i & \text{West} \\ \beta_0 + \epsilon_i & \text{East} \end{cases} \tag{2.22} $$

표 2.4Credit 데이터에서 balance를 가변수로 회귀한 계수(ISL 표 3.7·3.8의 계수 열)

모형		계수
own (2.21)	Intercept	509.80
	own[Yes]	19.73
region (2.22)	Intercept	531.00
	region[South]	−18.69
	region[West]	−12.50

가변수를 왜 하나 적게 만드는가? 수준 수만큼 만들면 모든 관측값에서 가변수들의 합이 1이 되어 절편 열(모두 1)과 정확히 같아진다. 그러면 \(\bX\)의 열들이 선형종속(linear dependence)이 되어 \(\bX^\top\bX\)가 가역이 아니고(2.5절의 조건), 식 (2.16)의 해가 하나로 정해지지 않는다. 3.1절은 이것을 최소제곱 해가 하나로 정해지지 않는 경우의 하나로 다시 다룬다.

one-hot encoding과 가변수 코딩 One-Hot Encoding versus Dummy Coding

범주형 변수를 나타내는 데 널리 쓰는 다른 방식이 one-hot encoding이다. 변수가 가질 수 있는 값마다 이진 변수를 하나씩 두고, 그중 정확히 하나만 1, 나머지는 모두 0으로 둔다. 예를 들어 color \(\in\) {red, blue, green}이면 red에 \(x_1\), blue에 \(x_2\), green에 \(x_3\)을 배정하고, color = red는 \((x_1, x_2, x_3) = (1, 0, 0)\)이 된다. 표 2.5는 팀 이름을 one-hot encoding한 예다.

표 2.5one-hot encoding의 예(L04 s10). 왼쪽 두 열이 원래 데이터, 오른쪽 네 열이 변환한 데이터다

Team	Points	Team_A	Team_B	Team_C	Points
A	25	1	0	0	25
A	12	1	0	0	12
B	15	0	1	0	15
B	14	0	1	0	14
B	19	0	1	0	19
B	23	0	1	0	23
C	25	0	0	1	25
C	29	0	0	1	29

그럼에도 one-hot encoding이라는 이름을 여기서 익혀 둘 까닭이 있다. 분류(classification) 문제에서는 정답을 one-hot 벡터로 나타내 softmax가 내놓는 확률과 맞대고(제4장·제9장), 단어처럼 수준이 아주 많은 범주는 one-hot으로 적은 다음 embedding으로 바꾼다(제12장).

2.10 상호작용과 비선형 관계 Interactions and Nonlinear Relationships

L04 s12–s19 · ISL 3.3.2

지금까지의 Advertising 분석은 한 매체의 광고비를 늘렸을 때 Sales에 미치는 효과가 다른 매체에 쓴 금액과 무관하다고 가정했다. 예를 들어 선형 모형 \(\text{Sales} = \beta_0 + \beta_1\cdot\text{TV} + \beta_2\cdot\text{Radio} + \beta_3\cdot\text{Newspaper}\)는 TV가 한 단위 늘 때 Sales의 평균 효과가 Radio에 얼마를 썼든 늘 \(\beta_1\)이라고 말한다. 이것이 가법 가정(additive assumption)이다. 이 절은 이 가정을 두 방향으로 푼다: 상호작용과 비선형성(nonlinearity)이다.

시너지와 상호작용 효과 Synergy and Interaction Effects

Radio 광고에 돈을 쓰면 실제로 TV 광고의 효과가 커진다고 해 보자. 그러면 TV의 기울기는 Radio가 늘수록 커져야 한다. 이런 상황에서는 100,000달러의 고정 예산을 TV나 Radio 한쪽에 몰아 쓰는 것보다 반씩 나누어 쓰는 편이 Sales를 더 늘릴 수 있다. 마케팅에서는 이것을 시너지 효과(synergy effect)라 하고, 통계학에서는 상호작용 효과(interaction effect)라 한다.

실제 데이터에 그 흔적이 있다. Sales를 TV와 Radio로 회귀한 평면(ISL 그림 3.5)을 보면 잔차의 부호가 체계적으로 갈린다. 두 매체 가운데 한쪽 예산만 낮은 곳에서는 실제 Sales가 평면보다 낮고(모형이 과대예측한다), 예산이 두 매체에 나뉜 대각선 방향에서는 실제 Sales가 평면보다 높다(모형이 과소예측한다). 모형이 시너지 효과를 무시하기 때문이다. 잔차가 무작위가 아니라는 것은 가법 모형이 놓친 구조가 있다는 증거다.

표 2.6Advertising 데이터의 상호작용 모형 계수(ISL 표 3.9의 계수 열)

	계수	추정값
Intercept	\(\hat\beta_0\)	6.7502
TV	\(\hat\beta_1\)	0.0191
radio	\(\hat\beta_2\)	0.0289
TV×radio	\(\hat\beta_3\)	0.0011

Advertising에서는 \(\text{Sales} = \beta_0 + \beta_1\cdot\text{TV} + \beta_2\cdot\text{Radio} + \beta_3\cdot(\text{TV}\cdot\text{Radio}) + \epsilon\)이다. 「Radio가 늘면 TV의 기울기가 커진다」를 그대로 식으로 옮긴 것이다. 그러면서도 \(x_1 x_2\)를 하나의 새 열 \(x_3\)으로 보면 모형은 여전히 계수에 대해 선형이므로, 2.5절의 정규방정식을 그대로 쓴다.

이로써 표 2.1의 남은 두 질문에 답할 수 있다. 다섯째 질문(관계는 선형인가)에는 가법 선형 모형으로는 모자란다고 답한다. 그 잔차에 체계적인 무늬가 남기 때문이다(ISL 그림 3.5). 여섯째 질문(매체 사이에 시너지가 있는가)에는 TV와 Radio 사이에 시너지가 있다고 답한다. 상호작용 항 하나를 넣자 \(R^2\)이 89.7%에서 96.8%로 올랐다.

계층 원칙 The Hierarchy Principle

상호작용 항의 p-값(p-value)은 아주 작은데 관련된 주효과(main effect), 이 예에서는 TV와 Radio 자체의 p-값은 그렇지 않은 경우가 있다. 그래도 주효과를 빼서는 안 된다는 것이 계층 원칙(hierarchy principle)이다. 모형에 상호작용을 넣으면 그 주효과도 넣는다. 예를 들어 TV×Radio를 넣으면 TV와 Radio도 모두 넣는다. 주효과가 없는 모형에서는 상호작용 항을 해석하기 어렵고 그 뜻이 달라진다. 주효과 항이 없으면 상호작용 항이 주효과까지 떠안기 때문이다.

비선형 관계와 다항회귀 Nonlinear Relationships and Polynomial Regression

곱할 수 있는 것은 서로 다른 두 변수만이 아니다. 같은 변수를 여러 번 곱할 수도 있다. Auto 데이터는 여러 자동차의 연비 mpg와 마력 horsepower를 담고 있다. mpg를 horsepower로 회귀할 때, horsepower 하나만 쓰는 단순선형회귀는 감소하다가 완만해지는 곡선 추세를 놓친다. horsepower²을 더한 모형은 그 추세를 잘 따라가고, horsepower의 5차까지 모든 거듭제곱을 넣은 모형은 쓸데없이 구불거린다(ISL 그림 3.8, 그림 2.8).

$$ \text{mpg} = \beta_0 + \beta_1 \times \text{horsepower} + \beta_2 \times \text{horsepower}^2 + \epsilon \tag{2.24} $$

mpg를 horsepower의 비선형 함수로 예측하지만, 이것은 선형 모형인가? 그렇다. \(X_1 = \text{horsepower}\), \(X_2 = \text{horsepower}^2\)인 다중선형회귀일 뿐이다. 선형회귀의 「선형」은 feature에 대한 선형이 아니라 계수에 대한 선형이다. feature의 변환(transformation)을 새 열로 더하면 \(\bX\)만 바뀌고 추정 절차는 그대로다. 이렇게 한 변수의 거듭제곱을 feature로 쓰는 것을 다항회귀(polynomial regression)라 하고, 가장 높은 거듭제곱을 차수(degree)라 한다. 식 (2.24)를 적합한 계수(ISL 표 3.10)는 \(\hat\beta_0 = 56.9001\), \(\hat\beta_1 = -0.4662\), \(\hat\beta_2 = 0.0012\)이고, 2차 계수가 양수라 적합 곡선은 위로 열린 포물선이다.

5차 곡선의 양 끝 요동은 차수를 높인다고 늘 좋은 것이 아님을 보여 준다. 훈련 데이터에는 더 잘 맞지만, 관측값이 드문 곳에서 데이터의 우연한 굴곡까지 따라가는 것은 1.7절의 과적합(overfitting)의 조짐이다. 차수 같은 선택을 데이터로 정하는 법은 3.5절의 검증 데이터(validation set)가, 요동 자체를 억누르는 법은 제5장이 다룬다.

이 장의 뒤 절반에서 \(\bX\)의 열은 얼마든지 늘릴 수 있게 되었다. 가변수, 상호작용 항, 거듭제곱 항을 넣어도 모형은 계수에 대해 선형이고 식 (2.16) 하나로 적합한다. 그렇다면 무엇을 남길 것인가? 열이 늘수록 2.5절의 가역 조건이 깨질 위험, 2.8절의 공선성, 그리고 방금 본 과적합이 함께 커진다. 이 질문이 다음 장의 출발점이다.

3.1 feature를 왜 고르는가 Why Select Features?

L04 s21–s22 · ISL 3.2.2

2.9–2.10절에서 범주형(categorical) 변수는 가변수(dummy variable)로, 상호작용(interaction)과 비선형성(nonlinearity)은 feature를 곱하거나 거듭제곱한 열로 선형 모형(linear model)에 넣었다. 어느 경우든 추정 절차는 그대로 두고 설계행렬(design matrix) \(\bX\)의 열만 늘렸다. 열을 이렇게 늘릴 수 있다면, 이제 어느 열을 남기느냐가 문제다. 이 장의 앞 절반(3.1–3.4절)은 feature의 부분집합을 고르는 일, 곧 부분집합 선택(subset selection) 또는 feature selection을 다룬다. 먼저 왜 골라야 하는지부터 본다.

최소제곱 해는 늘 있는가 Does the Least Squares Solution Always Exist?

2.5절에서 최소제곱 추정량(least squares estimator)을 정규방정식 \(\bX\T\bX\bbeta = \bX\T\by\)(식 (2.15))의 해로 얻었다.

$$\bhbeta = (\hat\beta_0, \hat\beta_1, \dots, \hat\beta_p)\T = (\bX\T\bX)^{-1}\bX\T\by$$

여기서 \(\bX\)는 첫 열이 모두 1인 \(n \times (p+1)\) 행렬이므로 \(\bX\T\bX\)는 \((p+1) \times (p+1)\) 행렬이다. 이 식, 곧 식 (2.16)은 \(\bX\T\bX\)의 역행렬(inverse matrix)이 있어야만 계산할 수 있다. 2.5절의 조건을 다시 적으면, \(\bX\T\bX\)가 가역(invertible)일 필요충분조건은 \(\bX\)의 열이 선형독립(linear independence)인 것, 곧 \(\operatorname{rank}(\bX) = p+1\)인 것이다. 반대로 \(\bX\mathbf{v} = \mathbf{0}\)인 \(\mathbf{v} \neq \mathbf{0}\)이 하나라도 있으면 \(\bX\T\bX\mathbf{v} = \mathbf{0}\)이므로 역행렬이 없다. 열들이 이렇게 선형종속(linear dependence)이 되는 대표적인 경우는 셋이다(아래 정리).

이런 경우에도 최소제곱 해가 아예 없는 것은 아니다. 정규방정식을 만족하는 해가 무수히 많아져서, 적합값(fitted value) \(\bX\bhbeta\)는 하나로 정해지지만 계수(coefficient)는 하나로 정해지지 않는다. 계수를 해석할 수도, 위 식으로 계산할 수도 없다. 셋째 경우는 3.3절에서 다시 만난다.

상관이 강할 때 When Features Are Strongly Correlated

슬라이드는 이어서 묻는다. feature들이 완전히 겹치지는 않지만 상관(correlation)이 강하면 어떻게 되는가? 이때 \(\bX\T\bX\)는 가역이지만 비가역에 가깝다. 2.7절의 식 (2.19) \(\Var(\bhbeta \mid \bX) = \sigma^2(\bX\T\bX)^{-1}\)에서 역행렬의 성분이 커지므로, 계수 추정값(estimate)의 분산(variance)이 커진다(2.8절). 두 feature가 사실상 같은 정보를 나눠 가지므로, 데이터가 조금만 바뀌어도 계수가 한쪽에서 다른 쪽으로 크게 옮겨 간다. 이것이 다중공선성(multicollinearity)의 문제다. 두 feature를 표준화했을 때 둘의 상관계수(correlation coefficient)가 \(r_{12}\)이면, 계수의 분산은 상관이 없을 때의 \(1/(1 - r_{12}^2)\)배다(2.8절의 보충). \(r_{12} = 0.9\)이면 약 5.3배, \(r_{12} = 0.99\)이면 약 50배다. Credit 데이터(2.9절)에서 limit과 rating이 거의 한 직선 위에 놓이는 것이 그 예이고(ISL 그림 3.6), 3.3절에서는 이 두 feature 때문에 선택 결과가 갈리는 것을 보게 된다.

세 가지 물음과 세 가지 이유 Three Questions and Three Reasons

ISL 3.2.2의 물음을 조금 바꾼 다음 셋이 이 장의 출발점이다.

1. feature \(X_1, \dots, X_p\) 가운데 적어도 하나는 반응변수(response)를 예측(prediction)하는 데 쓸모가 있는가?
2. 모든 feature가 \(y\)를 설명하는 데 도움이 되는가, 아니면 일부만 쓸모 있는가?
3. feature의 부분집합만으로 훈련(training)하면 모형이 데이터에 얼마나 잘 맞는가?

ISL은 첫째 물음에 F-검정(F-test)으로, 셋째 물음에 결정계수(coefficient of determination) \(R^2\)처럼 적합도(goodness of fit)를 재는 값으로 답한다. 이 강의는 그 길 대신 부분집합을 직접 고르는 알고리즘 쪽으로 간다. 부분집합을 고르면 좋은 이유는 셋이다.

1. (거의) 중복된 feature의 위험을 없앤다. 위에서 본 비가역과 다중공선성의 문제다.
2. 모형을 가볍고 효율적으로 만든다. feature가 적으면 계산과 저장이 싸고, 모형을 읽기도 쉽다.
3. 잡음(noise)에 가까운 feature가 예측을 흔드는 위험을 줄인다. 반응변수와 무관한 feature라도 훈련 데이터(training data)에서는 우연히 조금 쓸모 있어 보여 0이 아닌 계수를 받는다. 그 계수는 잡음에 맞춘 것이어서 새 데이터에서는 예측을 흔들 뿐이다. 1.9절의 말로 하면 편향(bias)은 줄지 않고 분산만 커진다.

세 이유는 1.8절에서 모형 선택(model selection)의 트레이드오프(trade-off) 가운데 하나로 든 간결성을 구체적으로 풀어 쓴 것이다. 모든 변수를 쓰는 블랙박스(black box) 모형보다 적은 변수로 된 단순한 모형을 흔히 더 낫게 여긴다는 것이었다. 이 장의 나머지는 그 선호를 계산할 수 있는 절차로 바꾸는 일이다.

3.2 최적 부분집합 선택 Best Subset Selection

L04 s23–s26 · ISL 6.1.1

가장 곧은길은 가능한 부분집합을 모두 적합(fit)해 보는 것이다. 최적 부분집합 선택(best subset selection)은 feature \(p\)개로 만들 수 있는 부분집합마다 최소제곱법(least squares)으로 모형을 적합한 뒤, 훈련오차와 모형 크기(model size)의 균형을 맞추는 선택 기준(criterion)으로 그중 하나를 고른다. 각 적합은 잔차제곱합(residual sum of squares, RSS) \(\RSS = \sum_{i=1}^{n}(y_i - \hat{y}_i)^2\)을 최소로 한다. 아래에서 \(\mathcal{M}_k\)는 feature가 \(k\)개인 모형 가운데 가장 좋은 것을 가리킨다.

2단계에서 RSS와 \(R^2\)가 같은 순서를 주는 것은, \(R^2 = 1 - \RSS/\TSS\)(2.2절의 식 (2.5))에서 총제곱합(total sum of squares, TSS)이 반응변수에만 달려 있어 모형과 상관없기 때문이다. 이 단계는 크기가 같은 모형끼리만 비교하므로 훈련 데이터의 RSS를 써도 된다. 그 덕에 \(2^p\)개 후보에서 고르는 문제가 \(p+1\)개 후보 \(\mathcal{M}_0, \dots, \mathcal{M}_p\)에서 고르는 문제로 줄어든다(ISL 6.1.1). 크기가 다른 모형을 견주는 3단계는 사정이 다르다.

그림 3.1은 feature 다섯 개 \(X_1, \dots, X_5\)로 이 알고리즘을 그린 것이다. 오른쪽 항아리는 고를 수 있는 feature, 가운데 칸은 모형에 든 feature, 왼쪽 식은 그 feature로 적합한 모형이다(\(x_j\)는 \(X_j\)의 값). 크기 1의 최선은 \(X_2\)였지만 크기 2의 최선은 \(X_2\)를 담지 않은 \(\{X_1, X_5\}\)일 수 있다. 크기마다 가득 찬 항아리에서 처음부터 다시 고르고, 계수도 절편까지 모두 새로 적합하기 때문이다. 3.3절과 3.4절에서 같은 틀로 다른 두 방법을 그려 나란히 견준다.

그림 3.2는 이 알고리즘을 Credit 데이터(2.9절)에 적용한 결과다. 반응변수는 신용카드 잔액 balance이고 feature는 10개인데, 수준이 셋인 region이 가변수 두 개로 들어가므로 가로축은 11까지 간다. 회색 표시는 같은 크기의 모든 모형이고, 파란 선은 크기마다 가장 좋은 모형 \(\mathcal{M}_k\)를 이은 것이다. 파란 선의 RSS는 feature 1개에서 약 \(2.1 \times 10^7\), 2개에서 약 \(1.05 \times 10^7\), 3개에서 약 \(0.4 \times 10^7\)으로 떨어진 뒤 11개까지 거의 평평하고, \(R^2\)는 약 0.75, 0.87, 0.95를 거쳐 약 0.955에 머문다. 두 곡선은 한 방향으로만 움직인다. 이 단조성 때문에 훈련 RSS로는 크기를 고를 수 없다는 것이 3.5절의 출발점이다.

최적 부분집합 선택의 두 가지 한계 Issues with Best Subset Selection

첫째는 계산량(computational cost)이다. 크기 \(k\)마다 \(\binom{p}{k}\)개를 적합하므로 모두

$$\sum_{k=0}^{p}\binom{p}{k} = 2^p \tag{3.1}$$

개의 모형을 적합해야 한다. \(p = 40\)이면 \(2^{40} \approx 1.1 \times 10^{12}\)개로, 슬라이드의 말대로 10억 개가 넘는다(실은 1조가 넘는다). \(p\)가 조금만 커져도 모든 모형을 살펴볼 수 없다.

둘째는 통계적인 문제다. 탐색 공간(search space)이 넓을수록, 앞으로 올 데이터에서는 아무 예측력(predictive power)이 없는데도 훈련 데이터에서는 좋아 보이는 모형을 우연히 찾아낼 가능성이 커진다. 거대한 탐색 공간은 과적합(overfitting)과 계수 추정값의 큰 분산으로 이어진다. 슬라이드는 이것을 차원의 저주(curse of dimensionality)라 부르고, 이 말을 수업 뒤에서 다시 쓰겠다고 예고했다. 두 한계는 모두 살펴보는 모형을 줄이라고 말한다. 훨씬 좁은 모형 집합만 탐색하는 단계적 방법이 그 대안이다.

3.3 단계적 선택 Stepwise Selection

L04 s27–s31 · ISL 6.1.2

단계적 선택(stepwise selection)은 모형을 한 번에 feature 하나씩만 바꿔 가며 훨씬 적은 모형을 살펴본다. 전진 단계적 선택(forward stepwise selection)은 feature가 없는 모형에서 출발해 feature를 하나씩 더한다. 단계마다 적합을 가장 크게 개선하는 feature를 더하고, 모든 feature가 들어갈 때까지 계속한다.

최적 부분집합 선택과 다른 곳은 2단계다. \(\mathcal{M}_{k+1}\)은 반드시 \(\mathcal{M}_k\)에 feature 하나를 더한 모형이므로, 한번 뽑힌 feature는 끝까지 빠지지 않는다. 그러나 계수는 고정되지 않는다. 새 feature가 들어올 때마다 모형에 든 모든 feature의 계수를 최소제곱법으로 다시 적합한다. 그림 3.3에서 \(X_5\)가 들어오자 절편은 0.3에서 0.6으로, \(x_2\)의 계수는 −1.2에서 −0.9로 바뀐다. 도식의 바탕이 된 원래 그림의 문구대로 말하면, 가장 유의(significant)한 feature를 하나씩 더하다가 정지 규칙(stopping rule)에 이르거나 feature가 바닥나면 멈추는 절차다.

대신 계산량이 크게 준다. 영모형 하나에 더해 \(k\)번째 단계에서 후보 \(p-k\)개를 적합하므로, 전진 단계적 선택이 적합하는 모형은 모두

$$1 + \sum_{k=0}^{p-1}(p-k) = 1 + \frac{p(p+1)}{2} \tag{3.2}$$

개다. 적합하는 모형의 수로 센 시간 복잡도(time complexity)는 \(O(p^2)\)이고, 최적 부분집합 선택은 \(O(2^p)\)이다. \(p = 40\)이면 821개 대 약 \(1.1 \times 10^{12}\)개다.

그 대가로 최적성을 잃는다. 전진 단계적 선택은 \(2^p\)개 부분집합 가운데 가장 좋은 모형을 찾는다고 보장하지 않는다. 표 3.1은 Credit 데이터에서 두 방법이 크기별로 고른 feature다. 크기 1–3에서는 결과가 같다. 크기 4에서 최적 부분집합 선택은 아무 네 feature나 고를 수 있으므로 rating을 빼고 cards와 limit을 넣은 조합을 찾는다. 전진 단계적 선택은 앞 단계의 세 feature를 반드시 담아야 하므로 하나만 더 고를 수 있고, 그 결과 거의 겹치는 rating과 limit(3.1절)을 함께 담은 모형이 된다.

표 3.1Credit 데이터에서 두 방법이 크기별로 고른 feature(ISL 표 6.1). 크기 4에서 결과가 갈린다

feature 수	최적 부분집합 선택	전진 단계적 선택
1	rating	rating
2	rating, income	rating, income
3	rating, income, student	rating, income, student
4	cards, income, student, limit	rating, income, student, limit

후진 단계적 선택 Backward Stepwise Selection

후진 단계적 선택(backward stepwise selection)은 그 거울상이다. feature \(p\)개를 모두 담은 완전 모형(full model)에서 출발해, 가장 덜 쓸모 있는 feature를 한 번에 하나씩 뺀다.

후진 단계적 선택도 \(1 + p(p+1)/2\)개의 모형만 살펴보므로 \(O(p^2)\)이고, 최적 부분집합 선택을 쓰기에는 \(p\)가 너무 클 때 쓸 수 있다. 가장 좋은 모형을 보장하지 못하는 것도 전진 쪽과 같다. 다른 점은 출발점이다. 완전 모형을 먼저 적합해야 하므로 관측값 수 \(n\)이 feature 수 \(p\)보다 커야 한다. \(n \le p\)이면 3.1절의 셋째 경우대로 \(\bX\T\bX\)가 비가역이어서 첫 단계부터 막힌다. 전진 단계적 선택은 작은 모형부터 키우므로 \(n < p\)여도 쓸 수 있고(ISL에 따르면 이때는 \(\mathcal{M}_{n-1}\)까지 만든다), 그래서 \(p\)가 아주 클 때 쓸 수 있는 유일한 부분집합 선택 방법이다. 다만 슬라이드가 덧붙이듯, 실무에서는 대개 \(n \gg p\)이므로 이 제약을 크게 걱정할 일은 없다.

3.4 stagewise 선택과 세 방법의 비교 Stagewise Selection and Comparing the Three Methods

L04 s32–s34

단계적 선택은 feature를 고정하되 계수는 다시 적합했다. 전진 stagewise 선택은 한 걸음 더 나아가 앞 단계에서 적합한 계수까지 고정한다. 단계마다 feature 하나를 더하되 그 feature의 계수 하나만 적합한다. 대신 같은 feature를 여러 번 뽑을 수 있게 해서, 앞서 적합한 계수를 나중에 보정할 길을 열어 둔다.

여기서 \(\mathcal{M}_k\)는 \(k\)번째 단계의 모형이다. 같은 feature를 거듭 뽑을 수 있으므로, 모형에 든 서로 다른 feature의 수는 \(k\)보다 작을 수 있다. 반복 횟수 \(T\)도 feature 수 \(p\)에 묶이지 않는다. 그래서 \(T\)는 미리 정해야 하는 하이퍼파라미터(hyperparameter)이고, 그것을 고르는 법이 3.5절의 주제다. 슬라이드는 반복 횟수를 \(K\)로 적었지만, 3.6절의 K-fold와 겹치지 않게 이 책은 \(T\)로 쓴다. 또 슬라이드에서는 (b)가 \(j\)에 대한 반복 안에 들여 쓰여 있으나, \(p\)개 후보를 모두 적합한 뒤 한 번 하는 단계다.

그림 3.4는 3.3절의 예를 stagewise로 다시 푼 것이다. 그림 3.1·3.3·3.4의 계수는 모두 슬라이드가 설명하려고 붙인 값이다. 영모형의 절편 0.8과 1단계에서 적합한 \(x_2\)의 계수 −1.2는 뒤 단계에서 바뀌지 않는다. 2단계에서 \(X_5\)가 뽑혀 \(0.7x_5\)가 붙고, 3단계에서 \(X_2\)가 다시 뽑혀 \(0.3x_2\)가 더해진다. 결과는 \(\hat{y} = 0.8 - 0.9x_2 + 0.7x_5\)다. 도식에서는 거듭 뽑힌 \(x_2\)의 계수가 단계적 선택과 같은 −0.9에 이르지만, 절편은 처음 값 0.8에 묶여 단계적 선택의 0.6과 다르다. 실제 데이터라면 1단계의 계수부터 두 방법이 다를 수 있다. stagewise는 절편을 0.8에 묶어 둔 채 식 (3.3)으로 기울기만 맞추기 때문이다. 고정하고 거듭 뽑는 방식으로 다시 적합한 결과에 다가갈 수는 있어도, 그 결과와 같아진다는 보장은 없다.

세 방법의 비교 Comparing the Three Methods

세 방법은 얼마나 탐욕적인가로 줄 세울 수 있다. 탐욕 알고리즘(greedy algorithm)은 단계마다 그 자리에서 가장 좋아 보이는 선택을 하고, 한번 내린 결정을 되돌리지 않는 알고리즘이다. 단계적 선택은 한번 더한 feature를 뺄 수 없다는 점에서 탐욕적이지만, 각 feature의 계수는 바뀔 수 있다. stagewise 선택은 한번 적합한 계수조차 바꿀 수 없다는 점에서 더 탐욕적이고, 보정할 길을 열어 두려고 같은 feature를 거듭 더할 수 있게 한다. 최적 부분집합 선택은 크기마다 처음부터 다시 찾으므로 탐욕적이지 않다. 탐욕적일수록 한 단계의 계산은 싸지지만, 가장 좋은 모형에 이른다는 보장은 약해진다. 표 3.2가 이 비교를 모은 것이다. stagewise처럼 앞의 적합을 고정한 채 잔차에 작은 보정을 거듭 쌓아 가는 발상은 제6장에서 다룰 boosting에서 다시 만난다.

표 3.2세 선택 방법의 비교(보충). 적합하는 모형 수는 영모형을 포함한다

	최적 부분집합	단계적(전진·후진)	전진 stagewise
앞서 고른 feature	크기마다 새로 고른다	유지한다(후진은 뺀 채로 둔다)	유지한다
앞서 적합한 계수	모두 다시 적합	모두 다시 적합	고정, 새 계수 하나만 적합
같은 feature 다시 뽑기	—	하지 않는다	허용한다
후보 하나의 적합	최소제곱 전체	최소제곱 전체	계수 하나, 식 (3.3)
적합하는 모형 수	\(2^p\)	\(1 + p(p+1)/2\)	\(1 + pT\)
크기별 최선 보장	있다(훈련 RSS 기준)	없다	없다

3.5 시험 데이터와 검증 데이터 Test Data and Validation Data

L04 s36–s39 · ISL 5.1.1, 6.1.3

세 알고리즘이 모두 비워 둔 마지막 단계로 돌아가자. \(\mathcal{M}_0, \dots, \mathcal{M}_p\) 가운데 어느 것이 가장 좋은가? RSS가 가장 작은 것, \(R^2\)가 가장 큰 것이라고 답하고 싶지만, 훈련 데이터에서 잰 이 값들로는 답할 수 없다. feature를 모두 담은 모형이 언제나 RSS가 가장 작고 \(R^2\)가 가장 크기 때문이다.

슬라이드의 말로는 feature를 더해서 잃을 것이 없다. 더한 feature는 쓸모 있으면 쓰이고, 쓸모없으면 무시될 뿐이다. 그림 3.2의 단조 곡선이 바로 이것이다. 그러나 우리가 원하는 것은 시험오차가 작은 모형이지 훈련오차가 작은 모형이 아니다. 1.7절에서 보았듯 훈련 데이터 위의 평균제곱오차(mean squared error, MSE) \(\MSE_{\mathsf{Tr}} = \frac{1}{n}\sum_{i \in \mathsf{Tr}}\bigl(y_i - \hat{f}(\bx_i)\bigr)^2\)(식 (1.6))는 과적합된 모형 쪽으로 치우치므로, 훈련오차는 시험오차(식 (1.7))를 제대로 추정하지 못한다. 그러므로 훈련 데이터에서 잰 RSS와 \(R^2\)는 feature 수가 다른 모형들 가운데서 고르는 데 알맞지 않다. 시험오차를 추정할 다른 데이터가 필요하다.

시험 데이터를 떼어 둔다 Setting Aside Test Data

모형 평가(evaluation)에서 알고 싶은 것은 모형이 훈련 데이터를 암기(memorization)했는지가 아니라 데이터의 일반적인 패턴을 배웠는지, 곧 일반화(generalization)했는지다. 사람의 공부와 같다. 교과서의 연습문제로 푸는 법을 익혀 두면, 실제 시험에서 처음 보는 문제에도 그 기술을 쓸 수 있다.

그래서 데이터의 일부를 평가용으로 떼어 둔다. 이것이 시험 데이터(test data)다. 슬라이드는 eval data라고도 부른다. 시험 데이터는 훈련하는 동안 어떤 목적으로도 쓰면 안 된다. Kaggle 대회가 참가자에게 시험 관측값의 레이블(label)을 공개하지 않는 것도 이 때문이다.

나누는 방법으로 가장 흔한 것은 무작위 분할(random split)이다. 전체의 10–20%를 균등하게 무작위로 뽑아 시험 데이터로 둔다. 문제에 따라 다르게 나눠야 할 때도 있다. 과거로 미래를 예측하는 문제라면 시간 기준 분할(timestamp-based split)을 쓴다. 이를테면 처음 4년의 데이터로 훈련하고 마지막 1년의 데이터로 평가해야, 모형이 과거에서 미래를 예측할 수 있는지를 잴 수 있다.

하이퍼파라미터와 검증 데이터 Hyperparameters and the Validation Set

많은 기계학습(machine learning) 모형에는 훈련을 시작하기 전에 정해 두어야 하는 값이 있다.

하이퍼파라미터 가운데 일부는 직관으로 정할 수 있지만, 데이터로 정하는 쪽이 대개 더 낫다. 방법은 모형 훈련과 똑같다. 하이퍼파라미터 조합마다 모형을 훈련하고 평가해서 가장 좋은 것을 고른다. 이 평가에도 훈련 중에 보지 않은 관측값이 필요하다. 이유는 앞과 같다. 훈련에 쓴 데이터로 평가하면 가장 복잡한 후보가 늘 이긴다. 그렇다고 시험 데이터를 쓸 수는 없다. 시험 데이터는 실제 시험 말고는 쓰지 않는다. 그래서 훈련 데이터의 일부를 다시 떼어 검증 데이터(validation set)로 두고, 하이퍼파라미터는 이것으로 고른다.

3.2–3.4절의 3단계가 바로 이 일이다. 모형 크기 \(k\)(stagewise라면 \(T\))를 하이퍼파라미터로 본다. 훈련 부분만으로 선택 알고리즘을 돌려 후보 \(\mathcal{M}_0, \dots, \mathcal{M}_p\)를 만들고, 검증 데이터에서 오차가 가장 작은 크기 \(k\)를 고른다. 고른 \(k\)로는 아래 다섯 단계의 4단계에서 훈련 데이터와 검증 데이터 전체에 선택과 적합을 다시 한다.

다섯 단계 The Five-Step Procedure

데이터를 훈련·검증·시험의 세 부분으로 나눠 하이퍼파라미터를 고르고 최종 성능을 재는 표준 절차는 다섯 단계다(그림 3.5).

1. 훈련 데이터로 모형을 훈련한다.
2. 검증 데이터로 그 모형을 평가한다.
3. 하이퍼파라미터를 바꿔 가며 1–2단계를 되풀이하고, 가장 좋은 것을 고른다.
4. 3단계에서 고른 하이퍼파라미터로, 훈련 데이터와 검증 데이터를 합친 데이터에서 모형을 다시 훈련한다.
5. 4단계의 모형을 시험 데이터로 평가한다.

시험 데이터는 4단계가 끝날 때까지 쓰지 않는다. 4단계에서 검증 데이터까지 합쳐 다시 훈련하는 것은, 하이퍼파라미터가 정해진 뒤에는 검증 데이터를 따로 둘 까닭이 없으므로 가진 데이터를 최대한 쓰려는 것이다. 5단계의 시험오차가 이 모형의 성능으로 보고할 값이다. 학습률 같은 학습 하이퍼파라미터도 제4장부터 이 절차로 고르고, 제11장의 학습률 스케줄링(learning rate scheduling)에서 다시 다룬다.

슬라이드는 이 절차에 「Cross Validation」이라는 제목을 달았지만, 한 번 나눈 검증 데이터로 고르는 이 방법은 엄밀히 말해 검증 데이터 방법(validation set approach)이다(ISL 5.1.1). 나누기를 되풀이하는 교차검증(cross-validation)은 다음 절에서 다룬다.

3.6 K-fold 교차검증 K-fold Cross-Validation

L04 s40–s41 · ISL 5.1.3, 6.1.3

검증 데이터 방법은 데이터를 한 번만 나눈다. ISL 5.1.1이 지적하듯, 그러면 어느 관측값이 검증 데이터에 들어갔느냐에 따라 검증오차(validation set error)가 크게 흔들리고, 검증에 떼어 준 만큼 훈련에 쓸 데이터가 준다. K-fold 교차검증(K-fold cross-validation)은 나누기를 되풀이해 이 문제를 줄인다.

그림 3.6은 \(K = 5\)인 경우다. 모든 관측값이 검증에 꼭 한 번, 훈련에 \(K-1\)번 쓰인다. 대가는 계산이다. 후보 하나마다 모형을 \(K\)번 훈련해야 한다.

(보충) fold로 나누는 것은 3.5절의 훈련 데이터와 검증 데이터를 합친 부분이다. 시험 데이터는 여전히 따로 떼어 두고, 교차검증으로 하이퍼파라미터를 고른 뒤 다섯 단계의 4–5단계를 그대로 밟는다. 3.5절의 누수 주의도 fold마다 그대로 적용된다. fold를 나누기 전에 전체 데이터로 feature를 골라 두면, 검증 fold의 정보가 이미 훈련에 들어간 것이다.

Credit 데이터에서 크기 고르기 Choosing the Model Size for the Credit Data

그림 3.7은 Credit 데이터에서 모형 크기 \(k = 1, \dots, 11\)마다 세 가지 잣대를 잰 것이다. 왼쪽은 그림 3.2의 훈련 RSS, 곧 전체 데이터로 고른 \(\mathcal{M}_k\)의 값이다. 가운데와 오른쪽은 ISL 그림 6.3의 검증오차와 교차검증오차(cross-validation error)로, 크기 \(k\)마다 훈련 부분(교차검증이면 fold 하나를 뺀 나머지)에서 최적 부분집합 선택을 다시 돌려 얻은 크기 \(k\)의 최선 모형을 떼어 둔 부분에서 잰 값이다. feature를 고르는 일까지 훈련 부분 안에서 해야 누수가 없다(ISL 6.5). ISL은 검증 데이터 방법에서 관측값의 3/4로 훈련하고 1/4로 검증했으며, 교차검증은 10-fold로 했다(ISL 6.1.3). 두 패널의 세로축은 MSE가 아니라 그 제곱근이다. 크기 1의 값 약 230은 그림 3.2의 훈련 RSS \(2.1 \times 10^7\)을 \(n = 400\)으로 나눈 값의 제곱근(약 229)과 비슷하다. 훈련 RSS는 feature를 더할수록 늘지 않으므로 11개를 모두 쓰라고 말한다. 검증오차와 교차검증오차는 feature 3–4개까지 크게 줄다가 그 뒤로는 평평하거나 조금 다시 오른다. 두 곡선 모두 feature 6개에서 가장 낮으므로(제곱근으로 검증오차 약 101, 교차검증오차 약 99, 곧 \(\MSE_{\mathsf{CV}} \approx 99^2 \approx 9{,}800\)), 이 기준으로는 feature 6개짜리 모형을 고른다. 원 그림에는 베이즈 정보 기준(Bayesian information criterion, BIC)으로 잰 패널도 있는데, 슬라이드는 이를 뺐다.

제5장의 규제(regularization) 강도와 제6장의 결정 트리(decision tree) 가지치기(pruning) 정도도 이렇게 교차검증으로 고른다.

4.1 분류와 선형회귀의 한계 Classification and the Limits of Linear Regression

L05 s03–s07 · ISL 4.1–4.2

1.10절에서 반응변수 \(y\)가 질적(qualitative) 변수일 때, 곧 순서 없는 집합 \(\mathcal{C}\)에서 값을 가질 때 \(y\)가 가질 수 있는 값을 클래스라 하고, 입력(input) \(\bx\)의 클래스를 맞히는 분류기(classifier)를 만드는 일을 분류라 했다. 그때 든 세 목표 가운데 둘째가 분류의 불확실성(uncertainty)이었다. 이 장은 거기서 출발한다. 분류기는 클래스 하나를 내놓으면 되지만, 각 클래스일 확률 \(\mathbb{P}(Y = k \mid X = \bx)\)를 추정하는 편이 더 쓸모 있는 경우가 많다. 보험금 청구가 사기일 확률이 있으면 조사 인력이 볼 수 있는 만큼 확률이 높은 순서로 고를 수 있고, 사기를 놓치는 손해가 크면 기준을 0.5보다 낮출 수도 있다. 반대로 확률이 있으면 분류는 식 (1.12)처럼 확률이 가장 큰 클래스를 고르는 것으로 끝난다. 1.10절의 K-최근접 이웃(K-nearest neighbors, KNN)이 이웃의 비율로 확률을 어림했다면, 이 장은 파라미터(parameter) 몇 개로 된 모수 모형(parametric model)으로 확률을 추정한다.

Default 데이터 The Default Data

이 장의 예제는 ISL 4장의 Default 데이터다. 신용카드 고객 10,000명의 연체 여부 default(Yes/No)와 월 카드 잔고 balance, 연 소득 income, 학생 여부 student를 담은 모의 데이터로, 연체한 사람은 약 3%다. 그림 4.1의 산점도(scatterplot)와 상자그림(box plot)을 보면 잔고는 연체 여부에 따라 분포가 크게 다르지만 소득은 거의 같다. 그래서 4.1–4.3절의 본문 예는 잔고 하나만 feature로 쓴다. balance·income은 2.9절 Credit 데이터의 변수와 이름만 같다.

0/1 코딩의 선형회귀 Linear Regression on a 0/1 Response

가장 쉬운 방법부터 보자. No를 0, Yes를 1로 코딩하면 \(y\)가 수가 되므로 선형회귀(linear regression)를 그대로 돌리고, 예측값(predicted value) \(\hat{y}\)가 0.5보다 크면 Yes로 분류할 수 있다. 이것이 그럴듯한 이유는 \(y\)가 0 아니면 1이라서 모집단(population)의 조건부 기댓값(conditional expectation)이 곧 조건부 확률이기 때문이다.

$$\E[y \mid \bx] = 0 \cdot \mathbb{P}(Y = 0 \mid X = \bx) + 1 \cdot \mathbb{P}(Y = 1 \mid X = \bx) = \mathbb{P}(Y = 1 \mid X = \bx) \tag{4.1}$$

선형회귀가 추정하는 회귀함수(regression function)가 식 (1.2)의 \(\E[y \mid \bx]\)이므로, 0/1 반응에서는 회귀함수가 곧 우리가 원하는 연체 확률이다. 문제는 그 회귀함수를 직선으로 추정한다는 데 있다. 그림 4.2의 직선은 잔고가 약 560달러보다 작으면 0보다 작은 「확률」을 내놓고, 데이터의 끝인 2,700달러에서도 0.3에 못 미쳐 「\(\hat{y} > 0.5\)이면 Yes」라는 규칙은 아무도 Yes로 분류하지 못한다. 결함은 두 가지다. 값이 [0, 1]을 벗어나고, 1,000달러 아래에서는 거의 0이다가 1,500–2,300달러에서 가파르게 오르는 실제 확률의 모양을 기울기(slope)가 하나뿐인 직선이 따라가지 못한다.

클래스가 셋 이상이면 문제가 더 근본적이다. 응급실 환자를 뇌졸중(stroke)·약물 과다복용(drug overdose)·뇌전증 발작(epileptic seizure)으로 분류하려고 1, 2, 3으로 코딩하면(ISL 4.2), 선형회귀는 세 클래스 사이에 순서가 있고 이웃한 두 클래스의 간격이 같다고 가정하게 된다. 코딩을 바꾸면 적합(fit)과 예측(prediction)이 달라지는데 어느 코딩이 옳다고 할 근거가 없다. 2.9절에서 범주형 feature를 한 열의 수로 넣지 않고 가변수(dummy variable)로 쪼갠 것과 같은 문제가 반응 쪽에서 생긴 것이다. 클래스가 둘일 때는 코딩을 뒤집어도 적합이 \(1 - \hat{y}\)로 대칭으로 바뀔 뿐이라 이 문제가 없다(보충). 이제 필요한 것은 확률을 직접 내놓는 모형이다. 이진은 4.2절, 셋 이상은 4.8절에서 세운다.

4.2 로지스틱 회귀 모형 The Logistic Regression Model

L05 s09–s12, s33 (앞당김) · ISL 4.3.1, 4.3.4

그림 4.2의 곡선처럼 양 끝이 각각 0과 1로 수렴(convergence)하는 S자 함수가 필요하다. 직선을 버리지 않고, 직선의 값을 S자 함수에 한 번 통과시키면 된다. 먼저 클래스가 둘인 이진 분류(binary classification)를 다룬다. 이 장은 로지스틱 회귀의 레이블(label)을 \(y \in \{-1, +1\}\)로 적고, +1을 양성 클래스(positive class), −1을 음성 클래스(negative class)라 부른다. Default에서는 연체가 +1이다. 0/1 대신 ±1을 쓰는 이유는 4.4절에서 두 클래스의 식이 하나로 합쳐지는 데서 드러나고, 0/1 코딩과의 대응도 거기서 보인다.

입력은 2.4절처럼 절편을 흡수한 \(p + 1\)차원(dimension) 벡터로 쓰고(슬라이드의 \(\R^d\)에서 \(d = p + 1\)), 입력과 계수 벡터의 선형 결합(linear combination)을 점수(score)라 부른다.

$$\begin{aligned} \bx &= (1, x_1, \dots, x_p)^\top, \qquad \bbeta = (\beta_0, \beta_1, \dots, \beta_p)^\top \\ s &= \bbeta^\top\bx = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p \end{aligned}$$

슬라이드는 「linear regression score」라 했는데, 최소제곱으로 맞춘다는 뜻이 아니라 선형회귀의 예측값과 같은 모양이라는 뜻이다. 점수는 어떤 실수든 될 수 있으므로, 점수가 크면 1에 가깝게, 음으로 크면 0에 가깝게, 0 근처면 0.5 근처로 보내는 함수가 필요하다.

이 시그모이드 함수(sigmoid function)의 두 성질을 뒤에서 거듭 쓴다(보충).

$$\begin{aligned} 1 - \sigma(s) &= \frac{e^{-s}}{1 + e^{-s}} = \frac{1}{e^{s} + 1} = \sigma(-s) \\ \sigma'(s) &= \frac{e^{-s}}{(1 + e^{-s})^2} = \sigma(s)\big(1 - \sigma(s)\big) \end{aligned}$$

첫째 식은 분자와 분모에 \(e^{s}\)를 곱한 것으로, 그림 4.3의 점대칭이 이것이다. 둘째 식에서 기울기는 \(s = 0\)에서 가장 커서 \(1/4\)이다.

\(p(y \mid \bx)\)는 모형이 주는 조건부 확률이고, 참 확률 \(\mathbb{P}(Y = y \mid X = \bx)\)와 구분하려고 소문자로 적는다. 파라미터를 드러낼 때는 \(p(y \mid \bx; \bbeta)\)로 쓴다. 출력(output)이 0과 1 사이라는 것만으로 확률이 되지는 않는다. 이 출력을 \(y\)의 조건부 분포(conditional distribution)로 삼아 가능도를 최대화하기 때문에(4.4절) 확률 모형이 된다. 이름은 회귀지만 반응변수가 이산(discrete)인 분류기다. 분류 규칙은 확률이 큰 쪽을 고르는 것이고, \(\sigma(s)\)가 증가함수이므로 점수의 부호만 보면 된다.

$$\hat{y} = +1 \iff \sigma(\bbeta^\top\bx) > \tfrac12 \iff \bbeta^\top\bx > 0$$

두 클래스를 가르는 결정 경계는 \(\bbeta^\top\bx = 0\)인 점들, 곧 초평면(hyperplane)이다(보충). feature가 하나면 점, 둘이면 직선이다.

로그 오즈와 여러 feature Log Odds and Multiple Features

식 (4.3)을 뒤집으면 모형의 다른 얼굴이 보인다. 사건이 일어날 확률 \(\theta\)에 대해 \(\theta/(1 - \theta)\)를 오즈(odds)라 하고, 그 로그를 로그 오즈(log odds)라 한다. 2.3절의 베르누이 분포처럼 양성 확률을 \(\theta = p(y = +1 \mid \bx)\)로 적고 \(s = \bbeta^\top\bx\)라 두자.

1. \(\theta = 1/(1 + e^{-s})\), \(1 - \theta = e^{-s}/(1 + e^{-s})\)이므로 \(\theta/(1 - \theta) = e^{s}\)다.
2. 로그를 취하면 $$\log\frac{p(y = +1 \mid \bx)}{1 - p(y = +1 \mid \bx)} = \bbeta^\top\bx = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p \tag{4.5}$$

로지스틱 회귀는 로그 오즈가 입력에 선형인 모형이다. 확률은 입력에 대해 S자로 굽지만 로그 오즈로 바꾸면 선형이 된다. feature가 여럿인 경우를 ISL은 다중 로지스틱 회귀(multiple logistic regression)라 부르는데(ISL 4.3.4), 처음부터 벡터로 적었으므로 식 (4.2)–(4.5)는 \(p\)가 몇이든 그대로이고 파라미터는 절편을 포함해 \(p + 1\)개다. 슬라이드도 「\(\bx\)와 \(\bbeta\)가 \((p+1)\)차원일 뿐 기본 꼴은 그대로다」라고 정리한다. 뒤 절들의 유도도 모두 이 벡터 꼴로 한다.

4.3 계수의 해석과 예측 Interpreting Coefficients and Making Predictions

L05 s13–s14 · ISL 4.3.1–4.3.4

Default 데이터에서 feature가 잔고 \(x\) 하나일 때 점수는 \(\beta_0 + \beta_1 x\)이고, 추정한 계수는 표 4.1과 같다. 계수를 추정하는 방법은 4.4절에서 보고, 여기서는 읽는 법을 본다.

표 4.1Default 데이터에서 연체를 잔고로 설명한 로지스틱 회귀의 계수(ISL 표 4.1)

	추정값
절편 \(\hat\beta_0\)	−10.6513
balance \(\hat\beta_1\)	0.0055

\(\hat\beta_1 > 0\)이므로 잔고가 늘면 연체 확률이 는다. 방향만 보면 선형회귀의 해석과 같다. 그러나 크기를 말할 때는 식 (4.5)를 따라야 한다. 잔고가 1달러 늘면 로그 오즈가 0.0055 는다.

이를 오즈와 확률로 옮겨 보자(보충). 잔고가 1달러 늘면 오즈는 \(e^{0.0055} \approx 1.0055\)배, 100달러 늘면 \(e^{0.55} \approx 1.73\)배, 1,000달러 늘면 \(e^{5.5} \approx 245\)배가 되고, 이 배수는 잔고가 얼마이든 같다. 0.0055라는 수가 작아 보이는 것은 잔고의 단위가 1달러이기 때문이다. 이렇게 두 오즈를 나눈 값을 오즈비(odds ratio)라 하며, 잔고 1달러 차이의 오즈비가 \(e^{\beta_1}\)이다. 반면 확률의 변화량은 곡선의 어디에 있느냐에 따라 다르다. 4.2절의 도함수(derivative)에서 \(d\theta/dx = \beta_1\,\theta(1 - \theta)\)이므로, 기울기로 어림하면 \(\theta = 0.5\) 근처에서는 100달러당 약 0.14 오르지만 잔고 1,000달러(\(\theta \approx 0.006\)) 근처에서는 약 0.003 오를 뿐이다(실제로 1,100달러까지 가면 0.0099로 약 0.004 오른다).

0.5를 기준으로 분류하면 점수가 0이 되는 잔고 \(10.6513/0.0055 \approx 1{,}937\)달러가 경계다. 2,000달러인 사람은 Yes로 분류되고, 모형에 따르면 그 분류가 틀릴 확률은 \(1 - 0.586 = 0.414\)다. 한편 이 경계는 연체한 사람 대부분의 잔고보다 크다(그림 4.1의 상자그림). 연체율이 약 3%라 연체 확률이 0.5를 넘기 어려운 탓으로(보충), 기준을 어디에 둘지는 4.15절의 평가와 이어지는 문제다.

feature가 여럿이면 계수의 해석에 2.8절과 같은 조건이 붙는다(보충). \(\beta_j\)는 다른 feature를 모두 고정했을 때 \(X_j\)가 1 늘면 로그 오즈가 얼마나 느는지다. feature끼리 상관(correlation)이 있으면 이 조건이 결과를 바꾼다.

4.4 최대가능도 추정과 로그 손실 Maximum Likelihood Estimation and the Log-Loss

L05 s15–s17, s38 (앞당김) · ISL 4.3.2

계수는 2.3절의 최대가능도로 추정한다. 관측값 \((\bx_i, y_i)\), \(i = 1, \dots, n\)이 입력이 주어졌을 때 서로 독립(independent)이라고 보면, 관측된 레이블들이 나올 확률은 관측값별 확률의 곱이다. 양성 관측값에서는 양성일 확률을, 음성 관측값에서는 음성일 확률을 곱하므로, 어느 쪽이든 실제로 관측된 레이블의 확률을 곱하는 셈이다.

$$L(\bbeta) = \prod_{i:\,y_i = +1} \sigma(\bbeta^\top\bx_i) \prod_{i:\,y_i = -1} \sigma(-\bbeta^\top\bx_i) = \prod_{i=1}^{n} p(y_i \mid \bx_i) \tag{4.6}$$

입력의 분포는 모형에 넣지 않고 \(\bx_i\)가 주어졌을 때 \(y_i\)의 확률만 곱했으므로 이것을 조건부 가능도(conditional likelihood)라 한다. 로지스틱 회귀는 \(p(y \mid \bx)\)만 모형화하므로 이것으로 충분하다. 슬라이드는 가능도를 필기체 \(\mathcal{L}(\beta)\)로 적었지만, 이 책은 2.3절의 약속대로 가능도를 \(L\), 로그가능도(log-likelihood)를 \(\ell\)로 적고 \(\mathcal{L}\)은 손실에 남긴다.

이 가능도는 베르누이 가능도다. 레이블을 0/1로 바꿔 \(z_i = (y_i + 1)/2\), \(\theta_i = \sigma(\bbeta^\top\bx_i)\)라 두면 \(p(y_i \mid \bx_i) = \theta_i^{z_i}(1 - \theta_i)^{1 - z_i}\)로, 2.3절의 베르누이 확률질량함수(probability mass function, pmf)에서 모든 관측값이 공유하던 \(\theta\)가 \(\bx_i\)에 따라 변하는 \(\theta_i\)로 바뀐 것이다. 공통 \(\theta\)였다면 MLE는 식 (2.9)의 표본(sample) 비율로 곧장 나왔지만, 이제는 \(\theta_i\)를 움직이는 \(\bbeta\)를 찾아야 한다.

로그를 취하면 곱이 합이 되고, ±1 코딩 덕분에 두 클래스의 항이 하나로 합쳐진다.

$$\log p(y_i \mid \bx_i) = \begin{cases} \log\sigma(\bbeta^\top\bx_i) & (y_i = +1) \\ \log\sigma(-\bbeta^\top\bx_i) & (y_i = -1) \end{cases} \;=\; \log\sigma(y_i\,\bbeta^\top\bx_i)$$ $$\ell(\bbeta) = \sum_{i=1}^{n} \log\sigma(y_i\,\bbeta^\top\bx_i) = -\sum_{i=1}^{n} \log\big(1 + e^{-y_i\bbeta^\top\bx_i}\big) \tag{4.7}$$

각 항에서 \(y_i\,\bbeta^\top\bx_i\)는 레이블과 점수의 곱으로, 점수의 부호가 레이블과 같으면(맞게 분류하면) 양수다. 이 값이 크면 항이 0에 가깝고, 음수로 크면 항이 크게 음수가 된다. 로그가능도는 자신 있게 맞힌 관측값에는 거의 벌점을 주지 않고 틀린 관측값에 큰 벌점을 주는 합이다.

2.4절에서 정규분포(normal distribution) 가정의 음의 로그가능도가 상수배와 상수항을 빼면 제곱오차(squared error)의 합이 되었듯, 베르누이 가정의 음의 로그가능도는 로그 손실이다. 두 모형 모두 「가능도를 최대화하는 것은 어떤 손실을 최소화하는 것」이라는 같은 길을 밟는다. 이제 2.3절의 방법대로 1계 조건(first-order condition)을 세운다.

1. 관측값 하나의 항을 미분한다. \(\log u\)의 미분 \(u'/u\)와 연쇄법칙(chain rule)에서 $$\frac{\partial}{\partial\bbeta}\log\big(1 + e^{-y_i\bbeta^\top\bx_i}\big) = \frac{e^{-y_i\bbeta^\top\bx_i}}{1 + e^{-y_i\bbeta^\top\bx_i}}\,(-y_i\bx_i) = -y_i\bx_i\,\sigma(-y_i\,\bbeta^\top\bx_i)$$ 마지막 등호는 분자와 분모를 \(e^{-y_i\bbeta^\top\bx_i}\)로 나눈 것이다.
2. 식 (4.7)의 부호를 붙여 더하면 1계 조건이 된다. $$\nabla\ell(\bbeta) = \sum_{i=1}^{n} y_i\bx_i\,\sigma(-y_i\,\bbeta^\top\bx_i) = \mathbf{0} \tag{4.9}$$

\(\sigma(-y_i\,\bbeta^\top\bx_i) = 1 - p(y_i \mid \bx_i)\)는 모형이 관측값 \(i\)를 틀릴 확률이다. gradient는 각 관측값의 방향 \(y_i\bx_i\)를 틀릴 확률로 가중해 더한 것이고, 1계 조건은 이 끌어당김이 균형을 이루는 점이다. 0/1 레이블로 다시 쓰면 선형회귀의 정규방정식(normal equation)과 나란히 놓인다. 아래 왼쪽이 0/1로 쓴 식 (4.9)이고, 오른쪽이 2.5절의 설계행렬(design matrix) \(\bX\)로 적은 식 (2.15)다.

$$\sum_{i=1}^{n} (z_i - \theta_i)\,\bx_i = \mathbf{0}, \qquad \bX^\top(\by - \bX\bbeta) = \sum_{i=1}^{n} (y_i - \bbeta^\top\bx_i)\,\bx_i = \mathbf{0}$$

둘 다 「잔차(residual) × 입력의 합 = 0」 꼴이다. 다른 점은 하나다. 정규방정식은 \(\bbeta\)에 일차식이라 식 (2.16)의 닫힌 형태의 해(closed-form solution) \(\bhbeta = (\bX^\top\bX)^{-1}\bX^\top\by\)가 나왔지만, 식 (4.9)는 관측값마다 \(\bbeta\)가 시그모이드 안에 들어 있어 \(\bbeta = \cdots\) 꼴로 풀어 낼 수 없다. 해가 없다는 뜻이 아니라 해를 식으로 적을 수 없다는 뜻이다. 해를 찾아가는 방법이 4.5–4.7절의 주제다.

4.5 최적화 문제로서의 훈련 Training as an Optimization Problem

L05 s20–s24

1.2절의 네 단계에 로지스틱 회귀를 넣어 보자. 1단계의 모형은 식 (4.4)이고, 4단계에서는 새 입력의 \(p(y = +1 \mid \bx)\)를 계산해 0.5와 견준다. 2단계의 목표는 슬라이드가 1.2절의 「\(y \approx f(\bx)\)」를 그대로 두었지만, 정확히는 로그가능도의 최대화, 곧 로그 손실의 최소화다. 막히는 곳은 3단계의 훈련이다. 선형회귀는 이 단계를 식 (2.16) 한 번으로 끝냈지만, 로지스틱 회귀는 식 (4.9)를 풀 수 없다. 1.6절에서 닫힌 해가 없을 때 쓴다고 예고한 수치적 방법(numerical method)이 필요하다.

슬라이드는 두 예로 이 세 요소를 짚는다. 첫째는 꼭대기가 \((0, 0, 4)\)인 곡면의 가장 높은 점을 찾는 문제로, 변수는 \(x, y\), 목적함수는 높이 \(z\)이고 제약조건은 없다. 둘째는 고등학교 교재의 선형계획법(linear programming) 문제로, 목적함수 \(2x + 3y\)(포만감)와 제약조건이 모두 일차식이다. 그림 4.4처럼 목적함수의 등고선(contour) \(2x + 3y = k\)를 \(k\)가 커지는 쪽으로 밀면, 제약조건을 만족하는 영역에 마지막으로 닿는 꼭짓점 \((350, 150)\)에서 최댓값 1150이 나온다. 네 꼭짓점의 값 0, 1000, 1150, 1080을 견주어도 같은 답이다.

기계학습(machine learning)의 훈련도 같은 틀이다. 변수는 파라미터 \(\bbeta\), 선택 기준은 예측 \(\hat{y}\)가 정답 \(y\)에서 얼마나 벗어났는지를 재는 손실함수(loss function) \(\mathcal{L}(\hat{y}, y)\)를 훈련 데이터(training data) 전체에서 더한 \(\mathcal{L}(\bbeta)\)이며, 대안의 집합은 보통 제약 없는 \(\R^{p+1}\)이다. 최대화와 최소화는 부호만 다르므로(\(\ell\)의 최대화 = \(-\ell\)의 최소화) 이제부터 「손실을 최소화한다」로 통일한다. 로지스틱 회귀의 손실은 식 (4.8)의 로그 손실이다.

도함수를 풀지 않고 최솟값을 찾는 소박한 방법들이 있다. 전수 탐색(exhaustive search)은 파라미터마다 후보 \(m\)개를 격자로 두고 모든 조합(combination)을 계산하는데, 파라미터가 \(p + 1\)개면 \(m^{p+1}\)번이 들어 3.2절의 \(2^p\)와 같은 폭발을 겪는다. 무작위 탐색(random search)은 후보를 무작위로 뽑아 가장 좋은 것을 남기지만 좋은 점을 뽑을 보장이 약하다. 시각화(visualization)는 파라미터가 한두 개일 때만 된다. 탐욕 탐색(greedy search)은 다른 변수를 고정하고 한 변수씩 차례로 푸는데, 이것을 다듬은 것이 좌표 하강법(coordinate descent)이다(3.4절의 stagewise가 계수를 하나씩 맞춘 것과 닮았다). 넷 모두 지금 자리에서 어느 방향으로 내려가야 하는지, 곧 손실의 국소적인 gradient 정보를 쓰지 않는다. 다음 절이 그 정보를 쓴다.

4.6 경사하강법 Gradient Descent

L05 s25–s27

경사하강법의 발상은 지금 자리에서 손실의 gradient를 구해 그 반대 방향으로 조금 움직이기를 되풀이하는 것이다. 반대 방향인 이유는 gradient가 한 점에서 함수를 가장 잘 근사하는 일차식을 준다는 데 있다. 이것을 선형 근사(linear approximation)라 한다.

$$\mathcal{L}(\bbeta + \boldsymbol\Delta) \approx \mathcal{L}(\bbeta) + \nabla\mathcal{L}(\bbeta)^\top\boldsymbol\Delta$$

걸음 \(\boldsymbol\Delta\)의 길이를 정해 두면, 내적(inner product) \(\nabla\mathcal{L}^\top\boldsymbol\Delta\)가 가장 작은 방향, 곧 \(\boldsymbol\Delta\)가 \(-\nabla\mathcal{L}\)을 향할 때 손실이 가장 많이 준다(보충). 근사는 점 가까이에서만 맞으므로 걸음은 작아야 한다. 이를 식으로 적은 것이 갱신(update) 식이다.

$$\bbeta^{\text{new}} = \bbeta^{\text{old}} - \alpha\,\nabla\mathcal{L}(\bbeta^{\text{old}}), \qquad \beta_j^{\text{new}} = \beta_j^{\text{old}} - \alpha\,\frac{\partial\mathcal{L}}{\partial\beta_j}\bigg|_{\bbeta^{\text{old}}} \tag{4.10}$$

뒤의 식은 성분 하나로 적은 같은 식이다(슬라이드의 성분 첨자 \(i\)를 \(j\)로 바꿨다). 모든 성분을 같은 \(\bbeta^{\text{old}}\)에서 계산한 gradient로 한꺼번에 고친다는 점이 좌표 하강법과 다르다. \(\alpha > 0\)은 한 걸음의 크기를 정하는 학습률(learning rate)이다. 슬라이드에 이름은 없지만 3.5절이 말한 학습 하이퍼파라미터의 대표로, 여러 값을 시험해 그 절차대로 검증 데이터(validation set)에서 고른다. 실제 걸음은 학습률과 gradient 크기의 곱이라, 최소점에 가까워 gradient가 작아지면 걸음도 저절로 짧아진다(그림 4.5).

로지스틱 회귀에서는 \(\nabla\mathcal{L}(\bbeta)\)가 식 (4.9)에 음수 부호를 붙인 것이므로, 한 번의 갱신은 다음과 같다(보충).

$$\bbeta \leftarrow \bbeta + \alpha\sum_{i=1}^{n} y_i\bx_i\,\sigma(-y_i\,\bbeta^\top\bx_i)$$

모든 관측값이 틀릴 확률만큼씩 \(\bbeta\)를 제 방향 \(y_i\bx_i\)로 당긴다. 4.4절에서 보았듯 로그가능도가 오목하므로 그 음수인 로그 손실은 볼록(convex)하고, 최소점이 있으면(선형 분리 가능하지 않으면) 학습률이 알맞을 때 어디서 출발해도 그 점으로 다가간다. 다가가는 데 몇 번의 갱신이 들지는 미리 알 수 없으므로, 실제로는 4단계의 임곗값과 함께 갱신 횟수의 상한도 둔다(보충).

경사하강법의 세 가지 문제 Potential Problems

슬라이드는 세 가지 문제를 든다. 첫째, 손실 곡면이 볼록하지 않을 수 있다. 골과 봉우리가 여럿이면 주변에서만 가장 낮은 극값(local optimum)이나, 어떤 방향으로는 오르고 다른 방향으로는 내리는 안장점(saddle point)에서도 gradient가 0이라 경사하강법이 멈추고, 그곳이 전역 최적(global optimum)이라는 보장이 없다. 로지스틱 회귀의 로그 손실은 볼록이라 해당하지 않지만, 제2부의 인공신경망(artificial neural network)에서는 이 문제가 본격적으로 나온다.

둘째, 손실함수가 미분가능(differentiable)해야 한다. 분류에서 가장 자연스러운 손실은 틀리면 1, 맞으면 0인 0-1 손실(0-1 loss)이고, 훈련 데이터에서 평균(mean)을 내면 식 (1.10)의 오분류율(misclassification error rate)을 훈련 데이터로 잰 값이 된다. 그러나 레이블과 점수의 곱으로 보면 0-1 손실은 \(ys \le 0\)이면 1, 아니면 0인 계단 함수(step function)라 거의 모든 곳에서 기울기가 0이다. 그래서 대신 최소화하는 매끄러운 함수를 대리 손실(surrogate loss)이라 하며, 로그 손실이 그 예다(그림 4.6).

셋째, 느리다. 한 번 갱신할 때마다 모든 관측값의 gradient를 계산해 더하므로, 관측값이 수백만 개면 한 걸음의 계산량(computational cost)이 매우 크다. 이 문제를 다음 절이 푼다.

4.7 확률적 경사하강법과 훈련 Stochastic Gradient Descent and Training in Practice

L05 s28–s30

4.6절의 셋째 문제는 gradient를 매번 전부 계산하지 않고 관측값 일부로 어림해서 푼다. 한 걸음은 덜 정확해지지만 훨씬 싸진다.

미니배치를 무작위로 뽑으므로 미니배치 평균 gradient의 기댓값은 전체 평균 gradient와 같다. 곧 전체 gradient의 불편(unbiased) 추정이어서, 한 걸음 한 걸음은 틀린 방향을 가리킬 수 있어도 평균적으로는 옳은 방향이다(보충). 식 (4.8)은 합으로, 식 (4.11)은 평균으로 적었는데 둘은 상수 \(n\)배 차이라 최소점은 같고 학습률의 크기만 달라진다. 미니배치 크기가 1이면 관측값 하나마다 갱신하는 극단이고, \(n\)이면 식 (4.10)의 보통 경사하강법으로 이것을 배치 경사하강법(batch gradient descent)이라고도 한다. 흔히 그 사이의 32, 64, …, 8192를 쓰며, 최적 크기는 문제와 데이터, 그리고 미니배치를 한꺼번에 올려 계산할 하드웨어의 메모리에 달려 있다.

슬라이드는 미니배치가 작을 때는 두 배로 늘리면 gradient 추정이 크게 안정되지만, 커지면 얻는 것은 적고 비용만 두 배가 된다고 했다. 이것이 수확 체감(diminishing returns)이다. 관측값 하나의 gradient가 흩어진 정도를 표준편차(standard deviation) \(\sigma_g\)라 하면 미니배치 평균의 표준편차는 대략 \(\sigma_g/\sqrt{\lvert\mathcal{B}\rvert}\)라서, 크기를 두 배로 해도 잡음(noise)은 \(1/\sqrt2 \approx 0.71\)배로만 준다(보충). 크기 1에서 2로 가면 잡음이 \(0.29\sigma_g\)만큼 줄지만 1024에서 2048로 가면 \(0.009\sigma_g\)만큼 줄 뿐이다. 훈련 데이터를 한 바퀴 다 쓰는 것을 epoch이라 하며(보충), 한 epoch은 약 \(n/\lvert\mathcal{B}\rvert\)번의 갱신이다.

고쳐 쓴 지도학습 틀 The Revised Supervised Learning Framework

슬라이드는 이 과정을 1.2절의 네 단계로 다시 정리한다. 3단계가 한 번에 푸는 일에서 되풀이하는 훈련 루프(training loop)로 바뀐다(그림 4.7). 훈련 관측값을 모형에 넣어 예측하고(3-1), 예측을 정답 레이블(ground truth label)과 비교해 지금 얼마나 틀렸는지 재고(3-2), 그 손실로 파라미터를 고친다(3-3). 대부분의 훈련 데이터에서 예측이 정답에 가까워질 때까지 이를 되풀이한다. 비교하는 규칙이 손실함수이고 로지스틱 회귀에서는 로그 손실이며, 되풀이해 손실을 줄이는 일이 최적화로서 닫힌 해가 없으면 경사하강법이나 SGD를 쓴다. 표 4.2는 이 틀로 선형회귀와 로지스틱 회귀를 나란히 놓은 것이다(보충).

표 4.2지도학습의 네 단계로 본 선형회귀와 로지스틱 회귀(보충)

단계	선형회귀(제2장)	로지스틱 회귀(이 장)
1 모형	\(\hat{y} = \bbeta^\top\bx\)	\(p(y \mid \bx) = \sigma(y\,\bbeta^\top\bx)\)
2 손실	제곱오차의 합(정규분포의 음의 로그가능도와 최소점이 같다)	로그 손실(베르누이의 음의 로그가능도)
3 최적화	닫힌 해, 식 (2.16)	닫힌 해 없음 → 경사하강법, SGD
4 예측	\(\hat{y} = \bhbeta^\top\bx\)	\(\bhbeta^\top\bx > 0\)이면 +1

훈련 곡선과 멈출 때 Training Curves and When to Stop

슬라이드의 실제 훈련 곡선은 훈련 손실(training loss)이 갱신을 거듭하며 약 4.6에서 0.35 근처까지 내려가는데, 원래 값은 위아래로 들쭉날쭉하다. 파라미터를 미니배치로만 갱신하고 그림에 찍힌 손실도 그 미니배치에서 잰 값이기 때문이다. 그림 4.8이 예시 데이터로 같은 모습을 재현한다. 미니배치에서 잰 손실은 크게 요동하지만, 전체 데이터의 손실은 갱신 횟수로 견주면 배치 경사하강법과 거의 같은 속도로 내려간다. 그런데 SGD의 갱신 한 번은 관측값 2,000개가 아니라 32개로 계산하므로 계산량이 약 1/60이다(보충). 언제 멈출지 묻는 슬라이드에 발표자 노트는 「안정될 때이지만 정의하기 어렵고 휴리스틱(heuristic)에 기댄다」고 답한다. 훈련 손실만으로는 과적합(overfitting)을 알 수 없으므로, 실제로는 3.5절의 검증 데이터에서 잰 손실이 더 줄지 않을 때 멈춘다. 이것이 제5장의 조기 종료(early stopping)다.

4.8 다항 로지스틱 회귀와 softmax Multinomial Logistic Regression and Softmax

L05 s32, s34–s37 · ISL 4.3.5

지금까지는 feature가 하나이고 클래스가 둘이었다. feature가 여럿인 경우는 4.2절의 식 (4.5)에서 이미 풀었으므로, 남은 질문은 클래스가 셋 이상일 때다(슬라이드는 클래스 수를 \(K\)로 적었지만, 이 책은 \(K\)를 이름에 K가 든 방법에만 쓰므로 \(\lvert\mathcal{C}\rvert\)로 적는다). 이진 모형의 두 꼴은 셋 이상으로 곧장 넘어가지 않는다. 오즈 \(\theta/(1 - \theta)\)는 「그 클래스 대 나머지」의 비라 클래스가 둘일 때만 모형 하나로 충분하고, 시그모이드 꼴은 \(1 - \sigma(s) = \sigma(-s)\)가 남은 한 클래스의 확률이 된다는 데 기댄다. 클래스마다 \(\sigma(\bbeta_k^\top\bx)\)를 따로 두면 확률의 합이 1이 된다는 보장이 없다. 세 점수가 모두 0이면 합이 1.5다.

슬라이드는 이진 모형을 셋째 꼴로 고쳐 쓴다. 점수 \(s = \bbeta^\top\bx\)에 대해 분자와 분모에 같은 수를 곱한다.

1. \(p(y = +1 \mid \bx) = \dfrac{1}{1 + e^{-s}} \cdot \dfrac{e^{s/2}}{e^{s/2}} = \dfrac{e^{s/2}}{e^{s/2} + e^{-s/2}}\)
2. \(p(y = -1 \mid \bx) = \dfrac{1}{1 + e^{s}} \cdot \dfrac{e^{-s/2}}{e^{-s/2}} = \dfrac{e^{-s/2}}{e^{s/2} + e^{-s/2}}\)

두 확률의 분모가 같아지고 분모는 두 분자의 합이다. 여기서 \(\bbeta/2\)와 \(-\bbeta/2\)를 각각 \(\bbeta_{+1}\), \(\bbeta_{-1}\)로 부르면(슬라이드의 \(\beta_1'\), \(\beta_{-1}'\)) 클래스 \(k\)의 확률은 \(e^{\bbeta_k^\top\bx}\)를 모든 클래스에 대해 더한 값으로 나눈 것이 된다. 각 클래스가 자기 파라미터 벡터를 하나씩 가지므로, 이 꼴은 클래스가 몇 개든 그대로 쓸 수 있다.

식 (4.12)가 확률의 조건을 만족하는지가 슬라이드의 마지막 물음이다. 지수는 늘 양수라 분자가 양수이고 분모는 분자를 포함한 양수들의 합이므로 각 값은 0과 1 사이에 있고, 모든 클래스의 분자를 더하면 분모이므로 합은 1이다. 가장 큰 점수의 클래스가 가장 큰 확률을 받지만 다른 클래스도 0이 아닌 확률을 남기므로 「부드러운 argmax」라는 뜻에서 softmax라 부른다. 그림 4.9가 계산의 예다.

두 성질을 덧붙인다(보충). 첫째, 클래스가 둘이면 \(e^{s_1}/(e^{s_1} + e^{s_2}) = \sigma(s_1 - s_2)\)로 이진 로지스틱 회귀로 돌아간다. 둘째, 모든 점수에 같은 수 \(c\)를 더하면 분자와 분모에 \(e^{c}\)가 똑같이 곱해져 확률이 그대로다. 그래서 모든 \(\bbeta_k\)에 같은 벡터를 더해도 확률이 변하지 않고, 파라미터 벡터 하나는 여분이다. \(\bbeta/2\)와 \(-\bbeta/2\)로 나눈 것은 가능한 선택 가운데 하나이고, 식 (4.3)은 \(\bbeta_{-1} = \mathbf{0}\)으로 고정한 선택이다. 2.9절에서 절편과 함께 수준(level)마다 one-hot 열을 모두 넣으면 한 열이 남아 계수가 하나로 정해지지 않았고(3.1절), 한 열을 빼는 가변수 코딩(dummy coding)으로 이를 피했다. 한 클래스의 벡터를 \(\mathbf{0}\)으로 고정하는 것이 그 가변수 코딩에 해당하며, ISL 4.3.5는 두 코딩이 같은 확률을 준다고 설명한다. 계산할 때는 둘째 성질을 써서 가장 큰 점수를 빼고 지수를 계산해 수가 넘치지 않게 한다.

4.9 베이즈 분류기 The Bayes Classifier

L06 s03, s05–s08 · ISL 2.2.3, 4.4

4.1–4.8절은 조건부 확률을 추정하는 모형 하나를 세우고 훈련했다. 여기서는 물음을 한 걸음 물린다. 데이터를 만든 분포를 모두 안다면 가장 좋은 분류기는 무엇인가? 그 답이 베이즈 분류기이고, 이 장의 나머지 절은 그것을 데이터로 근사하는 방법과 그렇게 만든 분류기를 평가하는 방법이다.

출발점은 데이터가 어디서 오는가다. 훈련 데이터 \(n\)개는 입력과 레이블을 한 쌍으로 뽑는 어떤 결합분포(joint distribution)에서 독립동일분포(independent and identically distributed, i.i.d.)로 뽑혔다고 본다(2.3절). 분류는 이 분포에서 나온 \(\bx\)로 \(y\)를 맞히는 함수 \(f\)를 찾는 일, 곧 입력에서 레이블로 가는 함수 근사(function approximation)다. 레이블은 4.2절처럼 \(y \in \{-1, +1\}\)로 둔다. 분류를 다루는 이 장에서 \(f\)는 1.3절의 회귀함수가 아니라 분류기를 뜻한다.

슬라이드는 손실을 \(\mathcal{L}(y, f(\bx))\)로 적었지만 이 책은 4.5절의 순서(예측, 정답)를 지킨다. 위험은 데이터가 아니라 참 분포 위의 기댓값이라, 4.7절의 훈련 손실처럼 데이터에서 잰 값이 아니다. 그래서 베이즈 분류기는 참 분포를 알아야만 계산할 수 있는, 이상적인 분류기다.

\(f\)를 통째로 고르는 문제는 입력마다의 문제로 쪼개진다(보충). 결합분포를 입력의 분포와 입력이 주어졌을 때 레이블의 분포로 나누어 기댓값을 두 번에 걸쳐 잡는 반복 기댓값의 법칙(law of iterated expectations)을 쓰면

$$R(f) = \E_X\Big[\,\sum_{k \in \mathcal{C}} \mathbb{P}(Y = k \mid X)\,\mathcal{L}\big(f(X), k\big)\Big]$$

이다. 괄호 안의 조건부 위험(conditional risk)은 그 입력에서 무엇을 예측하느냐에만 달려 있다. 바깥의 기댓값은 이것을 입력의 확률(음이 아닌 값)로 평균한 것이고 예측은 입력마다 따로 고를 수 있으므로, 모든 입력에서 괄호 안을 가장 작게 하면 위험 전체가 가장 작아진다. 조건부 위험은 1.5절의 평균제곱 예측오차(mean-squared prediction error)와 같은 자리에 있다. 1.5절에서 그것을 입력마다 최소화해 조건부 기댓값을 얻은 것과 같은 논리다.

$$f^*(\bx) = \argmin_{\hat{y} \in \mathcal{C}}\ \sum_{k \in \mathcal{C}} \mathbb{P}(Y = k \mid X = \bx)\,\mathcal{L}(\hat{y}, k) \tag{4.15}$$

손실의 꼴을 정해야 답이 나온다. 슬라이드는 손실을 밝히지 않은 채 「목적함수에서 더 큰 항을 없애도록」 예측한다고 설명하는데, 이 설명이 전제하는 것은 4.6절의 0-1 손실이다(보충). 0-1 손실이면 식 (4.15)의 합은 \(\hat{y}\)가 아닌 클래스들의 확률, 곧 \(1 - \mathbb{P}(Y = \hat{y} \mid X = \bx)\)이므로 조건부 확률이 가장 큰 클래스를 고를 때 가장 작다.

$$f^*(\bx) = \argmax_{k \in \mathcal{C}}\ \mathbb{P}(Y = k \mid X = \bx) \tag{4.16}$$

이진 분류에서는 두 확률 가운데 큰 쪽이다. 슬라이드는 이것을 로그 비의 부호로 한 줄에 적는다.

$$f^*(\bx) = \operatorname{sign}\left(\log\frac{\mathbb{P}(Y = +1 \mid X = \bx)}{\mathbb{P}(Y = -1 \mid X = \bx)}\right)$$

분수가 1보다 크면 로그가 양수이고, 부호 함수(sign function) \(\operatorname{sign}(\cdot)\)이 양수에 +1, 음수에 −1을 준다. 분수는 이진이라 \(\mathbb{P}(Y = +1 \mid X = \bx)\)의 오즈이므로, 베이즈 분류기는 「로그 오즈가 양수면 +1」이다. 4.2절의 로지스틱 회귀는 바로 이 로그 오즈를 식 (4.5)에서 입력의 일차식으로 모형화했다. 두 확률이 같아 로그 비가 0인 점에서는 어느 쪽을 골라도 위험이 같다.

남은 것은 조건부 확률을 어떻게 구하느냐다. 슬라이드는 베이즈 정리(Bayes' theorem)로 뒤집는다. 입력을 보기 전의 클래스 확률 \(\pi_k = \mathbb{P}(Y = k)\)를 사전확률(prior probability), 입력을 본 뒤의 확률 \(\mathbb{P}(Y = k \mid X = \bx)\)를 사후확률(posterior probability)이라 하고, 클래스 \(k\)에서 입력이 따르는 분포를 \(p(\bx \mid y = k)\)로 적는다. 입력이 연속이면 이것은 확률밀도함수(probability density function, pdf)다.

$$\mathbb{P}(Y = k \mid X = \bx) = \frac{\pi_k\,p(\bx \mid y = k)}{p(\bx)}, \qquad p(\bx) = \sum_{l \in \mathcal{C}} \pi_l\,p(\bx \mid y = l) \tag{4.17}$$

분모 \(p(\bx)\)는 입력의 주변분포(marginal distribution)로 모든 클래스에 같다. 그래서 두 사후확률의 비에서는 약분되고, 이진 베이즈 분류기는 사전확률과 클래스별 입력 분포만으로 적힌다(슬라이드는 \(\pi_1\), \(\pi_{-1}\)을 \(\alpha\), \(1 - \alpha\)로 적었다. 이 장의 \(\alpha\)는 학습률이다).

$$f^*(\bx) = \operatorname{sign}\left(\log\frac{\pi_1\,p(\bx \mid y = +1)}{\pi_{-1}\,p(\bx \mid y = -1)}\right) \tag{4.18}$$

슬라이드는 \(p(\bx \mid y)\)를 가능도라 부른다. 2.3절의 가능도가 파라미터를 바꿔 가며 본 확률이었다면, 여기서는 클래스를 바꿔 가며 본 확률이다. 사후확률을 곧바로 모형화하지 않고 이렇게 바꾸는 까닭은 식 (4.18)의 두 조각, 곧 클래스별 입력 분포와 사전확률이 데이터에서 훨씬 쉽게 추정되기 때문이다. 입력의 분포는 클래스마다 따로 적으면 되고, 사전확률은 클래스의 비율이다. 입력이 1차원이면 식 (4.18)은 그림 4.10처럼 사전확률을 곱한 두 밀도 가운데 큰 쪽을 고르는 규칙이다. 두 곡선이 만나는 점이 베이즈 결정 경계(Bayes decision boundary)이고, 곡선이 겹친 꼬리가 어떤 분류기로도 피할 수 없는 오류다.

4.10 생성 분류기와 판별분석 Generative Classifiers and Discriminant Analysis

L06 s10–s12 · ISL 4.4.1

식 (4.18)은 참 분포를 알 때의 이야기다. 실제로는 결합분포를 모르므로 훈련 데이터로 추정해야 하는데, 사후확률에 이르는 길이 두 가지다.

\(\pi_k\,p(\bx \mid y = k)\)는 결합분포이므로 생성 분류기는 결합분포 전체를 추정하는 셈이다. 추정한 분포에서 새 \((\bx, y)\)를 만들어 낼 수도 있어서 생성이라는 이름이 붙었다(보충). 판별 분류기는 입력의 분포를 다루지 않는다. 4.4절의 로지스틱 회귀가 \(\bx_i\)를 주어진 것으로 두고 \(y_i\)의 확률만 곱한 조건부 가능도를 최대화한 것이 그 예다. 이름이 헷갈리기 쉽다. 이 절의 판별분석은 이름과 달리 생성 분류기다.

판별분석은 클래스마다 입력이 정규분포를 따른다고 가정한다. 클래스 \(k\)의 평균 벡터(mean vector)를 \(\boldsymbol\mu_k\), 공분산행렬(covariance matrix)을 \(\boldsymbol\Sigma_k\)라 하면 \(\bx \mid y = k \sim \mathcal{N}(\boldsymbol\mu_k, \boldsymbol\Sigma_k)\)이고(밀도의 식은 4.12절), 추정할 것은 \(\pi_k\), \(\boldsymbol\mu_k\), \(\boldsymbol\Sigma_k\)다. 여기서 \(\bx\)는 4.2절처럼 절편 성분 1을 붙인 벡터가 아니라 feature \(p\)개만 담은 벡터다. 평균 벡터와 차원이 같아야 하기 때문이다. 사전확률의 MLE는 클래스의 비율이다(보충). 클래스가 둘이면 2.3절의 베르누이 MLE 그대로이고, 셋 이상이어도 같다. 클래스 \(k\)의 훈련 관측값 수를 \(n_k\)라 하면 \(\hat\pi_k = n_k/n\)이다.

슬라이드는 이 과정을 그림 한 쌍으로 설명한다(그림 4.11). 왼쪽은 「신만 아는」 참 분포 두 개다. 두 클래스의 사전확률과 분산(variance)이 같아서 베이즈 결정 경계는 두 평균의 한가운데 0이다. 우리가 가진 것은 오른쪽 히스토그램(histogram)의 표본뿐이다. 표본에서 클래스별 평균과 공통 분산을 추정하고, 추정한 두 정규분포로 새 입력의 밀도를 견주어 분류한다. 그렇게 그은 경계(실선)는 참 경계(점선)에서 조금 벗어나 있다. ISL은 같은 설정에서 베이즈 오류율이 10.6%, 표본 20개씩으로 추정한 분류기의 시험 오류율이 11.1%라고 보고한다. 추정 때문에 치르는 값이 크지 않다.

슬라이드가 덧붙인 말은 「사전확률은 개별 표본과 상관없이 각 클래스의 확률을 조정한다」이다. 식 (4.18)의 로그를 풀면 \(\log(\pi_1/\pi_{-1})\)이라는 같은 양이 모든 입력에 더해지므로, 사전확률은 경계를 사전확률이 작은 클래스 쪽으로 민다(그림 4.10). 드문 클래스로 분류하려면 그만큼 강한 증거가 필요하다는 뜻이다.

4.11 선형판별분석과 이차판별분석 Linear and Quadratic Discriminant Analysis

L06 s13–s17 · ISL 4.4.1, 4.4.3

가장 단순한 경우, 곧 입력이 스칼라 \(x\)인 경우부터 본다(\(p = 1\)). 클래스 \(k\)의 밀도를 \(\mathcal{N}(x; \mu_k, \sigma_k^2) = (2\pi\sigma_k^2)^{-1/2}\exp\{-(x - \mu_k)^2/(2\sigma_k^2)\}\)로 적고 식 (4.18)에 넣는다.

1. 로그 안의 비를 쪼갠다. $$\log\frac{\pi_1\,\mathcal{N}(x; \mu_1, \sigma_1^2)}{\pi_{-1}\,\mathcal{N}(x; \mu_{-1}, \sigma_{-1}^2)} = \log\mathcal{N}(x; \mu_1, \sigma_1^2) - \log\mathcal{N}(x; \mu_{-1}, \sigma_{-1}^2) + \log\frac{\pi_1}{\pi_{-1}}$$
2. \(\log\mathcal{N}(x; \mu, \sigma^2) = -\tfrac12\log(2\pi\sigma^2) - (x - \mu)^2/(2\sigma^2)\)이고, 두 클래스의 \(2\pi\)는 서로 지워진다.
3. 모으면 다음과 같다. $$f^*(x) = \operatorname{sign}\left(-\frac12\log\frac{\sigma_1^2}{\sigma_{-1}^2} - \frac{(x - \mu_1)^2}{2\sigma_1^2} + \frac{(x - \mu_{-1})^2}{2\sigma_{-1}^2} + \log\frac{\pi_1}{\pi_{-1}}\right) \tag{4.19}$$

부호 안은 \(x\)의 이차식이다. \(x^2\)의 계수가 \(1/(2\sigma_{-1}^2) - 1/(2\sigma_1^2)\)이라, 두 분산이 다르면 이 항이 남는다.

최대가능도 추정 Maximum Likelihood Estimation

이제 두 평균과 두 분산을 데이터로 추정한다. 레이블이 주어졌을 때 입력의 로그가능도는 두 클래스의 합으로 갈린다.

$$\ell(\mu_1, \mu_{-1}, \sigma_1^2, \sigma_{-1}^2) = \sum_{i:\,y_i = +1}\log\mathcal{N}(x_i; \mu_1, \sigma_1^2) + \sum_{i:\,y_i = -1}\log\mathcal{N}(x_i; \mu_{-1}, \sigma_{-1}^2)$$

클래스 +1의 파라미터는 앞의 합에만, 클래스 −1의 파라미터는 뒤의 합에만 들어 있으므로 클래스마다 따로 최대화하면 되고, 각각은 2.3절의 정규분포 MLE 문제 그대로다. \(\mu_1\)로 미분해 0으로 두면 \(\sum_{i:\,y_i = +1}(x_i - \mu_1) = 0\)이고, \(\sigma_1\)로 미분하면 \(-n_1/\sigma_1 + \sigma_1^{-3}\sum_{i:\,y_i = +1}(x_i - \mu_1)^2 = 0\)이다(\(\sigma_1^2\)으로 미분해도 해는 같다). 클래스 −1도 같다.

$$\hat\mu_k = \frac{1}{n_k}\sum_{i:\,y_i = k} x_i, \qquad \hat\sigma_k^2 = \frac{1}{n_k}\sum_{i:\,y_i = k}(x_i - \hat\mu_k)^2 \tag{4.20}$$

클래스별 표본평균(sample mean)과 표본분산(sample variance)이다. 분모가 \(n_k\)인 것은 2.3절의 \(\hat\sigma^2\)이 \(n\)으로 나눈 것과 같다. 슬라이드의 \(\partial\ell/\partial\mu_1\)에는 앞에 음의 부호가 붙어 있지만 양의 부호가 맞다. 0으로 두는 식이라 결과는 같다.

분산이 같으면: 선형판별분석 Equal Variances: LDA

두 클래스의 분산이 같다고, 곧 \(\sigma_1^2 = \sigma_{-1}^2 = \sigma^2\)이라고 하자. 식 (4.19)의 첫 항은 \(\log 1 = 0\)이 되고, 두 제곱을 풀면 \(x^2\)끼리 지워진다.

$$f^*(x) = \operatorname{sign}\left(\frac{\mu_1 - \mu_{-1}}{\sigma^2}\,x - \frac{\mu_1^2 - \mu_{-1}^2}{2\sigma^2} + \log\frac{\pi_1}{\pi_{-1}}\right) \tag{4.21}$$

부호 안이 \(x\)의 일차식 \(c_1 x + c_0\)이 된다. 이것이 4.1절에서 이름만 나온 LDA이고, 부호 안의 식이 입력에 선형이라 붙은 이름이다. 결정 경계는 일차식이 0인 점이다(보충). \(\mu_1 > \mu_{-1}\)이면

$$x^* = \frac{\mu_1 + \mu_{-1}}{2} + \frac{\sigma^2}{\mu_1 - \mu_{-1}}\log\frac{\pi_{-1}}{\pi_1}$$

로, 사전확률이 같으면 두 평균의 한가운데이고 \(\pi_1\)이 작을수록 \(\mu_1\) 쪽으로 밀린다. 그림 4.10의 경계 0.34가 \((1/2.5)\log(0.7/0.3)\)이다. 공통 분산을 어떻게 추정하는지는 슬라이드에 없다(보충). 클래스별 평균에서의 편차 제곱을 모든 클래스에 걸쳐 더한 합동분산(pooled variance) \(\hat\sigma^2 = \frac1n\sum_k\sum_{i:\,y_i = k}(x_i - \hat\mu_k)^2\)이 MLE이고, ISL은 \(n\) 대신 \(n - \lvert\mathcal{C}\rvert\)로 나눠 불편하게 만든다(ISL 식 4.20).

분산이 다르면: 이차판별분석 Unequal Variances: QDA

분산을 클래스마다 따로 두면 식 (4.19)의 부호 안이 그대로 분류 규칙의 식이고 \(x\)의 이차식이다. 이것이 이차판별분석(quadratic discriminant analysis, QDA)이다. 이차식이 0인 점은 둘일 수 있어서, 1차원 QDA에서는 분산이 큰 클래스가 양쪽 꼬리를 모두 차지하기도 한다(보충). 그림 4.12는 feature가 둘이고 두 클래스의 공분산행렬이 다를 때의 경계를 견준 것이다(식은 4.12절). 참 경계는 굽어 있어 QDA는 따라가지만 LDA는 직선이라 따라가지 못한다. 거꾸로 공분산행렬이 같으면 참 경계가 직선이라 LDA가 더 가깝다(ISL 그림 4.9 왼쪽).

그렇다고 QDA가 늘 나은 것은 아니다(보충, ISL 4.4.3). feature가 \(p\)개면 공분산행렬 하나에 파라미터가 \(p(p+1)/2\)개인데, LDA는 이것을 하나만, QDA는 클래스마다 하나씩 추정한다. 유연한 QDA는 편향(bias)이 작은 대신 분산이 크다. 1.9절의 편향-분산 트레이드오프(bias-variance trade-off)다. 훈련 데이터가 적으면 LDA가, 많거나 공분산행렬이 분명히 다르면 QDA가 낫다.

4.12 여러 feature와 여러 클래스의 판별분석 Discriminant Analysis with Many Features and Classes

L06 s18–s23 · ISL 4.4.2

feature가 \(p\)개면 각 클래스의 입력이 다변량 정규분포(multivariate normal distribution)를 따른다고 둔다(슬라이드는 입력 차원을 \(d\)로 적었다).

\(p = 1\)이면 \(\boldsymbol\Sigma = \sigma^2\)이라 4.11절의 1차원 밀도가 된다. 지수에 든 \((\bx - \boldsymbol\mu)^\top\boldsymbol\Sigma^{-1}(\bx - \boldsymbol\mu)\)는 공분산으로 잰 평균에서의 거리의 제곱이다. 그 제곱근을 마할라노비스 거리(Mahalanobis distance)라 하며(보충), \(\boldsymbol\Sigma = \bI\)이면 유클리드 거리(Euclidean distance)가 된다. 밀도가 같은 점을 이은 등고선은 타원이고, 그 모양을 공분산행렬이 정한다(그림 4.13). 슬라이드의 3차원 그림과 등고선 그림은 두 클래스의 밀도 언덕을 한 그림에 겹쳐 그린 것이다.

판별함수 The Discriminant Function

LDA는 모든 클래스가 공분산행렬 \(\boldsymbol\Sigma\)를 함께 쓴다고 가정한다. 사전확률을 곱한 밀도의 로그를 펼쳐 보자(보충).

1. 식 (4.22)에 로그를 취한다. 마지막 두 항은 공분산행렬을 함께 쓰므로 모든 클래스에 같다. $$\begin{aligned} \log\{\pi_k\,\mathcal{N}(\bx; \boldsymbol\mu_k, \boldsymbol\Sigma)\} = {} &-\tfrac12(\bx - \boldsymbol\mu_k)^\top\boldsymbol\Sigma^{-1}(\bx - \boldsymbol\mu_k) + \log\pi_k \\ &- \tfrac{p}{2}\log 2\pi - \tfrac12\log\lvert\boldsymbol\Sigma\rvert \end{aligned}$$
2. 첫 항의 괄호를 풀면 다음과 같다. \(\boldsymbol\Sigma^{-1}\)이 대칭이라 \(\bx^\top\boldsymbol\Sigma^{-1}\boldsymbol\mu_k\)와 \(\boldsymbol\mu_k^\top\boldsymbol\Sigma^{-1}\bx\)가 같아 하나로 합쳤다. $$-\tfrac12\bx^\top\boldsymbol\Sigma^{-1}\bx + \bx^\top\boldsymbol\Sigma^{-1}\boldsymbol\mu_k - \tfrac12\boldsymbol\mu_k^\top\boldsymbol\Sigma^{-1}\boldsymbol\mu_k$$
3. 첫 항 \(-\tfrac12\bx^\top\boldsymbol\Sigma^{-1}\bx\)는 모든 클래스에 같으므로 클래스를 견줄 때 빠진다.

1단계의 식에서 클래스와 무관한 부분만 뺐으므로 \(\delta_k\)가 가장 큰 클래스는 \(\pi_k\,\mathcal{N}(\bx; \boldsymbol\mu_k, \boldsymbol\Sigma)\)가 가장 큰, 곧 사후확률이 가장 큰 클래스다. 슬라이드는 1차원판을 거꾸로 얻는다. 식 (4.21)의 부호 안을 클래스 +1의 몫과 −1의 몫으로 나누면 \(\delta_1(x) - \delta_{-1}(x)\)가 된다. 두 클래스가 같은 꼴의 점수를 가지므로, 클래스가 셋 이상이면 모든 클래스의 판별 점수를 계산해 \(\argmax_k \delta_k(\bx)\)를 고르면 된다. 이진의 부호 함수가 argmax로 넓어진 것이다. 두 클래스 사이의 경계 \(\delta_k(\bx) = \delta_l(\bx)\)는 \(\bx\)의 일차식이라 초평면이다. QDA에서는 이차항과 행렬식이 클래스마다 달라 지워지지 않고, 판별함수가 이차식으로 남는다(보충, ISL 식 4.28).

$$\delta_k(\bx) = -\tfrac12(\bx - \boldsymbol\mu_k)^\top\boldsymbol\Sigma_k^{-1}(\bx - \boldsymbol\mu_k) - \tfrac12\log\lvert\boldsymbol\Sigma_k\rvert + \log\pi_k$$

추정값(estimate)을 넣은 판별 점수 \(\hat\delta_k\)에 4.8절의 softmax를 씌우면 클래스별 확률이 된다.

$$\hat{\mathbb{P}}(Y = k \mid X = \bx) = \frac{e^{\hat\delta_k(\bx)}}{\sum_{l \in \mathcal{C}} e^{\hat\delta_l(\bx)}} \tag{4.24}$$

이것은 근사가 아니라 모형 안에서 정확한 사후확률이다(보충). \(\delta_k(\bx)\)는 \(\log\{\pi_k\,\mathcal{N}(\bx; \boldsymbol\mu_k, \boldsymbol\Sigma)\}\)에서 모든 클래스에 같은 양을 뺀 것이라, 지수를 취해 합으로 나누면 그 양이 약분되어 식 (4.17)이 된다. 식 (4.12)의 다항 로지스틱 회귀와 같은 softmax 꼴이고, 점수가 \(\bx\)의 일차식이라는 점도 같다(4.13절).

세 클래스의 예 An Example with Three Classes

슬라이드의 예(ISL 그림 4.6)는 feature가 둘, 클래스가 셋이고 사전확률과 공분산행렬이 모두 같은 경우다. 각 클래스의 정규분포를 나타낸 타원은 공분산을 함께 쓰므로 크기와 모양, 기운 방향이 같고 평균만 다르다. 두 클래스씩의 경계는 직선이고 세 직선은 한 점에서 만난다(그림 4.14 왼쪽). 슬라이드의 그림에서 표본 20개씩으로 추정한 LDA 경계는 참 분포로 그린 베이즈 결정 경계에 가깝고, 베이즈 경계는 4.9절대로 모든 분류기 가운데 오분류가 가장 적다.

슬라이드는 「공분산행렬이 모두 단위행렬(identity matrix)이라고 가정하면 결과가 어떻게 바뀌나」를 묻고 답은 남겨 둔다(보충 답). \(\boldsymbol\Sigma = \bI\)이면 \(\delta_k(\bx) = \bx^\top\boldsymbol\mu_k - \tfrac12\lVert\boldsymbol\mu_k\rVert^2 + \log\pi_k\)이고, 사전확률도 같으면 \(\lVert\bx\rVert^2\)이 모든 클래스에 같으므로

$$\argmax_k\,\delta_k(\bx) = \argmin_k\,\lVert\bx - \boldsymbol\mu_k\rVert^2$$

이다. 유클리드 거리로 가장 가까운 평균의 클래스를 고르는 최근접 평균 분류기(nearest centroid classifier)가 되고, 경계는 두 평균을 잇는 선분의 수직이등분선(perpendicular bisector)이다(그림 4.14 오른쪽). 이 가정은 feature 사이의 상관과 척도(scale) 차이를 무시하므로, 데이터의 타원이 기울어 있으면 경계가 어긋난다.

4.13 판별분석과 로지스틱 회귀 Discriminant Analysis and Logistic Regression

L06 s24–s25 · ISL 4.4, 4.5.1

사후확률을 곧바로 추정하는 로지스틱 회귀가 있는데 왜 판별분석을 쓰는가. 슬라이드는 세 가지 이유를 든다(ISL 4.4).

1. 클래스가 잘 갈리면 로지스틱 회귀의 계수 추정이 놀랄 만큼 불안정하다. 극단이 4.4절의 주의 상자에서 본 선형 분리 가능한 경우로, 계수가 끝없이 커져 MLE가 없다. 경계 근처에 표본이 거의 없으니 데이터가 경계의 자리를 정해 주지 못한다. LDA는 평균과 분산만 추정하므로 이런 문제가 없다.
2. \(n\)이 작고 각 클래스의 입력이 정규분포에 가까우면 LDA가 더 안정적이다. 가정이 맞을 때는 그 가정을 쓰는 추정의 분산이 작다.
3. 클래스가 셋 이상일 때 널리 쓰인다. 데이터를 낮은 차원에서 보여 주기도 하기 때문이다. 공분산을 고려한 좌표에서 클래스 평균 \(\lvert\mathcal{C}\rvert\)개는 \(\lvert\mathcal{C}\rvert - 1\)차원 공간 안에 놓이므로, 데이터를 그 공간으로 옮겨 그리면 LDA의 분류에 필요한 정보를 잃지 않는다(보충, ESL 4.3.3).

두 방법은 생각보다 가깝다. 두 클래스의 LDA에서 로그 사후확률 비(로그 오즈)를 식 (4.23)으로 적으면 \(\bx\)의 일차식이다.

$$\begin{aligned} \log\frac{\mathbb{P}(Y = +1 \mid X = \bx)}{\mathbb{P}(Y = -1 \mid X = \bx)} &= \delta_1(\bx) - \delta_{-1}(\bx) = c_0 + \mathbf{c}^\top\bx \\ \mathbf{c} &= \boldsymbol\Sigma^{-1}(\boldsymbol\mu_1 - \boldsymbol\mu_{-1}) \end{aligned} \tag{4.25}$$

여기서 \(c_0 = -\tfrac12(\boldsymbol\mu_1 + \boldsymbol\mu_{-1})^\top\boldsymbol\Sigma^{-1}(\boldsymbol\mu_1 - \boldsymbol\mu_{-1}) + \log(\pi_1/\pi_{-1})\)이고(보충), \(p = 1\)이면 식 (4.21)의 부호 안이다. 판별분석의 \(\bx\)에는 절편 성분이 없어서 절편을 \(c_0\)로 따로 적었을 뿐, 식 (4.5)의 로지스틱 회귀와 같은 꼴이다. 4.1절의 보충 상자에서 0/1 선형회귀의 계수 벡터가 LDA의 판별 방향과 비례한다고 한 그 방향이 이 \(\mathbf{c}\)다.

정규분포 가정이 대략 맞으면 LDA가, 맞지 않으면 로지스틱 회귀가 나을 것으로 기대한다(ISL 4.5.1). 로지스틱 회귀도 \(x_1^2\), \(x_1x_2\) 같은 이차 항을 feature로 넣으면 QDA처럼 굽은 경계를 그릴 수 있다. 2.10절의 다항회귀(polynomial regression)에서 본 대로 「선형」은 계수에 대한 말이기 때문이다.

4.14 나이브 베이즈 Naive Bayes

L06 s33–s39 (앞당김) · ISL 4.4.4

생성 분류기는 클래스별 입력 분포 \(p(\bx \mid y = k)\)를 어떻게 모형화하느냐로 갈린다. 판별분석이 다변량 정규분포를 썼다면, 나이브 베이즈는 조건부 독립(conditional independence)을 가정한다.

이 가정 덕분에 \(p\)차원 결합분포 대신 1차원 분포 \(p\)개만 추정하면 된다(보충). 성분이 범주형이면 클래스 안의 빈도를 세고, 연속이면 성분마다 정규분포를 둔다. 성분마다 정규분포를 두면 나이브 베이즈는 공분산행렬을 대각으로 둔 QDA와 같다(ISL 4.4.4).

이 가정은 현실적인가. 꽃 사진에서 이웃한 두 픽셀은 꽃이라는 클래스를 알아도 거의 같은 색이다. 문장을 단어마다 있으면 1, 없으면 0인 벡터(bag-of-words, 보충)로 적으면 「eats」가 있는 문장에는 「food」도 있기 쉽다. 같은 클래스 안에서도 성분들은 거의 늘 얽혀 있다. 나이브(순진한)라는 이름이 여기서 왔다(보충).

그런데도 나이브 베이즈는 놀랄 만큼 잘 작동한다. 곱으로 계산한 \(p(\bx \mid y)\)는 실제 확률과 멀지만, 분류에 필요한 것은 클래스 사이의 순서(argmax)뿐이기 때문이다. 기술과 정치를 가르는 텍스트 분류(text classification)에서 「AI」「ChatGPT」 같은 단어가 많은 문장은 곱으로 계산해도 기술 쪽 값이 더 크다. 대신 나이브 베이즈가 내놓는 확률 자체는 0이나 1로 치우치는 경향이 있어 그대로 믿기 어렵다(보충). 독립 가정은 편향을 늘리지만 추정할 것을 줄여 분산을 낮추는 선택이라, feature가 많고 데이터가 적을 때 특히 쓸모 있다(ISL 4.4.4).

Weather 데이터의 예 An Example: The Weather Data

슬라이드의 예제는 날씨 조건 넷과 그날 골프를 쳤는지를 적은 14일 치 Weather 데이터다(표 4.3). 사전확률은 Play Golf의 비율(9/14, 5/14)이고, 모든 feature가 범주형이라 각 조건부 확률은 클래스 안의 빈도로 추정한다. 클래스별 빈도를 센 빈도표(frequency table)를 그 클래스의 날 수로 나누면 가능도표(likelihood table)가 된다(표 4.4).

표 4.3Weather 데이터(L06 s36)

Outlook	Temp	Humidity	Windy	Play Golf
Rainy	Hot	High	False	No
Rainy	Hot	High	True	No
Overcast	Hot	High	False	Yes
Sunny	Mild	High	False	Yes
Sunny	Cool	Normal	False	Yes
Sunny	Cool	Normal	True	No
Overcast	Cool	Normal	True	Yes
Rainy	Mild	High	False	No
Rainy	Cool	Normal	False	Yes
Sunny	Mild	Normal	False	Yes
Rainy	Mild	Normal	True	Yes
Overcast	Mild	High	True	Yes
Overcast	Hot	Normal	False	Yes
Sunny	Mild	High	True	No

표 4.4Weather 데이터의 가능도표 — 값마다 클래스 안의 비율(L06 s38)

feature	값	Yes (9일)	No (5일)
Outlook	Sunny · Overcast · Rainy	3/9 · 4/9 · 2/9	2/5 · 0/5 · 3/5
Temp	Hot · Mild · Cool	2/9 · 4/9 · 3/9	2/5 · 2/5 · 1/5
Humidity	High · Normal	3/9 · 6/9	4/5 · 1/5
Windy	False · True	6/9 · 3/9	2/5 · 3/5

슬라이드는 실전에서 부딪히는 문제 둘을 짚는다. 하나는 영빈도 문제(zero-frequency problem)다. 표 4.4의 Overcast | No가 0/5이므로, 흐린 날이면 No의 곱이 조건과 상관없이 0이 되어 다른 모든 증거가 무시된다. 훈련 데이터에 한 번도 나오지 않은 조합의 확률을 0으로 추정한 탓이다. 모든 경우에 작은 확률을 기본으로 더해 막는데, 흔한 방법이 빈도에 1을 더하는 라플라스 평활(Laplace smoothing)이다(보충). \(x_j\)가 가질 수 있는 값이 \(V_j\)가지면

$$\hat{p}(x_j = v \mid y = k) = \frac{\operatorname{count}(x_j = v,\ y = k) + 1}{n_k + V_j}$$

이고, Overcast | No는 \((0 + 1)/(5 + 3) = 1/8\)이 된다. 흐리고 포근하고 습하고 바람 부는 날 {Overcast, Mild, High, True}는 평활하지 않으면 No의 곱이 0이라 Yes일 확률이 1이지만, 평활하면 두 클래스의 값이 약 0.0148과 0.0068이 되어 사후확률이 Yes 0.68, No 0.32다(보충). 다른 하나는 수치 문제다. feature가 많으면 1보다 작은 확률을 여러 번 곱한 값이 빠르게 0에 가까워져 컴퓨터가 0으로 처리하는 언더플로(underflow)가 생긴다(2.3절). 그래서 곱 대신 로그의 합 \(\log\pi_k + \sum_j\log p(x_j \mid y = k)\)로 견준다. 로그는 증가함수라 가장 큰 클래스가 바뀌지 않는다.

이 장의 분류기 넷을 나란히 놓으면 표 4.5와 같다(보충). 로그 오즈의 꼴은 ISL 4.5.1을 따랐다. 나이브 베이즈의 로그 오즈는 성분마다의 함수를 더한 꼴이다.

$$\log\frac{\pi_1}{\pi_{-1}} + \sum_{j=1}^{p}\log\frac{p(x_j \mid y = +1)}{p(x_j \mid y = -1)}$$

각 항은 성분 하나가 어느 클래스를 얼마나 편드는지 잰 증거이고, 나이브 베이즈는 이 증거를 더해 판정한다. 한 항이라도 확률 0을 만나면 합이 무한대로 튀는 것이 앞의 영빈도 문제다.

표 4.5이 장의 네 분류기(보충)

	로지스틱 회귀	LDA	QDA	나이브 베이즈
전략	판별	생성	생성	생성
\(p(\bx \mid y = k)\)	다루지 않음	정규분포, 공분산 공유	정규분포, 클래스별 공분산	성분끼리 독립
로그 오즈	일차식	일차식	이차식	성분별 함수의 합
훈련	경사하강법(4.6절)	평균·공분산·비율	평균·공분산·비율	빈도·비율

4.15 분류기의 평가 Evaluating Classifiers

L06 s28–s31 (뒤로) · ISL 4.4.2

분류기를 세웠으면 1.2절의 넷째 단계로 넘어가 분류기가 얼마나 좋은지 재야 한다. 4.1절의 Default 데이터(그림 4.1)에 잔고와 학생 여부로 LDA를 맞추고 그 예측을 실제 연체 여부와 대조한 것이 표 4.6이다. 예측한 클래스와 실제 클래스를 교차해 센 이런 표를 혼동행렬(confusion matrix)이라 한다(슬라이드에는 이름이 없다).

표 4.6Default 데이터에 맞춘 LDA의 혼동행렬 — 열은 실제, 행은 예측(ISL 표 4.4)

	실제 No	실제 Yes	합
예측 No	9,644	252	9,896
예측 Yes	23	81	104
합	9,667	333	10,000

틀린 것은 23명과 252명이라 오분류율은 \((23 + 252)/10{,}000 = 2.75\%\)다. 그런데 입력을 보지 않고 모두 No로 분류하는 영분류기(null classifier)도 333/10,000 = 3.33%밖에 틀리지 않는다(슬라이드의 「사전확률로 분류하기」). 연체자가 3%뿐이라 오분류율 하나로는 모자란다. 실제로 연체한 333명 가운데 LDA가 잡은 사람은 81명뿐이다. 게다가 이 수치는 훈련 데이터에서 잰 것이라 1.7절의 훈련오차(training error)처럼 낙관적이다. 제대로 재려면 3.5절처럼 떼어 둔 시험 데이터(test data)를 쓴다(보충).

표 4.6에서 거짓 양성률은 \(23/9{,}667 \approx 0.2\%\), 거짓 음성률은 \(252/333 \approx 75.7\%\)다. 카드사에는 연체자를 놓치는 쪽이 훨씬 비싸다. 이 비율들은 분야마다 이름이 다르다(보충, ISL 표 4.7). 실제 양성 가운데 맞힌 비율 \(\mathrm{TP}/(\mathrm{TP} + \mathrm{FN})\)은 1에서 거짓 음성률을 뺀 값으로 참 양성률(true positive rate)이라 하며, 민감도(sensitivity)나 재현율(recall)이라고도 부른다. 여기서는 24.3%다. 실제 음성 가운데 맞힌 비율 \(\mathrm{TN}/(\mathrm{TN} + \mathrm{FP})\)는 1에서 거짓 양성률을 뺀 값으로 특이도(specificity)라 하며 99.8%다. 양성으로 예측한 것 가운데 실제 양성의 비율 \(\mathrm{TP}/(\mathrm{TP} + \mathrm{FP}) = 81/104 \approx 77.9\%\)는 정밀도(precision)다.

임곗값 바꾸기 Varying the Threshold

표 4.6은 양성의 사후확률이 0.5 이상이면 Yes로 분류한 결과다. 0.5는 4.9절의 베이즈 분류기가 0-1 손실에서 쓰는 임곗값이다. 임곗값을 \(t\)로 바꿔 사후확률이 \(t\) 이상이면 Yes로 하면 두 오류율이 달라진다(그림 4.15). \(t\)를 낮추면 Yes가 늘어 거짓 음성률은 줄고 거짓 양성률은 커진다. ISL은 \(t = 0.2\)에서 거짓 음성률 41.4%, 전체 오분류율 3.73%를 보고한다(ISL 표 4.5). 슬라이드가 \(t\)를 낮추는 쪽을 「더 보수적」이라 한 것은 조금만 의심스러워도 연체로 보고 대비한다는 뜻이다.

ROC 곡선과 AUC The ROC Curve and AUC

그러니 임곗값 하나에서 잰 지표(metric)로는 모형을 평가할 수 없다. ROC 곡선(receiver operating characteristic curve)은 \(t\)를 1에서 0까지 내리며 (거짓 양성률, 참 양성률)을 이은 곡선이다(그림 4.16). \(t = 1\)이면 아무도 양성으로 분류하지 않아 (0, 0), \(t = 0\)이면 모두 양성이라 (1, 1)이다. 좋은 분류기는 거짓 양성률을 조금만 올려도 참 양성률이 빨리 올라 곡선이 왼쪽 위 모서리에 붙고, 입력을 보지 않고 무작위로 양성이라 하면 대각선이 된다(보충). 곡선 아래 넓이 AUC(area under the curve)로 곡선 전체를 한 수로 요약하는데, 1이면 완벽하고 0.5면 무작위 수준이다. ISL은 이 LDA의 AUC를 0.95로 보고한다. AUC는 무작위로 고른 양성 하나의 점수가 무작위로 고른 음성 하나의 점수보다 높을 확률과 같아서 임곗값에 기대지 않는다(보충). 슬라이드 본문은 ROC 곡선이 거짓 음성률과 참 양성률을 보여 준다고 적었지만 두 축은 거짓 양성률과 참 양성률이고, 거짓 음성률은 1 − 참 양성률로 세로축에 들어 있다.