MLP 이해 1편: 개념 — 구조와 함수 근사
선형 함수로는 풀 수 없는 XOR에서 출발해, MLP가 시그모이드 조각을 더해 모르는 함수를 흉내 내는(함수 근사) 원리와, 그래서 로지스틱 회귀 여러 개로 층을 만들고 층을 이어 쌓은 구조가 되는 이유를 정리했다.
이 글의 코드와 수치는 노트북으로 직접 실행해 볼 수 있다.
노트북 내려받기이 글은 개념만 다루고 코드는 2편에서 다룬다. 글에 나온 수치는 계산 노트북으로 계산했다.
직선 하나로 XOR을 나눠 본다
두 입력이 서로 다르면 1, 같으면 0인 데이터가 있다. 이 규칙을 XOR(배타적 논리합)이라고 부른다.
| x₁ | x₂ | 정답 y |
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
로지스틱 회귀는 입력이 두 개면 p = σ(w₁x₁ + w₂x₂ + b)로 확률을 낸다. 괄호 안의 w₁x₁ + w₂x₂ + b는 입력에 가중치(weight)를 곱해 더한 선형 함수이고, p가 0.5가 되는 경계 w₁x₁ + w₂x₂ + b = 0은 평면 위의 직선 하나다. 로지스틱 회귀는 이 직선의 한쪽을 1, 다른 쪽을 0으로 나눈다.
그런데 XOR에서 정답이 1인 두 점 (0, 1), (1, 0)과 정답이 0인 두 점 (0, 0), (1, 1)은 대각선으로 엇갈려 있다. 어떤 직선을 그어도 1인 두 점만 한쪽에 모을 수 없다. 이런 데이터를 선형 분리 불가능(not linearly separable)하다고 한다.
학습해도 마찬가지다. XOR 네 점으로 로지스틱 회귀를 경사 하강법으로 1만 번 학습하면 w와 b는 모두 0에 머물고, 네 점 모두 확률 0.5를 받는다. 손실은 0.6931로, 모든 점에 0.5를 줄 때의 손실 ln 2다. 무작위로 고른 시작값에서 다시 학습해도 같은 곳에 도착한다. 직선 10만 개를 무작위로 그어 봐도 가장 잘 맞힌 직선이 네 점 중 세 점까지만 맞혔다.
직선을 아무리 잘 골라도 소용없다. 경계가 직선이어야 한다는 제약 자체가 문제다. 필요한 것은 직선이라는 틀에 맞추는 것이 아니라, XOR이라는 규칙 자체를 흉내 내는 함수다.
함수 근사가 무엇인지 알아본다
XOR 규칙도 하나의 함수다. 입력 두 개(x₁, x₂)를 받아 0 아니면 1을 내놓는다. XOR은 규칙을 이미 알고 있지만, 실제 문제에서는 대개 그 함수의 식을 모른다. 사진을 받아 고양이인지 답하는 함수나, 집의 조건을 받아 가격을 답하는 함수는 식으로 쓸 수 없다. 주어지는 것은 **입력과 정답의 쌍(데이터)**뿐이다.
다층 퍼셉트론(MLP, multilayer perceptron)은 이런 모르는 함수를 흉내 내는 모델이다. 한 문장으로 줄이면 이렇다.
단순한 함수를 조합해 함수 자체를 흉내 낸다. 조합의 틀은 사람이 정하고, 조합의 가중치는 데이터로 학습한다.
함수를 흉내 낸다는 것을 함수 근사(function approximation)라고 한다. 근사는 똑같이 만드는 것이 아니라 차이(오차)를 원하는 만큼 작게 만든다는 뜻이다.
- MLP는 방정식의 해를 구하는 것(근사해)이 아니라 함수 자체를 근사한다.
- 목표 함수의 식을 모르고 데이터만 있으므로, 단순한 함수들을 조합한 틀을 먼저 만든다.
- 그 틀의 가중치를 데이터에 맞게 조정해서, 알려지지 않은 함수를 흉내 낸다.
그러면 단순한 함수를 어떻게 조합해야 어떤 함수든 흉내 낼 수 있을까. 입력이 하나인 곡선으로 보면 원리가 잘 보인다.
조각을 더해 곡선을 만든다
조합할 단순한 함수는 로지스틱 회귀의 식 σ(wx + b)다. 입력이 x 하나이면 이 함수는 어느 한 점에서 0에서 1로 올라가는 계단 모양이다. w와 b를 바꾸면 올라가는 위치와 가파른 정도가 바뀐다.
- 이 계단에 가중치를 곱하면 어느 위치에서 한 번 올라가거나(가중치가 양수) 내려가는(가중치가 음수) 조각이 된다. 올라가는 높이는 가중치의 크기다.
- 이런 조각을 여러 개 만들어 더한다.
- 조각이 많을수록, 단순한 조각만으로도 복잡한 곡선을 점점 더 비슷하게 만들 수 있다.
아래에서 조각을 만드는 계산 단위(은닉 뉴런)의 수를 바꿔 보자. 은닉 뉴런이라는 이름은 아래에서 설명한다.
① 각 뉴런의 출력 = 가중치 × 시그모이드 (계단 모양 조각)
② 조각을 모두 더한 값 = MLP의 출력
조각이 1개면 곡선을 대충 따라갈 뿐이지만(평균 오차 0.095), 16개면 곡선과 거의 겹친다(0.019). 다만 조각 2개일 때(0.098)는 1개일 때보다 조금 크고, 4개부터는 늘릴수록 오차가 줄어든다. 이 그림은 개념을 보여 주려고 구간을 같은 간격으로 나눠 조각을 하나씩 놓았다. 학습한 MLP의 뉴런은 이렇게 구간을 나눠 맡지 않는다. 경사 하강법은 오차가 줄어드는 쪽으로 가중치를 고칠 뿐이라, 조각이 놓이는 위치와 높이, 가파른 정도가 뉴런마다 제각각이다.
로지스틱 회귀를 나란히 놓고 겹쳐 쌓는다
조각 하나를 만드는 계산을 다시 보자. 입력에 가중치를 곱해 더하고, 편향(bias)을 더하고, 시그모이드를 거친다. 로지스틱 회귀와 똑같다. MLP에서는 이 계산 단위를 뉴런(neuron)이라고 부른다. 유닛(unit), 노드(node)라고도 한다.
함수 근사에 필요한 두 가지 일이 그대로 MLP의 구조가 된다.
- 조각을 여러 개 만든다 → 나란히 놓기: 같은 입력을 받는 뉴런 여러 개를 나란히 놓는다. 이 묶음을 층(layer)이라고 한다. 뉴런마다 가중치가 달라서 서로 다른 위치에 서로 다른 조각을 만든다.
- 조각을 더한다 → 겹쳐 쌓기: 그 층의 출력을 다음 층의 뉴런이 받아 가중치를 곱해 더한다. 마지막 층이 출력층이고, 입력과 출력층 사이의 층을 은닉층(hidden layer)이라고 부른다. 학습 데이터는 입력과 출력의 정답만 알려 주고 이 층이 어떤 값을 내야 하는지는 알려 주지 않아서 붙은 이름이다(Goodfellow et al., Deep Learning 6장).
XOR처럼 0과 1로 분류하는 문제라면 출력층의 뉴런도 마지막에 시그모이드를 거친다. 그러면 은닉층도 출력층도 모두 로지스틱 회귀다. MLP는 로지스틱 회귀를 나란히 놓고 겹쳐 쌓은 모델이다.
이 글의 예제는 입력 2개(XOR의 x₁, x₂), 은닉 뉴런 2개, 출력 뉴런 1개인 MLP다(2 → 2 → 1). 로지스틱 회귀 세 개를 이어 붙인 모델이다.
MLP를 합성함수로 쓴다
층 하나가 하는 일은 단순하다. 입력 x를 받아 가중합을 구하고 시그모이드를 거친다. 식으로 쓰면 이렇다.
f(x) = σ(xW + b)W는 그 층의 가중치를 모은 표(행렬)이고, b는 편향을 모은 것이다. 뉴런이 여러 개면 W와 b에 뉴런 수만큼 값이 들어 있어서, 이 식 하나가 뉴런 여러 개의 출력을 한꺼번에 낸다.
MLP는 이 단순한 함수를 겹쳐 쓴다. 은닉층 함수의 출력을 출력층 함수의 입력으로 넣는다. 이렇게 함수의 출력을 다른 함수에 넣어 만든 함수를 합성함수라고 한다.
ŷ = σ( σ(xW1 + b1) W2 + b2 )안쪽 σ(xW₁ + b₁)이 은닉층, 바깥쪽이 출력층이다. W₁, b₁은 은닉층의 가중치와 편향, W₂, b₂는 출력층의 가중치와 편향이다. 입력 x를 넣어 이 식을 안쪽부터 계산해 예측값 ŷ까지 가는 과정을 순전파(forward pass)라고 한다. 행렬 W의 모양과 순전파를 코드로 계산하는 방법은 2편에서 다룬다.
활성화 함수가 필요한 이유를 본다
조각이 계단 모양으로 꺾이는 것은 시그모이드 덕분이다. 시그모이드처럼 가중합 뒤에 거치는 함수를 활성화 함수(activation function)라고 한다. 활성화 함수를 빼면 어떻게 될까. 은닉층이 xW₁ + b₁을 그대로 내보내면, 두 층을 쌓은 식은 이렇게 정리된다.
(xW1 + b1)W2 + b2 = x(W1W2) + (b1W2 + b2)
= xW' + b'W₁W₂를 W′ 하나로, b₁W₂ + b₂를 b′ 하나로 바꿔 쓰면 층 하나짜리 식과 모양이 같다. 층을 몇 개 쌓아도 마찬가지로, 입력에 가중치를 곱하고 더하는 계산(수학 용어로 아핀 변환) 하나로 줄어든다. 꺾이는 조각이 생기지 않으니 곡선을 만들 수 없고, 경계는 여전히 직선 하나라 XOR도 풀 수 없다. 계산 노트북에서 무작위 가중치로 두 층과 한 층의 결과를 비교하면 같은 값이 나온다.
그래서 층 사이에는 시그모이드처럼 비선형(직선이 아닌) 활성화 함수가 있어야 층을 쌓을수록 복잡한 함수를 표현할 수 있다. 실제로는 시그모이드 말고도 ReLU(음수는 0, 양수는 그대로) 같은 활성화 함수를 많이 쓴다.
보편 근사 정리를 살펴본다
조각을 더해 곡선을 만드는 원리를 정리한 것이 보편 근사 정리(universal approximation theorem)다. 은닉층이 하나뿐이어도 은닉 뉴런이 충분히 많으면, 매끄럽게 이어진 함수(연속함수)를 원하는 정밀도로 근사할 수 있다는 정리다.1
이 정리는 MLP로 모르는 함수를 흉내 낼 수 있다는 근거가 되지만, 말하지 않는 것도 있다.
- 뉴런이 몇 개 필요한지 알려 주지 않는다. “충분히 많으면”이 10개일 수도, 10만 개일 수도 있다.
- 학습으로 그 가중치를 찾을 수 있는지 알려 주지 않는다. 정리는 그런 가중치가 존재한다는 것까지만 말한다. 위젯처럼 답을 보고 가중치를 정할 수 없는 실제 학습에서는, 데이터를 보고 가중치를 찾아가야 한다.
은닉층 하나를 넓게 늘리는 대신 층을 여러 개 깊게 쌓을 수도 있다. 같은 함수를 더 적은 뉴런으로 표현할 수 있는 경우가 많다고 알려져 있다(Goodfellow et al., Deep Learning 6.4.1절).
문제에 맞게 출력층의 활성화 함수를 고른다
위젯의 곡선은 조각을 더한 값을 그대로 내보낸 결과, 즉 출력층에 활성화 함수가 없는 경우다. 그래서 어떤 범위의 곡선이든 만들 수 있다.
XOR 같은 이진 분류에서는 출력층에도 시그모이드를 둔다. 그러면 출력이 항상 0과 1 사이라서 “1일 확률”로 읽을 수 있다. 대신 그 범위를 벗어난 값은 표현할 수 없다.
| 문제 | 출력층 활성화 | 출력 범위 |
|---|---|---|
| 이진 분류 (XOR) | 시그모이드 | 0과 1 사이 |
| 다중 분류 | softmax | 합이 1인 확률 여러 개 |
| 회귀 (위젯의 곡선) | 없음 (선형 출력) | 제한 없음 |
은닉층의 활성화 함수는 조각을 만들고, 출력층의 활성화 함수는 출력의 범위를 정한다.
MLP로 XOR을 다시 푼다
처음 문제로 돌아가 보자. XOR은 입력 두 개를 받아 0 또는 1을 내는 함수이고, 로지스틱 회귀 하나로는 경계가 직선 하나뿐이라 흉내 낼 수 없었다. 2 → 2 → 1 MLP에서는 은닉 뉴런 두 개가 각자 직선 하나를 맡고, 출력 뉴런이 두 결과를 조합한다. XOR 그림의 네 번째 패널처럼 직선 두 개를 쓰면 네 점을 모두 나눌 수 있다. 실제로 그 두 직선을 은닉 뉴런 두 개에 맡기도록 가중치를 정하면 네 점을 모두 맞힌다(계산 노트북). 이 MLP를 XOR 데이터로 학습해서 네 점을 모두 맞히는 가중치를 찾아내는 것은 4편에서 확인한다.
정리
- 로지스틱 회귀의 경계는 선형 함수가 만드는 직선 하나다. 그래서 XOR을 풀 수 없다.
- 필요한 것은 모르는 함수를 흉내 내는 방법, 즉 함수 근사다. MLP는 단순한 함수를 조합해 함수 자체를 흉내 내는 모델이다.
- 시그모이드 조각에 가중치를 곱해 더하면 곡선을 만들 수 있다. 조각을 만드는 것이 은닉층(로지스틱 회귀를 나란히 놓은 것), 조각을 더하는 것이 출력층이다. 그래서 MLP는 로지스틱 회귀를 나란히 놓고 겹쳐 쌓은 구조가 된다.
- 층 사이에 비선형 활성화 함수가 없으면 아무리 쌓아도 한 층과 같다.
- 뉴런이 충분하면 어떤 연속함수든 원하는 만큼 비슷하게 만들 수 있다(보편 근사 정리). 다만 필요한 뉴런 수와 그 가중치를 학습으로 찾을 수 있는지는 보장하지 않는다.
- 출력층의 활성화 함수는 출력 범위를 정한다.
조합의 틀(층 수, 뉴런 수, 활성화 함수)은 사람이 정하고, 조합의 가중치는 데이터가 정한다. 2편에서는 이 MLP를 NumPy 코드로 옮기고, 가중치를 데이터로 찾는 방법(역전파와 업데이트)은 3편부터 다룬다.
Footnotes
-
정확한 조건: 입력의 범위가 유한한 닫힌 구간(수학 용어로 ℝⁿ의 컴팩트 집합)이고, 활성화 함수가 다항식이 아니며, 은닉층에 편향이 있고, 출력층은 은닉 뉴런 출력의 가중합일 때다(Leshno et al., 1993). 시그모이드는 이 조건을 만족한다. ↩