블로그AI/딥러닝

MLP 이해 3편: 연산 그래프와 역전파

역전파가 체인 룰의 곱을 손실 쪽부터 계산해 공통 항을 다시 쓰고, 순전파 때 저장한 x, a1, a2만 읽어 기울기 9개를 구하는 과정을 NumPy 코드와 위젯으로 따라갔다.

Python 3.14.8NumPy 2.5.4

이 글의 코드와 수치는 노트북으로 직접 실행해 볼 수 있다.

노트북 내려받기

순전파를 연산 그래프로 나타낸다

이전 글의 MLP는 입력 (1, 1)에 예측 확률 0.5438을 냈다. XOR에서 (1, 1)의 정답은 0이다. 이 예측이 얼마나 틀렸는지를 로그 손실로 재면 0.7848이다. MLP 클래스는 2편의 것을 그대로 쓴다.

python
def log_loss(a2, y):
    return float(-(y * np.log(a2) + (1 - y) * np.log(1 - a2)).mean())

x = np.array([[1.0, 1.0]])
y = np.array([[0.0]])          # XOR에서 (1, 1)의 정답

mlp = MLP()
a2 = mlp.forward(x)
print('a2   =', a2)
print('loss =', round(log_loss(a2, y), 4))
출력
a2   = [[0.5438]]
loss = 0.7848

손실을 줄이려면 파라미터 9개(w1 4개, b1 2개, w2 2개, b2 1개)를 각각 어느 쪽으로 얼마나 움직일지 알아야 한다. 그것을 정하는 데 쓰는 값이 기울기이고, 기울기를 모두 구하는 방법이 이 글에서 다루는 역전파(backpropagation)다. 역전파는 순전파의 계산 과정을 거꾸로 따라간다. 그래서 먼저 순전파를 연산 하나하나로 나눠 그린다.

z1a1z2a2x @ w1+ b1σ@ w2+ b2σloss은닉층 = 노드 3개출력층 = 노드 3개손실 계산
순전파의 연산 그래프. 상자 하나가 연산 하나이고, 화살표 위의 이름은 그 화살표를 따라 넘어가는 값이다. 시그모이드(σ)와 손실 계산은 실제로는 지수, 나눗셈 같은 여러 연산으로 이루어지지만 각각 상자 하나로 묶어 그렸다.

이렇게 연산과 그 사이를 오가는 값으로 계산 과정을 나타낸 것을 연산 그래프(computational graph)라고 한다. 값을 노드로 그리는 방식도 있지만, 이 글의 그래프는 다음처럼 그린다.

  • 노드(node, 상자)는 연산 하나다. 행렬곱, 편향 더하기, 시그모이드, 손실 계산이 각각 노드 하나다. 뉴런 하나가 노드 하나인 것이 아니다.
  • 에지(edge, 화살표)는 한 연산의 결과가 다음 연산의 입력으로 넘어가는 길이다. z1, a1 같은 중간값은 노드가 아니라 에지를 타고 흐르는 값이다.

같은 MLP를 세 가지 관점에서 볼 수 있다.

관점 단위 이 글의 MLP
개념 뉴런 은닉 뉴런 2개, 출력 뉴런 1개 (1편 그림)
구현 층마다 행렬 연산 x @ w1, a1 @ w2 두 번 (2편)
연산 그래프 연산 하나 = 노드 하나 층마다 노드 3개(행렬곱, 편향 더하기, 시그모이드)와 손실 노드 1개

기울기가 무엇을 알려 주는지 본다

파라미터 w의 기울기 ∂L/∂w는 다른 파라미터를 그대로 둔 채 지금 값에서 w만 아주 조금 바꿨을 때 손실 L이 얼마나, 어느 쪽으로 변하는지를 나타낸다.

  • 부호는 방향이다. 양수면 w를 줄일 때 손실이 줄어들고, 음수면 w를 키울 때 손실이 줄어든다.
  • 크기는 민감도다. 클수록 같은 양만큼 조금 움직여도 손실이 크게 변한다.

로지스틱 회귀에서는 기울기를 (p − y)·x라는 식 하나로 바로 썼다. 가중치가 시그모이드 한 번만 거쳐 손실에 영향을 줬기 때문이다. MLP의 w1은 그래프의 노드 일곱 개를 모두 거친 뒤에야 손실에 영향을 준다. 그만큼 기울기 식도 길어진다.

체인 룰과 역전파를 구분한다

여러 함수를 이어 붙인 합성함수의 미분은 각 함수의 미분을 곱한 것이다. 이것이 체인 룰(chain rule)이다. w2의 기울기에 적용하면 다음과 같다.

식
∂L/∂w2 = ∂L/∂a2 · ∂a2/∂z2 · ∂z2/∂w2
          (loss)   (σ)       (@ w2, + b2)

곱하는 항 하나하나는 그래프에서 w2와 손실 사이에 놓인 노드의 미분이다. 이처럼 노드 하나의 출력이 입력에 따라 변하는 비율을 국소 미분이라고 한다. w1은 은닉층을 거쳐 가므로 곱하는 항이 더 많다.

식
∂L/∂w1 = ∂L/∂a2 · ∂a2/∂z2 · ∂z2/∂a1 · ∂a1/∂z1 · ∂z1/∂w1
          (loss)   (σ)       (@ w2)    (σ)       (x @ w1, + b1)

이 식은 기울기가 어떤 값을 거쳐 이어지는지 보여 준다. 실제 계산에는 행렬곱과 원소별 곱이 섞이는데, 어떻게 계산하는지는 backward() 코드에서 본다.

체인 룰과 역전파는 함께 나오지만 다른 것이다.

정체 하는 일
체인 룰 미적분의 규칙 무엇을 곱하면 기울기가 되는지 알려 준다. 어떤 순서로 곱할지는 정하지 않는다
역전파 계산 방법 그래프의 마지막 노드인 손실에서 출발해 그래프를 거꾸로 따라가며 이미 구한 값을 다시 써서 그 곱을 계산한다

역전파에서 각 노드는 오른쪽(손실 쪽)에서 받은 기울기에 그 노드의 국소 미분을 곱해 왼쪽 에지로 넘긴다. 위 그래프라면 loss 노드에서 시작해 σ, + b2, @ w2, … 순서로 왼쪽으로 간다.

  • 층 사이는 순서대로다. 출력층의 기울기가 있어야 은닉층의 기울기를 계산할 수 있다.
  • 층 안은 한 번에 한다. 은닉 뉴런 두 개의 기울기는 순전파처럼 행렬 연산 한 번으로 함께 구한다.
  • 입력 쪽은 계산하지 않는다. 입력 x는 고칠 대상이 아니라서 이 글에서는 x의 기울기를 구하지 않는다.

손실 쪽부터 곱하는 데는 이유가 있다. 두 식의 앞 두 항 ∂L/∂a2 · ∂a2/∂z2는 같다. 기울기 9개를 하나씩 따로 구하면 이런 공통 항을 매번 다시 계산하게 된다. 역전파는 손실 쪽부터 그래프를 한 번 거꾸로 따라가며 모든 기울기를 구한다. 손실 가까이에서 구한 값을 저장해 두었다가 입력 쪽 계산에 다시 쓰기 때문이다.

같은 값이 여러 연산에 쓰이면 그 값으로는 기울기가 여러 갈래로 돌아오고, 돌아온 기울기를 모두 더한다. 이 글의 예제는 파라미터마다 손실에 영향을 주는 경로가 하나라서 여러 갈래에서 돌아온 기울기를 더할 일이 없다.

backward() 코드를 그래프와 맞춰 본다

손실 쪽부터 그래프를 거꾸로 따라가는 계산을 코드로 옮기면 다음과 같다. mlp.forward(x)를 먼저 실행해 mlp에 중간값이 남아 있어야 한다.

python
def backward(y_true, mlp):
    N = mlp.x.shape[0]

    dz2 = (mlp.a2 - y_true) / N
    db2 = dz2.sum(axis=0)
    dw2 = mlp.a1.T @ dz2

    da1 = dz2 @ mlp.w2.T
    dz1 = da1 * mlp.a1 * (1 - mlp.a1)
    db1 = dz1.sum(axis=0)
    dw1 = mlp.x.T @ dz1
    return dw1, db1, dw2, db2
python
dw1, db1, dw2, db2 = backward(y, mlp)
for name, g in [('dw1', dw1), ('db1', db1), ('dw2', dw2), ('db2', db2)]:
    print(name, g.shape, np.round(g, 4).tolist())
출력
dw1 (2, 2) [[0.1617, -0.0814], [0.1617, -0.0814]]
db1 (2,) [0.1617, -0.0814]
dw2 (2, 1) [[0.1927], [0.2583]]
db2 (1,) [0.5438]

d가 붙은 변수는 손실을 그 값으로 미분한 기울기를 담는다. dz2는 ∂L/∂z2, dw1은 ∂L/∂w1이다. 파라미터의 기울기 9개가 나왔고, 각 기울기의 shape는 해당 파라미터의 shape와 같다. dw1은 w1처럼 (2, 2)이고, dw2는 w2처럼 (2, 1)이다.

코드를 위에서부터 읽으면 계산이 그래프의 오른쪽에서 왼쪽으로 진행한다. 줄마다 맞춰 보면 다음과 같다.

코드 그래프의 노드
dz2 = (mlp.a2 - y_true) / N loss와 출력층 σ를 한 줄로
db2 = dz2.sum(axis=0) + b2
dw2 = mlp.a1.T @ dz2 @ w2의 w2 쪽
da1 = dz2 @ mlp.w2.T @ w2의 a1 쪽 (은닉층으로 넘어가는 기울기)
dz1 = da1 * mlp.a1 * (1 - mlp.a1) 은닉층 σ
db1 = dz1.sum(axis=0) + b1
dw1 = mlp.x.T @ dz1 x @ w1
  • dz2 줄은 두 노드를 합친 결과다. 로그 손실의 미분 −y/a2 + (1 − y)/(1 − a2)에 시그모이드의 미분 a2(1 − a2)를 곱하면 항이 상쇄되어 a2 − y만 남는다. 로지스틱 회귀에서 기울기가 p − y가 된 것과 같은 상쇄다.
  • N, / N, sum(axis=0) 은 여러 샘플을 한 번에 넣을 때를 위한 것이다. N은 x의 행 수다. 이 예제는 행이 하나라서 값을 바꾸지 않는다. 행이 여러 개일 때의 역할은 4편에서 본다.

backward()에 넘기는 값의 shape는 다음과 같아야 한다.

값 shape 이유
mlp.x (forward()에 넣은 x) (1, 2) mlp.x.T로 (2, 1)을 만들어 dz1과 곱한다. 1차원 배열은 .T를 해도 모양이 그대로다
y_true (1, 1) a2와 모양이 같아야 a2 - y_true에서 같은 자리의 원소끼리 뺄 수 있다

backward()가 읽는 저장값은 mlp.x, mlp.a1, mlp.a2 세 개다. mlp.w2는 파라미터다. forward()가 함께 저장한 z1, z2는 읽지 않는다. 시그모이드의 미분은 σ’(z) = σ(z)(1 − σ(z))라서 입력 z 대신 출력 a로 a * (1 - a)를 계산하면 되기 때문이다.

backward()는 기울기를 돌려주기만 하고 mlp의 파라미터는 고치지 않는다.

숫자로 역전파를 한 단계씩 따라간다

아래 위젯은 같은 예제(입력 (1, 1), 정답 0)를 연산 그래프 위에서 한 단계씩 보여 준다. 순전파 7단계 뒤에 역전파 7단계가 이어진다. 단계마다 계산식, 해당 코드 줄, 그 단계가 읽는 저장값 표시가 함께 바뀐다.

MLP 네트워크 (개념)

입력은닉층 (w1, b1)출력층 (w2, b2)x₁x₂h₁h₂ŷx = [1, 1]

연산 그래프 (구현)

x @ w1[-0.6, -0.1]z1[-0.6, -0.1]a1[0.3543, 0.4750]a1 @ w20.1756z20.1756a20.5438x @ w1+ b1σ@ w2+ b2σloss[0.1617, -0.0814][0.1617, -0.0814][0.7069, -0.3263]0.54380.54382.192

순전파에서 계산한 값 (손실 L 말고는 모두 self에 저장한다. 역전파 단계에서는 그 단계가 읽는 값을 표시)

x
—
z1
—
a1
—
z2
—
a2
—
손실 L
—

역전파로 구한 파라미터 기울기

dw1
—
db1
—
dw2
—
db2
—
순전파: 값이 에지를 따라 앞으로역전파: 기울기가 에지를 거꾸로파라미터 기울기 확정
‘다음’을 누르면 한 단계씩 진행한다. 숫자는 첨부 노트북의 출력을 소수 넷째 자리까지 반올림한 값이다.

역전파 단계를 끝까지 넘기면 세 가지가 보인다.

dz2가 양수다. dz2(∂L/∂z2)가 양수라서 z2를 줄이면 손실이 줄어든다. z2가 작아지면 a2도 작아진다. 정답이 0인데 예측 확률이 0.5438이니, 이를 낮추라는 신호다. 나머지 기울기는 모두 이 0.5438에서 출발한다.

은닉 뉴런 h₁과 h₂의 기울기 부호가 반대다. dz1, db1, dw1에서 h₁ 쪽 값은 양수, h₂ 쪽 값은 음수다(dw1은 열 하나가 뉴런 하나다). 출력으로 가는 가중치 w2 = [1.3, −0.6]의 부호가 다르기 때문이다. da1 = dz2 · w2ᵀ에서 부호가 갈린다. dw1의 두 행이 같은 것은 입력 x = (1, 1)의 두 값이 같아서다.

이 예제에서는 dw2의 크기가 dw1보다 크다. 은닉 뉴런 하나에 대해 그 뉴런으로 들어오는 가중치(w1)와 나가는 가중치(w2)의 기울기를 원소 하나씩 비교하면 이유가 보인다.

식
dw2 = a1 × dz2
dw1 = x × dz2 × w2 × σ'(z1)

|dw1 / dw2| = |x × w2| × σ'(z1) / a1

크기로 보면 h₁ 쪽은 약 0.84배, h₂ 쪽은 약 0.31배다. 은닉층 σ의 국소 미분 σ’(z1)은 최대 0.25라서 기울기를 줄인다. 하지만 비율에는 σ’만이 아니라 w2, 입력 x, 분모의 a1도 함께 들어간다. h₁ 쪽은 w2가 1.3으로 커서 σ’이 줄인 크기를 상당 부분 메운다.

정리

  • 이 글의 연산 그래프는 순전파의 연산 하나하나를 노드로 나타낸 것이다. 2 → 2 → 1 MLP는 층마다 노드 3개와 손실 노드 1개, 모두 7개다.
  • 기울기는 지금 값에서 파라미터를 조금 바꿀 때 손실이 어느 쪽으로, 얼마나 변하는지를 나타낸다. 이미 생긴 손실에 대한 기여도가 아니다.
  • 체인 룰은 무엇을 곱하면 기울기가 되는지 알려 주는 규칙이고, 역전파는 그 곱을 손실 쪽부터 그래프를 거꾸로 따라가며 계산하는 방법이다. 공통 항을 한 번만 계산해 다시 쓰므로 한 번 거꾸로 지나가면 기울기가 모두 나온다.
  • backward()는 순전파 때 저장한 x, a1, a2를 읽는다. 시그모이드의 미분은 출력으로 계산할 수 있으므로 z1, z2는 필요 없다.
  • 기울기의 shape는 파라미터의 shape와 같다.

backward()는 기울기만 돌려주고 파라미터는 그대로 둔다. 이 기울기로 파라미터를 고치는 방법(업데이트)과, 그 일을 역전파가 끝난 뒤에 해야 하는 이유는 4편에서 다룬다.