백프로퍼게이션 알고리즘: 신경망 학습의 핵심을 발견하다

1986년, 데이비드 루멜하트(David Rumelhart), 제프리 힌턴(Geoffrey Hinton), 로널드 윌리엄스(Ronald Williams)가 공동으로 발표한 백프로퍼게이션(Backpropagation) 알고리즘은 인공지능 역사상 가장 중요한 수학적 돌파구 중 하나였다. 이 알고리즘의 등장으로 다층 신경망의 효율적인 학습이 가능해졌으며, 오늘날 딥러닝 혁명의 수학적 기반이 마련되었다.

퍼셉트론의 한계를 넘어서다

1960년대 프랭크 로젠블랫의 퍼셉트론이 주목받았지만, 마빈 민스키와 시모어 페퍼트가 1969년 『퍼셉트론』이라는 책에서 단층 퍼셉트론의 한계를 수학적으로 증명했다. 특히 XOR 문제를 해결할 수 없다는 점이 치명적이었다. 다층 신경망이 이론적으로는 더 복잡한 문제를 해결할 수 있다고 알려져 있었지만, 중간층(은닉층)의 가중치를 어떻게 학습시킬지가 불분명했다.

오차 역전파의 원리

백프로퍼게이션 알고리즘의 핵심은 연쇄법칙(chain rule)을 활용한 기울기 계산이다. 신경망의 출력에서 발생한 오차를 거꾸로 전파하여 각 층의 가중치에 대한 기울기를 계산한다. 이를 통해 각 가중치가 전체 오차에 기여하는 정도를 정확히 파악할 수 있게 되었다. 루멜하트 팀은 이 과정을 체계화하고 컴퓨터로 구현 가능한 형태로 정리했다.

현대 딥러닝의 토대

백프로퍼게이션은 1990년대와 2000년대를 거쳐 딥러닝 시대의 핵심 기법으로 자리잡았다. 2012년 알렉스넷의 성공부터 현재의 GPT, Claude 같은 대규모 언어모델까지, 모든 신경망 학습에는 백프로퍼게이션이 활용된다. 물론 그래디언트 소실 문제, 지역 최솟값 문제 등의 한계도 발견되었지만, ReLU 활성화 함수, 배치 정규화, 잔차 연결 등의 기법으로 이를 극복해왔다.

지속되는 영향력

40년이 지난 지금도 백프로퍼게이션은 AI 연구의 핵심에 있다. 트랜스포머 아키텍처도, 확산 모델도 모두 백프로퍼게이션으로 학습된다. 이 알고리즘이 없었다면 현재의 AI 혁명은 불가능했을 것이다. 루멜하트와 힌턴, 윌리엄스의 1986년 발견은 단순한 수학 공식을 넘어 인류의 지적 능력을 확장시킨 역사적 순간이었다.