AlexNet: 딥러닝 혁명의 시작

대회 결과가 패러다임을 바꾸다

2012년 ImageNet Large Scale Visual Recognition Challenge(ILSVRC). 매년 열리는 이 이미지 인식 대회에서 한 팀이 기존 최고 오류율 26%를 단숨에 15.3%로 낮추며 압도적 1위를 차지합니다. 그 팀의 모델 이름은 AlexNet, 제프리 힌튼(Geoffrey Hinton) 교수의 연구실에서 알렉스 크리제프스키(Alex Krizhevsky)가 만든 합성곱 신경망입니다.

약 11%포인트의 격차는 단순한 수치 이상이었습니다. 이전 모델들은 SVM, 수작업 피처 엔지니어링, 얕은 신경망을 쓰고 있었고, 딥러닝은 늘 "실용성이 없다"는 평가를 받아왔습니다. AlexNet은 그 편견을 한 번에 무너뜨렸습니다.

AlexNet의 핵심 기술

AlexNet은 여러 면에서 이전 모델과 달랐습니다.

GPU 활용: NVIDIA GTX 580 두 장을 병렬 연결해 학습 속도를 극적으로 높였습니다. 이것이 이후 AI = GPU 연산이라는 공식의 출발점입니다.

ReLU 활성화 함수: 기존의 sigmoid, tanh 대신 ReLU(Rectified Linear Unit)를 사용해 기울기 소실 문제를 완화했습니다.

드롭아웃(Dropout): 과적합을 줄이기 위해 학습 중 일부 뉴런을 무작위로 비활성화하는 정규화 기법을 적용했습니다.

데이터 증강: 이미지를 무작위 크롭·반전해 학습 데이터를 늘렸습니다.

왜 2012년이었나

힌튼은 이미 1980년대부터 역전파 알고리즘과 딥러닝 이론을 연구해 왔지만, 두 가지가 맞물려야 했습니다.

1. 데이터: ImageNet의 120만 장 레이블링 이미지가 2009년부터 공개됐습니다.
2. 컴퓨팅: 소비자용 GPU의 병렬 연산 성능이 폭발적으로 성장했습니다.

기술과 데이터와 컴퓨팅, 세 요소가 처음으로 교차한 해가 2012년이었습니다.

이후의 물결

AlexNet 이후 딥러닝은 학계와 산업계를 빠르게 잠식했습니다.

• 2014년: GAN(Generative Adversarial Network) 등장
• 2017년: 구글 브레인의 트랜스포머 논문 "Attention is All You Need" 발표
• 2018년: BERT, GPT-1 등 대형 언어 모델의 시작

힌튼은 2018년 튜링상을 수상하며 딥러닝의 아버지로 공식 인정받았습니다. 그리고 그가 2012년에 선물한 AlexNet 한 장의 논문은, 지금 우리가 사용하는 모든 AI 서비스의 기술적 뿌리입니다.