서울대, 역전파에 필적하는 AI 훈련 방법 공개

(퍼플렉시티가 정리한 기사)

서울과학기술대학교 연구진은 오늘 수십 년간 딥러닝을 이끌어온 지배적인 역전파 방법에 대한 보다 효율적인 대안을 제공하여 인공지능 모델 훈련 방식을 변화시킨 획기적인 알고리즘을 발표했다.​

전기정보공학과 박사과정 이길하 연구원과 김현 부교수가 이끄는 연구팀이 개발한 시각 순방향-순방향 네트워크(VFF-Net)는 기존 훈련 방법의 중요한 한계를 해결하는 동시에 더 빠르고 지속 가능한 AI 개발을 약속한다.

역전파의 한계 극복하기

전통적인 심층 신경망 훈련은 역전파에 크게 의존하는데, 이는 계층을 통해 오류를 역방향으로 전파하여 네트워크 가중치를 반복적으로 조정하는 방법입니다. 성공적이기는 하지만, 이 접근 방식은 느린 수렴, 과적합 경향, 높은 계산 요구량, 그리고 해석하기 어렵게 만드는 "블랙박스" 특성으로 인해 어려움을 겪고 있습니다.​

"합성곱 신경망 훈련에 순전파-순전파 네트워크를 직접 적용하면 입력 이미지의 정보 손실이 발생하여 정확도가 감소할 수 있습니다"라고 Lee는 설명했습니다. "또한, 수많은 합성곱 계층을 가진 범용 CNN의 경우, 각 계층을 개별적으로 훈련하면 성능 문제가 발생할 수 있습니다. 우리의 VFF-Net은 이러한 문제들을 효과적으로 해결합니다."​

연구팀의 솔루션은 세 가지 혁신적인 방법론을 도입합니다: 레이블별 노이즈 라벨링(LWNL), 코사인 유사도 기반 대조 손실(CSCL), 그리고 계층 그룹화(LG). 이러한 기술들은 계층별 훈련의 효율성 이점을 유지하면서 이미지 분류에 중요한 공간 정보를 보존하기 위해 함께 작동합니다.

성능 및 지속가능성 이점

VFF-Net은 벤치마크 테스트에서 기존의 순방향-순방향 네트워크에 비해 상당한 개선을 보여주었습니다. 4개의 합성곱 계층을 가진 CNN 모델의 경우, 이 알고리즘은 CIFAR-10 데이터셋에서 테스트 오류를 8.31%, CIFAR-100에서 3.80% 감소시켰습니다. 또한 VFF-Net은 MNIST 손글씨 숫자 데이터셋에서 단 1.70%의 테스트 오류를 달성했습니다.​

"역전파에서 벗어남으로써 VFF-Net은 광범위한 컴퓨팅 리소스가 필요하지 않은 더 가볍고 뇌와 유사한 학습 방법으로 가는 길을 열어줍니다"라고 Kim 박사는 말했습니다. "이는 강력한 AI 모델이 개인 기기, 의료 기기, 가전제품에서 직접 실행될 수 있음을 의미하며, 에너지 집약적인 데이터 센터에 대한 의존도를 줄이고 AI를 더욱 지속 가능하게 만듭니다."​

2025년 10월 1일 Neural Networks 저널 190권에 게재된 이 연구는 엣지 디바이스에서 강력한 AI 모델의 광범위한 배포를 가능하게 할 수 있는 생물학적으로 더 그럴듯한 AI 학습 방법을 향한 중요한 진전을 나타냅니다.