UCSD 엔지니어들이 AI 모델 맞춤화 비용을 300배 절감

(퍼플렉시티가 정리한 기사)

캘리포니아 대학교 샌디에이고의 엔지니어들은 조직이 훨씬 적은 데이터와 컴퓨팅 파워를 사용하여 대규모 인공지능 모델을 맞춤화할 수 있는 획기적인 방법을 개발했으며, 이는 소규模 연구소와 스타트업이 고급 AI 역량에 접근할 수 있도록 민주화할 잠재력을 가지고 있습니다.​

BiDoRA(Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation)라고 불리는 이 새로운 기술은 기존 방법과 비교하여 성능을 유지하거나 심지어 향상시키면서 미세 조정에 필요한 매개변수 수를 300배 이상 줄입니다. 월요일 Transactions on Machine Learning Research에 게재된 이 연구는 AI 훈련 비용이 2020년 이후 4,300퍼센트 이상 급증한 시점에 나왔습니다.

특화된 AI 애플리케이션의 주요 비용 절감

UCSD 팀은 전기 및 컴퓨터 공학과의 Pengtao Xie 교수가 이끌었으며, 단백질 언어 모델—단백질 특성과 행동을 예측하는 특수 AI 시스템—을 사용하여 그들의 방법의 효과를 입증했습니다. 펩타이드가 혈액-뇌 장벽을 통과할 수 있는지 예측하는 데 있어 BiDoRA는 기존 방법보다 326배 적은 매개변수를 사용하면서도 더 높은 정확도를 달성했습니다. 단백질 열안정성 예측의 경우, 408배 적은 매개변수로 전체 미세 조정 성능과 동일한 결과를 보였습니다.​

"우리의 방법을 사용하면 막대한 예산, 슈퍼컴퓨터급 리소스 또는 대규모 데이터셋이 없는 소규모 연구실과 스타트업조차도 자신들의 필요에 맞게 대규모 AI 모델을 적응시킬 수 있습니다"라고 Xie는 말했습니다. "이 연구는 AI 민주화를 향한 한 걸음을 나타냅니다."​

전통적인 미세 조정 방법은 수십억 개의 매개변수를 포함할 수 있는 대규모 언어 모델의 모든 매개변수를 조정합니다. 이 접근법은 비용이 많이 들고 과적합에 취약한데, 과적합은 모델이 새로운 예시에 일반화하는 것을 학습하기보다 패턴을 암기하는 현상입니다. 증가하는 비용은 소규모 조직에 장벽을 만들어 왔으며, 최첨단 모델 훈련 비용은 현재 GPT-4의 경우 7,800만 달러, Google의 Gemini Ultra의 경우 추정 1억 9,100만 달러에 달합니다.

혁신적인 이중 레벨 최적화 접근법

BiDoRA는 미세 조정 과정을 크기와 방향 업데이트라는 두 가지 구성 요소로 분리하기 위해 이중 레벨 최적화를 사용하는 다른 접근 방식을 취합니다. 이 방법은 가장 중요한 매개변수만 업데이트하고 나머지는 동결된 상태로 유지하여 계산 요구 사항을 크게 줄입니다. 이러한 분리는 과적합을 방지하는 동시에 새로운 작업에 대한 모델의 일반화 능력을 유지하는 데 도움이 됩니다.​

이 연구는 미국 국립과학재단과 국립보건원의 지원을 받았으며, 이는 컴퓨터 과학과 생물의학 연구 모두에서 이 방법의 잠재적 응용 가능성을 반영합니다. 이 시기는 UCSD가 새로운 인공지능 학부 전공을 시작하는 시점과 일치하여, 대학을 AI 교육 및 연구의 최전선에 위치시키고 있습니다.​

이 개발은 AI 비용이 기하급수적으로 계속 증가함에 따라 중요한 과제를 해결합니다. 업계 데이터에 따르면 최첨단 모델의 훈련 비용은 2020년 이후 연간 약 3배씩 증가했으며, 일부 예측에서는 2027년까지 10억 달러 규모의 훈련 실행이 정상화될 수 있다고 제시합니다. 한국 스타트업 Trillion Labs가 최근 AI 평가 비용을 100배 이상 절감하는 방법을 발표한 것을 포함하여, 유사한 효율성 노력이 전 세계적으로 등장하고 있습니다.