KAIST, AI 의사결정 과정을 시각화하는 기술 공개

한국과학기술원(KAIST)의 연구진은 인공지능 시스템 내부를 들여다보고 개념이 어떻게 형성되는지 시각화할 수 있는 새로운 방법을 개발했으며, 이는 전문가들이 AI가 어떻게 사고하는지를 이해하는 데 있어 중요한 진전이라고 평가하고 있습니다.​

‘세분화 개념 회로(Granular Concept Circuits)’로 불리는 이 기술은 딥러닝 모델의 내부 의사결정 과정을 설명하는 오랜 과제를 해결했습니다. 딥러닝 모델은 전통적으로 이해하기 어려운 ‘블랙박스’로 작동해 왔기 때문입니다. KAIST는 10월 호놀룰루에서 열린 국제컴퓨터비전학회(International Conference on Computer Vision)에서 연구팀이 이 결과를 발표한 데 이어, 11월 26일 이번 혁신을 공식 발표했습니다.​

뉴런에서 회로로의 전환

KAIST 김재철 AI대학원 최재식 교수 연구팀은 기존의 개별 뉴런에서 벗어나 여러 뉴런이 협력하여 개념을 인식하는 회로(신경망)를 중심으로 접근 방법을 확장하여 해당 방식을 개발했다. 기존 방법들은 "특정 뉴런이 특정 개념을 감지한다"고 가정했지만, 연구팀은 딥러닝 모델이 사실상 여러 뉴런이 협동하는 구조적 회로를 통해 개념을 형성한다는 사실을 발견했다.​

시스템은 뉴런이 특정 특징에 얼마나 강하게 반응하는지를 측정하는 '뉴런 감도'와, 다음 개념으로 특징이 얼마나 강하게 전달되는지를 보여주는 '의미 흐름'이라는 두 가지 핵심 지표를 계산하여 이러한 회로를 자동으로 추적한다. 이 측정을 바탕으로 색깔, 질감 등 기초적인 특징들이 점진적으로 더 높은 수준의 개념으로 조합되는 과정을 시각화할 수 있다.​

연구진은 이러한 발견을 검증하기 위해 특정 회로를 비활성화하는 실험을 진행했다. 특정 개념을 담당하는 회로가 꺼질 때 AI의 예측 결과가 변하는 현상이 관찰되었고, 이를 통해 해당 회로가 실제로 예상했던 인식 기능을 수행함을 직접적으로 입증했다.​

AI 투명성의 실용적 적용

Ph.D. 후보자인 권다희와 이세현이 공동 제1 저자로 참여한 이번 연구는 AI 의사 결정의 투명성 강화, 오분류 원인 분석, 편향 탐지, 모델 디버깅 및 아키텍처 개선 등 설명 가능한 AI 영역 전반에 걸친 응용 가능성을 시사한다. 연구진은 "이 기술은 AI가 내부적으로 형성하는 개념 구조를 사람이 이해할 수 있는 방식으로 보여준다"고 밝히며, 이번 연구가 "AI가 어떻게 생각하는지 연구하는 과학적 출발점 역할을 한다"고 덧붙였다.​

최 교수는 이번 접근법이 기존 방식과는 다르다고 강조했다. "복잡한 모델을 설명을 위해 단순화한 기존 접근법과 달리, 본 연구는 미세한 회로 수준에서 모델 내부를 정밀하게 해석하는 최초의 접근법이다"고 말했다.