MIT, AI가 CAD를 작동시켜 스케치를 3D 모델로 변환하는 연구 발표

(퍼플렉시티가 정리한 기사)

MIT 엔지니어들은 인간 사용자처럼 컴퓨터 지원 설계 소프트웨어를 작동시키는 AI 시스템을 개발했으며, 이 시스템은 프로그램 내에서 버튼을 클릭하고 메뉴를 탐색하여 2D 스케치를 3D 모델로 자동 변환합니다. 연구팀은 올해 12월 샌디에이고에서 열리는 신경 정보 처리 시스템 학회에서 그들의 연구를 발표할 예정입니다.​

이 시스템은 CAD 모델을 구축하는 데 관련된 모든 마우스 클릭, 드래그, 키 입력을 기록한 41,000개 이상의 비디오를 포함하는 데이터셋인 VideoCAD에 의존합니다. "선 스케치" 또는 "돌출"과 같은 상위 수준의 명령만 캡처한 이전 데이터셋과 달리, VideoCAD는 정확한 픽셀 위치와 UI 작업을 기록하여 AI가 소프트웨어 인터페이스와 정확히 어떻게 상호작용하는지 학습시킵니다.​

CAD의 학습 곡선 해결하기

컴퓨터 지원 설계 소프트웨어는 수천 개의 명령어를 탐색하고 숙련도를 개발하는 데 상당한 시간을 투자해야 하므로 숙달하기가 매우 어려운 것으로 악명 높습니다. MIT 팀은 대학원생 Ghadi Nehme와 부교수 Faez Ahmed가 이끌며, 이러한 진입 장벽을 낮추는 것을 목표로 하고 있습니다.​

Nehme는 성명에서 "AI가 엔지니어의 생산성을 높이고 더 많은 사람들이 CAD에 접근할 수 있도록 만들 기회가 있습니다"라고 말했습니다. Ahmed는 이 기술이 "설계에 대한 진입 장벽을 낮춰 수년간의 CAD 교육을 받지 않은 사람들도 3D 모델을 더 쉽게 만들고 창의성을 발휘할 수 있도록 돕기 때문에 중요합니다"라고 덧붙였습니다.​

연구원들은 이 시스템이 사용자에게 다음 단계를 제안하거나 그렇지 않으면 지루한 수동 클릭이 필요한 반복적인 작업을 자동화할 수 있는 "CAD 부조종사"로 진화할 것으로 예상하고 있습니다. AI는 단순한 브래킷부터 더 복잡한 주택 배치도에 이르기까지 다양한 객체를 성공적으로 처리했으며, 팀은 현재 점점 더 복잡한 설계를 학습시키고 있습니다.​

산업 대응

이 연구에 참여하지 않은 Autodesk Research의 수석 연구 과학자 Mehdi Ataei는 VideoCAD를 "새로운 사용자의 온보딩을 돕고 익숙한 패턴을 따르는 반복적인 모델링 작업을 자동화하는 AI 어시스턴트를 향한 가치 있는 첫걸음"이라고 평가했습니다. 그는 미래의 시스템이 여러 CAD 플랫폼에 걸쳐 작동하고 조립 및 제약 조건과 같은 보다 정교한 작업을 처리할 수 있을 것이라고 언급했습니다.​

이 연구는 스프레드시트에서 데이터를 정리하는 것과 같은 작업을 위해 소프트웨어 프로그램을 사용하도록 훈련된 AI 기반 사용자 인터페이스 에이전트의 최근 발전을 확장합니다. 그러나 CAD는 AI가 특정 도구를 선택하고, 영역을 정의하고, 확대/축소하고, 각도를 조정하고, 형상 작업을 실행해야 하는 훨씬 더 복잡한 과제를 제시합니다.​

대학원생 Brandon Man과 박사후연구원 Ferdous Alam도 이 연구에 기여했습니다.