애플 Video 해석 LLM 테스트 중

애플 연구진은 기존보다 더 효율적으로 롱폼  비디오를 분석할 수 있는 대형 언어모델(LLM)인 SlowFast-LLaVA-1.5를 개발했다고 발표했다.

애플은 'SlowFast' 구조(고해상도 소수 프레임+저해상도 다수 프레임)를 사용해  이미지와 영상 public 데이터셋을 모두 활용해 학습, 이미지만큼 영상 내 시간적 구조 이해도 가능하도록 했다. SF-LLaVA-1.5는 1B, 3B, 7B 파라미터 규모로 공개됐으며, LongVideoBench와 MLVU 같은 벤치마크에서 기존 더 큰 모델 대비 뛰어난 성능을 보였다. 특히 지식, 수학 추론, OCR 등 이미지 작업에서도 강점을 보였다. 

하지만 이 모델은 한 번에 최대 128프레임(빠름: 96, 느림: 32)만 입력받는다. 이 방식은 일부 중요한 프레임을 놓칠 수 있다는 한계가 있으며, 전체 매개변수와 비주얼 인코더까지 튜닝하려면 GPU 자원 소모가 크다. 연구진은 향후 메모리 절약, 성능 개선 기술의 적용 가능성을 언급했다.