디퓨전 LLM 기반으로 나온 머큐리(Mercury) 데모페이지 공개

디퓨전 LLM 기반으로 나온 머큐리(Mercury),

챗 형태로 직접 써볼 수 있게 만든 데모 페이지가 있어서 공유드립니다.

아직 결과 품질은 좀 더 봐야겠지만, 생성 속도는 꽤 인상적이네요.

--

요즘 논문 트래픽 보니까 Diffusion LLM(DLLM) 얘기가 슬슬 많이 보이더라고요.

처음엔 “이거 이미지 만드는 diffusion이랑 뭔 상관이람?” 싶었는데,

알고 보니 텍스트도 디퓨전 방식으로 생성해보자는 시도더라고요.

우리가 익숙한 GPT류 LLM은 확률적으로 다음 단어를 하나씩 이어 붙이는 오토리그레시브(autoregressive) 방식인데,

DLLM은 디퓨전 모델처럼 ‘의미가 없는 노이즈 상태에서 점점 문장 형태를 복원’해나가는 방식이에요.

즉, 한 글자 한 글자 뱉는 게 아니라, 처음부터 전체 문장의 뼈대를 잡고 점진적으로 다듬어 나가는 구조죠.

이게 왜 재밌냐면,

하나하나 생성하는 기존 LLM보다 전체 문맥을 더 유연하게 반영할 수 있고

구조적으로 다양성(diversity)이나 제어 가능성(control) 면에서도 이점이 있을 수 있어서예요.

물론 지금은 GPT류가 압도적으로 강자지만,

DLLM은 “완전히 다른 길”에서 LLM을 재설계하는 실험이라 진짜 흥미롭습니다.

개인적으로는 텍스트 생성의 ‘GAN vs. Diffusion’ 전쟁이 이제 시작되는 느낌이랄까요.