AI가 대화만 보고 "친구 vs 연인" 구별할 수 있을까?

LM들에게 대화 내용만 보여주고 두 사람의 관계를 추론하게 실험한 결과인데  좀 재밌게 나왔습니다.

영어 대화: 75-80% 정확도 (꽤 괜찮은데!) 

한국어 대화: 약 60%로 뚝 떨어짐

AI가 사회적 단서를 놓치는 경우가 많았대요. 

특히 "이건 분명 아닌데?" 싶은 관계를 "가능함"으로 판단하는 경우도

...그럼 카톡으로 썸 타는지 판별 가능할까요?    

이론적으론 가능할 수도 있겠지만... 

60-80% 정확도면 10번 중 2-4번은 틀린다는 거잖아요? 

게다가 한국어 특유의 미묘한 뉘앙스나 "ㅋㅋ" vs "ㅎㅎ" 같은 디테일까지 잡아내려면 

아직은 좀 더 발전이 필요하네요.

친근함의 표현인지. 단순웃는건지. 한국어의 압축된 단어를 풀기에는 아직 멀어보입니다.

핵심 포인트: AI가 인간 관계의 미묘함을 진정으로 이해하기엔 아직 갈 길이 멀다는 걸 보여주는 연구. 

특히 한국어 같은 고맥락 언어에서는 더더욱...

https://paperium.net/article/en/635/are-they-lovers-or-friends-evaluating-llms-social-reasoning-in-english-andkorean-dialogues