2025년, AI가 스마트홈을 망친 이유

• 생성형 AI 음성 비서가 기존 음성 비서를 대체했으나, 조명 켜기나 가전제품 작동 같은 기본 명령 수행에서 일관성이 크게 떨어짐

• 아마존 알렉사 플러스와 구글 제미나이 포 홈 모두 '얼리 액세스' 단계로, 사용자들은 사실상 베타 테스터 역할을 하고 있음

• LLM은 무작위성(확률적 특성)이 내재되어 있어, 예측 가능하고 반복적인 작업에 최적화된 기존 시스템과 근본적으로 호환되지 않음

• 전문가들은 AI가 더 신뢰할 수 있게 되려면 수년이 걸릴 수 있으며, 그 사이 스마트홈 경험은 저하될 수 있다고 경고

오늘 아침, 필자는 알렉사 연동 보쉬 커피머신에 커피를 내려달라고 요청했다. 그런데 루틴을 실행하는 대신, 그건 할 수 없다는 대답이 돌아왔다. 아마존의 생성형 AI 기반 음성 비서인 알렉사 플러스로 업그레이드한 이후, 커피 루틴이 제대로 작동한 적이 거의 없다. 매번 다른 핑계를 댄다.

2025년인 지금도 AI는 스마트홈을 안정적으로 제어하지 못한다. 과연 언젠가 가능해질지 의문이 들기 시작한다.

생성형 AI와 대규모 언어 모델(LLM)이 스마트홈의 복잡성을 해소하고, 연결된 기기의 설정, 사용, 관리를 더 쉽게 만들어줄 가능성은 분명 매력적이다. 능동적이고 상황 인식이 가능한 '새로운 지능 레이어'를 구현할 수 있다는 약속도 그렇다.

하지만 올해는 그런 미래가 아직 한참 멀었음을 보여주었다. 제한적이지만 안정적이던 기존 음성 비서들이 '더 똑똑한' 버전으로 교체됐지만, 대화는 더 자연스러워졌을지언정 가전제품 작동이나 조명 켜기 같은 기본 작업은 제대로 수행하지 못한다. 왜 그런지 알고 싶었다.

2023년 데이브 림프와의 인터뷰에서 필자는 처음으로 생성형 AI와 LLM이 스마트홈 경험을 개선할 가능성에 흥미를 느꼈다. 당시 아마존 디바이스 & 서비스 부문 총괄이던 림프는 곧 출시될 새 알렉사의 기능을 설명하고 있었다(스포일러: 출시는 그렇게 빠르지 않았다).

어떤 방식으로 말하든 사용자의 의도를 이해하는 더 자연스러운 대화형 비서와 함께, 특히 인상적이었던 것은 새 알렉사가 스마트홈 내 기기들에 대한 지식과 수백 개의 API를 결합해 맥락을 파악하고, 스마트홈을 더 쉽게 사용할 수 있게 해준다는 약속이었다.

기기 설정부터 제어, 모든 기능 활용, 다른 기기와의 연동 관리까지, 더 똑똑한 스마트홈 비서는 매니아들의 기기 관리를 쉽게 할 뿐 아니라 누구나 스마트홈의 혜택을 누릴 수 있게 해줄 잠재력이 있어 보였다.

3년이 지난 지금, 가장 유용한 스마트홈 AI 업그레이드라고 할 만한 것은 보안 카메라 알림에 대한 AI 기반 설명 기능 정도다. 편리하긴 하지만, 기대했던 혁명적 변화와는 거리가 멀다.

새로운 스마트홈 비서들이 완전히 실패한 것은 아니다. 알렉사 플러스에는 마음에 드는 점이 많고, 올해의 스마트홈 소프트웨어로 선정하기도 했다. 더 대화적이고, 자연어를 이해하며, 기존 알렉사보다 훨씬 다양한 질문에 답할 수 있다.

기본 명령에서 때때로 어려움을 겪지만, 복잡한 명령은 이해한다. "여기 조명 좀 어둡게 하고 온도도 올려줘"라고 하면 조명을 조절하고 온도조절기를 올린다. 일정 관리, 요리 도우미 등 가정 중심 기능도 더 나아졌다. 음성으로 루틴을 설정하는 것은 알렉사 앱과 씨름하는 것보다 훨씬 개선됐다. 다만 실행의 안정성은 떨어진다.

구글도 스마트 스피커용 제미나이 포 홈 업그레이드로 비슷한 기능을 약속했지만, 출시 속도가 너무 느려서 정해진 데모 외에는 직접 써보지 못했다. 네스트 카메라 영상을 AI 생성 텍스트로 요약해주는 제미나이 포 홈 기능을 테스트해봤는데, 정확도가 심각하게 떨어졌다. 애플 시리는 여전히 지난 10년의 음성 비서 수준에 머물러 있으며, 당분간 그 상태가 지속될 것으로 보인다.

문제는 새 비서들이 스마트홈 기기 제어에서 기존 비서만큼 일관성이 없다는 것이다. 기존 알렉사와 구글 어시스턴트(그리고 현재의 시리)는 사용하기 답답할 때도 있었지만, 정확한 명령어만 사용하면 대체로 조명은 항상 켜졌다.

오늘날 '업그레이드된' 비서들은 조명 켜기, 타이머 설정, 날씨 확인, 음악 재생, 그리고 많은 사용자들이 스마트홈의 기반으로 삼아온 루틴과 자동화 실행에서 일관성 문제를 겪고 있다.

필자의 테스트에서도 이런 현상을 확인했고, 온라인 포럼에도 같은 경험을 한 사용자들의 글이 넘쳐난다. 아마존과 구글도 생성형 AI 기반 비서가 기본 작업을 안정적으로 수행하는 데 어려움을 겪고 있음을 인정했다. 스마트홈 비서만의 문제도 아니다. ChatGPT도 시간을 알려주거나 숫자를 세는 것조차 일관성 있게 하지 못한다.

왜 이런 일이 일어나고, 나아질 것인가? 문제를 이해하기 위해 에이전틱 AI와 스마트홈 시스템 경험이 있는 인간 중심 AI 분야 교수 두 명과 대화했다. 핵심은 새 음성 비서가 기존 비서와 거의 같은 일을 하게 만드는 것은 가능하지만 많은 작업이 필요하며, 대부분의 기업은 그런 작업에 관심이 없다는 것이다.

전문가들에 따르면, 이 분야의 자원은 한정되어 있고 조명을 안정적으로 켜는 것보다 훨씬 더 흥미롭고 수익성 있는 기회가 많기 때문에, 기업들은 그쪽으로 움직이고 있다. 이런 상황에서 기술을 개선하는 가장 쉬운 방법은 실제 환경에 배포하고 시간이 지나면서 개선되도록 하는 것이다. 알렉사 플러스와 제미나이 포 홈이 '얼리 액세스' 단계인 이유가 바로 이것이다. 기본적으로 우리 모두가 AI의 베타 테스터인 셈이다.

안타깝게도 상황이 나아지려면 시간이 꽤 걸릴 수 있다. 미시간대학교 컴퓨터공학과 조교수이자 사운더빌리티 랩 소장인 드루브 자인도 연구에서 새로운 스마트홈 비서 모델이 덜 안정적임을 발견했다. "대화는 더 자연스럽고 사람들이 좋아하지만, 이전 버전만큼 성능이 좋지 않습니다"라고 그는 말한다. "테크 기업들은 항상 빠르게 출시하고 데이터를 수집해서 개선하는 모델을 써왔습니다. 몇 년 후에는 더 나은 모델을 얻겠지만, 그 몇 년간 사람들이 씨름하는 비용이 따릅니다."

근본적인 문제는 기존 기술과 새 기술이 잘 맞지 않는다는 것이다. 새 음성 비서를 만들기 위해 아마존, 구글, 애플은 기존 것을 버리고 완전히 새로운 것을 구축해야 했다. 그런데 이 새로운 LLM들이 이전 시스템이 잘하던 예측 가능하고 반복적인 작업에 적합하게 설계되지 않았다는 것을 금세 깨달았다. 조지아공대 인터랙티브 컴퓨팅 스쿨 교수 마크 리들은 "모두가 생각했던 것만큼 간단한 업그레이드가 아니었습니다. LLM은 훨씬 더 많은 것을 이해하고 더 다양한 방식의 소통에 열려 있는데, 그것이 해석의 여지와 해석 오류를 만들어냅니다"라고 설명한다.

기본적으로 LLM은 기존의 명령-제어 방식 음성 비서가 하던 일을 하도록 설계되지 않았다. 리들 교수는 "기존 음성 비서는 '템플릿 매처'라고 부릅니다. 키워드를 찾고, 그것을 보면 추가로 한두 단어가 올 것을 예상합니다"라고 설명한다. 예를 들어 "라디오 재생"이라고 하면 다음에 채널 번호가 올 것을 안다.

반면 LLM은 "많은 확률성, 즉 무작위성을 도입합니다"라고 리들은 설명한다. ChatGPT에 같은 프롬프트를 여러 번 물으면 다른 답변이 나올 수 있다. 이것이 LLM의 가치이기도 하지만, LLM 기반 음성 비서에 어제와 같은 요청을 해도 같은 방식으로 응답하지 않을 수 있는 이유이기도 하다. "이 무작위성이 기본 명령을 오해하게 만들 수 있습니다. 때때로 너무 과하게 생각하려 하기 때문입니다."

이를 해결하기 위해 아마존과 구글 같은 기업들은 LLM을 스마트홈(그리고 웹에서 하는 거의 모든 것)의 핵심인 API와 통합하는 방법을 개발했다. 하지만 이것이 새로운 문제를 만들었을 수 있다.

리들 교수는 "이제 LLM은 API에 함수 호출을 구성해야 하고, 구문을 정확하게 만들기 위해 훨씬 더 열심히 작업해야 합니다"라고 말한다. 기존 시스템이 키워드만 기다렸던 것과 달리, LLM 기반 비서는 API가 인식할 수 있는 전체 코드 시퀀스를 작성해야 한다. "이 모든 것을 메모리에 유지해야 하고, 여기서 또 실수할 수 있습니다."

이 모든 것이 필자의 커피머신이 때때로 커피를 내려주지 않는 이유, 또는 알렉사나 구글 어시스턴트가 예전에는 잘하던 일을 하지 못하는 이유를 과학적으로 설명해준다.

그렇다면 왜 이 기업들은 작동하던 기술을 버리고 작동하지 않는 것을 택했을까? 잠재력 때문이다. 특정 입력에만 반응하는 것이 아니라 자연어를 이해하고 그에 따라 행동할 수 있는 음성 비서는 무한히 더 유능하다.

리들 교수는 "알렉사와 시리 등을 만드는 모든 기업이 정말로 원하는 것은 서비스의 연결입니다. 이를 위해서는 복잡한 관계와 과제가 말로 어떻게 전달되는지 이해할 수 있는 일반적인 언어 이해가 필요합니다. 모든 것을 연결하는 if-else 문을 즉석에서 만들고 순서를 동적으로 생성할 수 있습니다"라고 설명한다. 에이전틱해질 수 있다는 것이다.

리들 교수는 기존 기술을 버리는 이유가 바로 이것이라고 말한다. 기존 기술로는 이것이 불가능했기 때문이다. 자인 교수는 "비용-편익 비율의 문제입니다. 새 기술은 기존의 비확률적 기술만큼 정확하지 않을 것입니다. 하지만 충분히 높은 정확도에 새 기술이 제공하는 확장된 가능성의 범위가 100% 정확한 비확률적 모델보다 가치가 있는지가 문제입니다"라고 말한다.

한 가지 해결책은 여러 모델을 사용해 비서를 구동하는 것이다. 구글의 제미나이 포 홈은 제미나이와 제미나이 라이브라는 두 개의 별도 시스템으로 구성된다. 구글 홈 앤 네스트 제품 책임자 아니시 카투카란은 궁극적으로 더 강력한 제미나이 라이브가 모든 것을 운영하게 하는 것이 목표지만, 현재는 더 제한된 제미나이 포 홈이 담당하고 있다고 말한다. 아마존도 마찬가지로 여러 모델을 사용해 다양한 기능의 균형을 맞춘다. 하지만 이는 불완전한 해결책이고, 스마트홈에 일관성 없음과 혼란을 초래했다.

리들 교수는 LLM이 언제 매우 정확해야 하고 언제 무작위성을 수용해야 하는지 이해하도록 훈련하는 방법을 아무도 제대로 알아내지 못했다고 말한다. '길들여진' LLM도 여전히 실수할 수 있다는 의미다. "전혀 무작위적이지 않은 기계를 원한다면, 모든 것을 억제할 수 있습니다"라고 리들은 말한다. 하지만 그 챗봇은 더 대화적이거나 아이에게 환상적인 취침 이야기를 들려주지 못할 것이다. 둘 다 알렉사와 구글이 내세우는 기능이다. "모든 것을 하나에 담으려면 정말로 트레이드오프가 필요합니다."

스마트홈 배포에서의 이런 어려움은 이 기술의 더 광범위한 문제를 예고하는 것일 수 있다. AI가 조명조차 안정적으로 켜지 못한다면, 더 복잡한 작업에 어떻게 의존할 수 있겠느냐고 리들 교수는 묻는다. "걷기도 전에 뛰려고 해선 안 됩니다."

하지만 테크 기업들은 빠르게 움직이고 뭔가를 망가뜨리는 성향으로 유명하다. "언어 모델의 역사는 항상 LLM을 길들이는 것이었습니다"라고 리들은 말한다. "시간이 지나면서 더 온순해지고, 더 신뢰할 수 있고, 더 믿을 만해집니다. 하지만 우리는 계속해서 그렇지 않은 영역의 경계로 밀어붙입니다."

리들 교수는 순수하게 에이전틱한 비서로 가는 길을 믿는다. "AGI에 도달할지는 모르겠지만, 시간이 지나면서 이것들이 최소한 더 신뢰할 수 있게 되는 것은 볼 수 있을 것입니다." 하지만 오늘날 집에서 이 불안정한 AI를 다루고 있는 우리에게 남은 질문은, 우리가 기다릴 의향이 있는지, 그리고 그 사이 스마트홈은 어떤 대가를 치르게 될 것인지다.