AI는 브레인스토밍을 돕지만 인간의 참여 없이는 부족하다

(퍼플렉시티가 정리한 기사)

월요일에 발표된 동료 검토 연구에 따르면, 생성형 AI 도구가 조직의 의사결정 목표 브레인스토밍에 도움을 줄 수 있지만 인간의 개입 없이는 불완전하고 중복된 결과를 생성하며, 이는 복잡한 분석 작업에서 AI의 한계를 강조한다.​

American University의 Jay Simon과 Management Center Innsbruck의 Johannes Ulrich Siebert 연구진은 GPT-4o, Claude 3.7, Gemini 2.5, Grok-2가 생성한 목표 세트를 이전에 발표된 6개 연구의 전문 의사결정 분석가들이 개발한 것과 비교했다. Decision Analysis 저널에 발표된 연구 결과는 AI가 개별적으로 합리적인 목표를 자주 생성했지만, 전체적으로는 완전성과 일관성이 부족했다고 밝혔다.​

"AI는 무엇이 중요할 수 있는지 나열할 수 있지만, 무엇이 진정으로 중요한지 구별하는 것은 아직 할 수 없다"고 저자들은 썼다. 각 AI 생성 세트는 완전성, 분해 가능성, 중복성을 포함한 가치 중심 사고의 9가지 기준으로 평가되었다. 이 도구들은 명시적으로 피하라는 지시에도 불구하고 "수단 목표"를 자주 포함했다.​

전문가 검증 필요

가치 중심 사고의 개척자인 랄프 키니(Ralph Keeney)는 AI가 만든 목록에 대해 "두 목록 모두 대부분의 개인이 만들 수 있는 것보다 낫지만," 근본적인 목표만을 포함하지 않는 한 어떤 것도 양질의 의사결정 분석에 사용해서는 안 된다고 언급했습니다.​

연구진은 결과 개선을 위해 고급 프롬프트 전략을 테스트했습니다. 연쇄적 사고(chain-of-thought reasoning)와 전문가의 비평-수정(critique-and-revise) 방법을 결합하자, AI의 출력이 상당히 향상되어 더욱 집중적이고 논리적으로 구조화된 목표 집합이 생성되었습니다.​

"생성형 AI는 여러 기준에서 좋은 성과를 보입니다."라고 사이먼(Simon)은 말했습니다. "하지만 여전히 일관성 있고 중복되지 않는 목표 집합을 생산하는 데 어려움을 겪고 있습니다. 인간 의사결정 분석가가 AI가 산출하는 결과를 정제하고 검증하는 데 필수적입니다".​

AI 협업에 대한 더 광범위한 시사점

이 연구는 창의적이고 분석적인 작업에서 AI의 한계에 대한 증가하는 증거와 일치합니다. Wharton의 11월 연구에 따르면 ChatGPT가 개별 아이디어의 질을 향상시켰지만, 그룹이 더 유사한 아이디어를 생성하도록 하여 혁신에 필수적인 다양성을 감소시켰습니다. Stanford Graduate School of Business의 연구자들은 또한 인간 의사결정자를 염두에 두고 설계된 알고리즘이 순수하게 예측적인 시스템보다 더 나은 성과를 보인다는 것을 입증했습니다.​

이 연구는 목표가 필수적이고, 분해 가능하며, 완전하도록 보장하기 위해 AI 브레인스토밍과 전문가 개선을 통합한 4단계 하이브리드 모델로 결론을 내립니다. "우리의 연구 결과는 GenAI가 전문가의 판단을 대체하는 것이 아니라 보강해야 한다는 것을 분명히 합니다"라고 Siebert는 말했습니다. "인간과 AI가 함께 작업할 때, 그들은 더 나은 의사결정을 위해 서로의 강점을 활용할 수 있습니다".