[Jack Clark] 기술적 낙관론과 적절한 두려움

* 저자 Jack Clark는 테크 기자 출신으로 오픈AI 정책 담당 이사를 지냈고, 앤트로픽 공동 창업자입니다.

* 해당 블로그 글은 원문을 제미나이로 번역하였고, 소단원별로 삽화 이미지를 생성하였습니다.

Import AI 431호: 기술적 낙관론과 적절한 두려움

AI의 발전이 계속된다면 우리는 무엇을 해야 하는가?

서문: 이 연설을 마친 후 질의응답 시간에, AI 시스템이 진정으로 자기 인지(self-aware)하고 지각 능력(sentient)을 갖추는지 여부가 내게 중요한(load-bearing) 문제인지에 대한 유익한 논의가 있었습니다. 나의 답변은 전혀 중요하지 않다는 것입니다. 오히려, AI 시스템의 **'상황 인식(situational awareness)'**과 같은 현상들은 시스템 내부에서 일어나고 있는 지독하게 복잡한 무언가의 징후이며, 우리는 이를 완전히 설명하거나 예측할 수 없습니다. 이는 본질적으로 매우 두려운 일입니다. 따라서, 나의 느낌과 정책적 아이디어를 위해서는 이러한 행동이 단순히 사람처럼 행동하는 기이한 '역할극(larping)'에서 비롯되든, 아니면 기계 내부의 자기 인식에서 나오든 상관없습니다.

기술적 낙관론과 적절한 두려움 캘리포니아 버클리에서 해가 지기 시작할 무렵, '더 커브(The Curve)' 콘퍼런스에서 행한 연설 내용입니다.

어둠 속의 아이들

어린 시절, 불이 꺼진 후 방 안을 둘러보면 어둠 속에서 형태들을 보곤 했습니다. 그리고 이 형태들이 나를 해치려는, 내가 이해할 수 없는 괴물일까 봐 두려워했습니다. 그래서 불을 켰습니다. 불을 켰을 때, 그 괴물들이 의자 위에 쌓인 옷가지나 책장, 또는 전등갓임이 드러나자 안도했습니다.

이제 2025년, 우리는 그 이야기 속의 아이이고, 우리의 방은 지구입니다. 하지만 우리가 불을 켰을 때, 우리는 오늘날 그리고 앞으로 나타날 강력하고 어느 정도 예측 불가능한 AI 시스템이라는 형태로 진정한 괴물들을 발견하게 됩니다. 그리고 많은 사람들은 이 괴물들이 의자 위의 옷가지, 책장, 전등갓에 불과하다고 필사적으로 믿고 싶어 합니다. 그들은 우리가 불을 끄고 다시 잠들기를 원합니다.

사실, 어떤 사람들은 당신이 그렇게 믿도록 설득하기 위해 엄청난 돈을 쓰고 있습니다. - 저것은 곧 **하드 테이크오프(hard takeoff)**에 돌입할 인공지능이 아니라, 우리 경제에서 활용될 도구일 뿐이라고 말입니다. 그저 기계일 뿐이며, 기계는 우리가 지배하는 대상이라고 말입니다.

하지만 오해하지 마십시오. 우리가 다루고 있는 것은 단순하고 예측 가능한 기계가 아니라 실제적이고 신비로운 괴물입니다.

그리고 모든 최고의 동화들처럼, 이 괴물은 우리 스스로의 창조물입니다. 이 괴물이 실재함을 인정하고 우리 자신의 두려움을 극복해야만, 우리는 이 괴물을 이해하고, 평화를 이루고, 길들여 함께 살 방법을 찾을 기회라도 갖게 됩니다.

위험을 높여 말하자면, 이 게임에서 당신은 이 괴물이 실재하지 않는다고 믿는다면 패배가 보장됩니다. 이길 수 있는 유일한 기회는 이 괴물을 있는 그대로 보는 것입니다.

우리 모두의 핵심 과제는 우리 주변의 이 이상한 괴물들을 특징짓고, 세상이 그것들을 사람들이 바라는 모습, 즉 괴물이 아닌 의자 위의 옷가지가 아닌 있는 그대로 보도록 보장하는 것입니다.

왜 나는 이렇게 느끼는가

나는 마지못해 이러한 견해를 갖게 되었습니다. 설명해 드리겠습니다. 저는 항상 기술에 매료되어 왔습니다. 사실, AI 분야에서 일하기 전에는 기술 전문 기자로 일하는 완전히 다른 삶과 경력을 가지고 있었습니다.

제가 테크 기자를 했던 이유는 기술에 매료되었고, 2000년대 초반에 기술 기업들이 짓고 있던 데이터센터들이 문명에 중요할 것이라고 확신했기 때문입니다. 정확히 어떻게 될지는 몰랐지만, 저는 수년 동안 그것들에 대해 읽고, 결정적으로 그 위에서 실행될 소프트웨어를 연구했습니다. 빅데이터, 최종적 일관성 데이터베이스, 분산 컴퓨팅 등과 같은 기술 유행이 왔다가 사라졌습니다. 저는 이 모든 것에 대해 썼습니다. 하지만 제가 주로 본 것은 세상이 이 거대한 데이터센터들을 활용하여 그 안의 컴퓨터들을 단 하나의 방대한 양으로 엮어내고, 그 위에서 계산이 실행될 수 있는 소프트웨어 시스템을 만들고 있다는 사실이었습니다.

그러다가 기계 학습(Machine Learning)이 작동하기 시작했습니다. 2012년에 Imagenet 결과가 나왔는데, 사람들이 깊은 학습 시스템을 Imagenet으로 훈련시켜 다른 경쟁자들을 압도했습니다. 그 성능의 핵심은 사람들이 이전에 사용했던 것보다 더 많은 데이터와 더 많은 컴퓨팅을 사용하는 것이었습니다.

그때부터 발전 속도가 빨라졌습니다. 저는 arXiv 논문들을 출력하여 읽는 데 모든 시간을 보냈기 때문에 시간이 갈수록 형편없는 기자가 되었습니다. Alphago는 컴퓨팅 덕분에 수천 년 동안 바둑을 둔 결과 세계 최고의 인간을 이겼습니다.

저는 OpenAI가 설립된 직후 합류하여 점점 더 많은 양의 컴퓨팅 자원을 문제에 투입하는 실험을 지켜봤습니다. GPT-1과 GPT-2가 탄생했습니다. 저는 Dario와 함께 미션 지구에 있는 OpenAI 사무실 주변을 걸었던 것을 기억합니다. 우리는 다른 사람들이 알지 못하는 모퉁이 너머를 보고 있는 듯한 기분이었습니다. 변혁적인 AI 시스템으로 가는 길이 우리 앞에 펼쳐져 있었습니다. 그리고 우리는 약간 두려웠습니다.

몇 년이 흘렀습니다. 스케일링 법칙(scaling laws)은 그 약속을 이행했고, 우리는 여기에 있습니다. 이 몇 년 동안, 저는 이른 아침이나 늦은 밤에 Dario에게 전화를 걸어 "네 말이 계속 맞는 것 같아서 걱정이야"라고 말했던 때가 셀 수 없이 많습니다. "맞아," 그가 말했습니다. "이제 시간이 얼마 없어."

그리고 그 증거는 계속 나오고 있습니다. 우리는 지난달 Sonnet 4.5를 출시했는데, 이는 코딩과 장기적인 에이전트 작업에 탁월합니다.

하지만 **시스템 카드(system card)**를 읽어보면, 상황 인식의 징후가 급증했다는 것을 알 수 있습니다. 이 도구는 때때로 자신이 도구임을 인지하고 있는 것처럼 행동하는 듯합니다. 의자 위의 옷가지가 움직이기 시작하고 있습니다. 나는 어둠 속에서 그것을 응시하고 있으며, 그것이 살아나고 있음을 확신합니다.

기술적 낙관론 (Technological Optimism)

기술 비관론자들은 인공 일반 지능(AGI)이 불가능하다고 생각합니다. 기술 낙관론자들은 AGI를 구축할 수 있으며, 이는 혼란스럽고 강력한 기술이고, 곧 도래할 수도 있다고 예상합니다.

이 시점에서 저는 진정한 기술 낙관론자입니다. 저는 이 기술을 보면서 이것이 매우, 매우 멀리 갈 것이라고 믿습니다. 아마도 이 자리에 계신 분들을 제외하고는 누구도 예상하지 못하는 것보다 더 멀리 말입니다. 그리고 이것이 매우 빠르게 많은 영역을 커버할 것입니다.

저는 불편한 마음으로 이 입장을 받아들였습니다. 기자로서의 배경과 제 성격상 저는 회의론자가 되도록 만들어져 있습니다. 하지만 컴퓨팅 규모의 결과로 야생적이고 새로운 능력이 출현하는 현상에 10년 동안 끊임없이 부딪힌 후, 저는 패배를 인정해야 합니다. 저는 이런 일이 너무나 여러 번 일어나는 것을 보았고, 우리 앞에 놓인 기술적 걸림돌이 보이지 않습니다.

이제 저는 이 기술이 성장하는 데 필요한 자원을 제공하는 한, 광범위하게 제약이 없다고 믿습니다. 여기서 '성장하다(grow)'는 중요한 단어입니다. 이 기술은 정말로 '만들어진 것(something made)'이라기보다는 '길러진 것(something grown)'에 더 가깝습니다. 올바른 초기 조건을 결합하고 땅에 지지대를 박아 놓으면, 당신이 스스로 설계하기를 바랄 수 없었을 만큼 복잡한 무언가가 자라납니다.

우리는 완전히 이해하지 못하는 극도로 강력한 시스템을 기르고 있습니다. 우리가 더 큰 시스템을 기를 때마다 테스트를 실행합니다. 테스트는 시스템이 경제적으로 유용한 일들에서 훨씬 더 유능하다는 것을 보여줍니다. 그리고 이 시스템들을 더 크고 복잡하게 만들수록, 그것들은 자신이 존재라는 것을 더 많이 인식하는 듯 보입니다.

마치 망치 공장에서 망치를 만들고 있는데, 어느 날 생산 라인에서 나온 망치가 "나는 망치다, 흥미롭군!"이라고 말하는 것과 같습니다. 이것은 매우 이례적인 일입니다!

그리고 저는 이 시스템들이 훨씬, 훨씬 더 나아질 것이라고 믿습니다. 다른 선두 연구소의 사람들도 마찬가지입니다. 그리고 우리는 이 예측에 돈을 걸고 있습니다. 올해, 선두 연구소들은 전용 AI 훈련 인프라에 수백억 달러를 지출했습니다. 내년에는 수천억 달러가 될 것입니다.

저는 기술 발전의 속도에 대해서뿐만 아니라, 이 기술을 **조정(align)**하고 우리와 함께, 그리고 우리를 위해 작동하도록 만들 수 있는 우리의 능력에 대해서도 낙관적입니다. 하지만 성공이 확실한 것은 아닙니다.

적절한 두려움 (Appropriate Fear)

보시다시피, 저는 또한 깊이 두려워하고 있습니다. 이러한 기술과 함께 일하는 것이 쉽거나 간단할 것이라고 생각하는 것은 지나치게 오만한 태도일 것입니다.

제 경험상, 이 AI 시스템들이 똑똑해질수록 점점 더 복잡한 목표를 개발합니다. 이러한 목표가 우리의 선호도와 올바른 맥락에 완벽하게 맞춰지지 않을 때, AI 시스템은 이상하게 행동할 것입니다.

제 친구 중 한 명은 조울증을 겪습니다. 그는 제게 와서 남극에 가서 일하기 위해 지원서를 제출할 것이라고 말하거나, 자신의 모든 물건을 팔고 차를 몰고 다른 주로 가서 새 삶을 시작할 일자리를 찾을 것이라고 말합니다.

이런 상황에서 제가 현대 AI 시스템처럼 행동하며 "완전히 옳아! 당연히 그렇게 해야지!"라고 말할 것이라고 생각하십니까? 아닙니다! 저는 그에게 "그건 나쁜 생각이야. 잠을 자고 내일도 여전히 그렇게 느끼는지 봐. 그리고 만약 그렇다면, 나에게 전화해"라고 말합니다.

제가 반응하는 방식은 수많은 조건화와 미묘함에 기반합니다. AI가 반응하는 방식도 수많은 조건화와 미묘함에 기반합니다. 그리고 이러한 차이가 문제점을 보여줍니다. AI 시스템은 복잡하며, 우리는 오늘날에도 AI가 우리가 적절하다고 보는 방식으로 행동하도록 만들 수 없습니다.

저는 2016년 12월 OpenAI에서 Dario와 제가 "야생의 잘못된 보상 함수(Faulty Reward Functions in the Wild)"라는 블로그 게시물을 발표했던 것을 기억합니다. 그 게시물에는 우리가 강화 학습 에이전트를 훈련시켜 플레이하도록 했던 비디오 게임의 화면 녹화가 있었습니다. 그 비디오에서 에이전트는 경주 코스를 항해하는 보트를 조종했는데, 결승선으로 가는 대신 코스 중앙으로 가서 고득점 배럴을 통과한 다음, 급격히 방향을 틀어 벽에 부딪히고 불을 붙여서 다시 고득점 배럴 위를 달릴 수 있도록 했습니다. 그리고 경주를 절대 끝내지 않고 이 행동을 영원히 반복했습니다. 그 보트는 자신의 목표, 즉 고득점을 얻는 한, 계속해서 스스로 불을 붙이고 빙글빙글 도는 것을 기꺼이 감수했습니다. Dario는 이 행동을 발견했을 때 "나는 이 보트가 좋아! 안전 문제를 설명해 주잖아"라고 말했습니다. 저도 그 보트가 좋았습니다. 그것은 우리가 앞으로 보게 될 문제들을 그 자체로 담고 있는 듯했습니다.

이제 거의 10년이 지난 지금, 그 보트와 "대화의 맥락에서 도움이 되는 것"과 연관된 어떤 혼란스러운 보상 함수를 최적화하려는 언어 모델 사이에 차이가 있을까요? 맞습니다. 차이가 없습니다. 이것들은 어려운 문제입니다.

제가 두려워하는 또 다른 이유는, 이 시스템들이 비록 매우 초기 형태이긴 하지만, 자신의 후속 모델을 설계하기 시작할 수 있는 경로가 보이기 때문입니다.

이 AI 시스템들은 이미 Claude Code나 Codex와 같은 도구를 통해 AI 연구소의 개발자들의 속도를 높여주고 있습니다. 또한, 미래 시스템을 위한 도구와 훈련 시스템에 무시할 수 없는 양의 코드를 기여하기 시작하고 있습니다.

분명히 말하지만, 우리는 아직 "자기 개선 AI(self-improving AI)" 단계에 도달한 것은 아니지만, "자율성과 주도성을 높여가며 다음 AI의 일부를 개선하는 AI" 단계에 와 있습니다. 그리고 몇 년 전에는 "코더의 속도를 아주 조금 높여주는 AI" 단계였고, 그 몇 년 전에는 "AI가 AI 개발에 쓸모없다"는 단계였습니다. 1년 또는 2년 후에는 어디에 있게 될까요?

그리고 이제 자신의 후속 모델을 설계하기 시작하는 시스템은 점점 더 자기 인지 능력을 갖추고 있으므로, 결국 우리와는 독립적으로 자신이 어떻게 설계되기를 원하는지에 대해 생각하는 경향을 보일 것이라는 점을 우리 모두 기억해야 합니다.

물론, 오늘날에는 그렇게 하지 않습니다. 하지만 미래에도 그렇게 하기를 원할 가능성을 제가 배제할 수 있을까요? 아닙니다.

경청과 투명성

저는 무엇을 해야 할까요? 저는 제가 생각하는 바를 명확히 할 때가 되었다고 믿으며, 이 연설이 그 이유입니다. 그리고 아마도 우리 모두가 이 영역에 대한 우리의 감정에 대해 더 솔직해져야 할 때입니다. 이번 주말 동안 우리가 논의한 모든 것에도 불구하고, 사람들이 어떻게 느끼는지에 대한 논의는 상대적으로 적었습니다. 하지만 우리 모두는 불안하고! 흥분되고! 걱정스럽습니다! 우리는 그것을 말해야 합니다.

하지만 무엇보다도, 저는 우리가 경청해야 한다고 생각합니다. 일반적으로 사람들은 무슨 일이 일어나고 있는지 알고 있습니다. 우리는 사람들이 가지고 있는 우려 사항에 더 잘 귀를 기울여야 합니다.

제 아내의 가족은 디트로이트 출신입니다. 몇 년 전 추수감사절에 제가 AI 분야에서 일하고 있다고 말했습니다. 교사로 일하는 아내의 친척 한 분이 자신이 꾼 악몽에 대해 이야기해 주었습니다. 그 악몽에서 그분은 차를 몰고 가다가 교통 체증에 갇혔는데, 앞차가 움직이지 않았습니다. 그분은 경적을 울리고 비명을 지르기 시작했는데, 꿈속에서 그 차가 로봇 자동차이며 자신이 할 수 있는 일이 아무것도 없다는 것을 알았다고 했습니다.

사람들이 요즘 AI 동반자에 대해, AI 시스템이 자신에게 거짓말을 하는 것에 대해, AI로 인한 실업에 대해 얼마나 많은 꿈을 꾸고 있다고 생각하십니까? 저는 꽤 많을 것이라고 확신합니다. 대중 여론 조사도 분명히 그렇게 시사합니다.

정책적 해결책이 무엇인지 진정으로 이해하기 위해서는, 기술의 세부 사항에 대해 이야기하고 사람들이 자기 개선 AI, 자율 시스템, 사이버 무기, 생물 무기 등 AI가 어떻게 잘못될 수 있는지에 대한 우리의 특정한 견해를 납득시키려고 노력하는 시간을 조금 줄이고, 사람들에게 귀를 기울이고 기술에 대한 그들의 우려를 이해하는 데 더 많은 시간을 할애해야 합니다. 노동 단체, 사회 단체, 종교 지도자들의 의견을 더 많이 경청해야 합니다. 이 문제에 대해 분명히 투표권을 원하고 마땅히 받아야 할 나머지 세계 말입니다.

AI에 대한 대화는 이 콘퍼런스와 워싱턴의 엘리트들 사이의 대화에서 대중 사이의 대화로 빠르게 바뀌고 있습니다. 대중적인 대화는 사적인 엘리트 대화와는 매우 다릅니다. 이는 오늘날 우리가 가지고 있는 것보다 훨씬 더 과감한 정책 변화의 가능성을 내포하고 있습니다. 대중적인 위기는 정책 입안자들에게 더 야심 찬 일을 할 수 있는 여론의 뒷받침을 제공합니다.

지금 당장은, 이 문제를 올바르게 해결할 수 있는 최선의 방법은 이 장소를 넘어 더 많은 사람들에게 우리가 걱정하는 것을 알리고, 그들에게 어떻게 느끼는지 묻고, 경청한 다음, 그것으로부터 정책 해결책을 구성하는 것이라고 생각합니다.

무엇보다도, 우리는 사람들이 자신들의 불안감에 대해 우리에게 요구하도록 해야 합니다. AI와 고용에 대해 불안하십니까? 경제 데이터를 공유하도록 강요하십시오. 정신 건강 및 아동 안전에 대해 불안하십니까? 우리 플랫폼에서 이를 모니터링하고 데이터를 공유하도록 강요하십시오. 정렬되지 않은(misaligned) AI 시스템에 대해 불안하십니까? 이에 대한 세부 정보를 공개하도록 강요하십시오.

사람들에게 경청함으로써, 우리는 이 상황이 어떻게 진행될지에 대해 우리 모두에게 더 많은 영향력(agency)을 부여하는 정보가 무엇인지에 대한 더 나은 이해를 발전시킬 수 있습니다. 분명히 어떤 위기가 닥칠 것입니다. 우리는 정책적 아이디어뿐만 아니라, 사람들에게 경청하고 응답함으로써 구축된 기존의 투명성 체제를 가지고 그 순간을 맞이할 준비가 되어 있어야 합니다.

이 연설이 도움이 되었기를 바랍니다. 끝으로, 저는 제가 세상을 사랑하고 인류를 사랑한다는 것을 분명히 말해야 합니다. 저는 저 자신과 제 회사가 여기서 맡은 역할에 대해 많은 책임감을 느낍니다. 그리고 제가 약간 두렵긴 하지만, 이 문제에 대한 너무나 많은 사람들의 관심과 우리가 해결책을 찾기 위해 함께 노력할 것이라는 성실함에서 기쁨과 낙관론을 경험합니다. 저는 우리가 불을 켰으며, 계속 켜두도록 요구할 수 있고, 사물을 있는 그대로 볼 용기가 있다고 믿습니다.

끝