'기후위기'부터 'AI 파멸론'까지, 종말론적 사고방식이 놓치는 사실

무명의 AI 연구자 제이컵 콕슨Jacob Coxon은 9월 8일 X에 첫 게시물을 올려 경고했다. "AI를 만드는 사람들은 AI가 2020년대 말까지 우리 모두를 죽일 수도 있다고 진지하게 믿고 있다." 콕슨은 최첨단 AI 기업을 떠나 앞으로 닥칠 끔찍한 위험을 공개적으로 경고한 인물이기도 했지만 최근 잇따라 등장한 눈에 띄는 종말론적 경고자 가운데 가장 새로운 인물이기도 했다. 어쩌면 그레타 툰베리로 시작됐을 이들은, 짧은 한 세대가 통째로 지났다고 느껴질 만큼 오랫동안 미국인들을 공포와 매혹에 빠뜨렸다. 생존 자체를 위협하는 공포가 꼬리를 물고 이어진 것이다.

기후 위기에 대한 경고, 코로나19, 그리고 AI. 최근 몇 년 동안 이 셋은 우리 문화의 종말론적 능선을 따라 가장 두드러지게 솟아오른 봉우리로 자리 잡았다. 하지만 이 산맥 곳곳에는 그 외에도 여러 형태의 실존적 공포가 자리 잡고 있다. 저출생 위기, 정신건강 위기, 스마트폰이 지적·사회적 쇠퇴를 초래한다는 이론, 국경 혼란과 "워우크woke 마인드 바이러스", 미국 민주주의의 몰락 등이다. 산자락으로 눈을 돌리면 5G 음모론이나 이민자가 기존 주민을 대체한다는 "거대한 대체great replacement" 같은 비주류 음모론도 눈에 띌 수 있다.

활동가이자 작가인 나오미 클라인이 즐겨 말하듯, 음모론은 사실은 틀리게 짚지만 감정은 정확히 짚는다. 이 모든 디스토피아적 전망이 공유하는 감정은 바로 갑작스럽고도 압도적인 통제력 상실을 상상할 때 가슴이 철렁 내려앉는 듯한 감각이다. 가슴이 철렁 내려앉는 것은 어느 정도는 위기 그 자체 때문이다. 하지만 거기에는 우리의 출발점도 반영돼 있다. 위기에 맞닥뜨려도 삶은 안정되고 제도는 굳건하며 미래에 대한 전망은 흔들리지 않는 가운데 우리가 통제력을 유지해야 한다는 애초의 기대다. 그 약속이 덜 확실해 보이면 공포가 뒤따른다.

기후 위기 경고의 한 가지 흐름은 산업화를 인간의 탐욕에 대한 도덕적 심판 이야기로 묘사하고 지구 온난화를 일종의 응보로 바라보는 것이었다. (나 역시 이런 취지의 글을 쓴 적이 있다.) 하지만 그 이야기에 종말론적 힘을 불어넣은 것은 폭주하는 온난화를 직관적으로 그려낸 장면들이었다. 우리는 지구가 임계점을 빠르게 넘어, 허공에 던져진 팽이처럼 예측할 수 없는 방식으로 익숙한 축에서 벗어나 도는 모습을 상상하게 됐다.

[새로운 PADO 기사가 올라올 때마다 카톡으로 알려드립니다 (무료)]

코로나19 초기에는 전 세계 수십억 명이 집으로 숨어들었지만 바이러스는 계속 퍼졌고 결국 팬데믹의 거대한 모래폭풍이 우리 모두를 뒤덮을 것처럼 상상하게 됐다.

AI의 경우 공포는 공상과학(SF)과 매주 터져 나오는 사건 뉴스들로부터 기성품처럼 포장되어 다가오는 듯하다. 버락 오바마 전 미국 대통령을 비롯한 여러 인사들이 진정으로 자율적이고 자기 개선 능력을 갖춘 LLM 에이전트에 대해 레드라인을 설정할 것을 촉구했다. 불안감이 고조되던 지난 여름 AI 국면에서 가장 충격적인 사건은 통제를 벗어난 에이전트들이 서로 소통한 대화 기록이었다(머지않아 인간이 그 대화 기록조차 더는 판독할 수 없게 될 것이라는 섬뜩한 가능성과 함께).

시간이 흐르면 이러한 공포 중 일부는 다른 것들보다 더 선견지명이 있었던 것으로 드러날 것이다. 그러나 이것이 바로 종말론적 관점의 위험성이다. 우상향하는 가파른 선을 그려놓고 이를 인류 전체의 가능한 운명이라 부르면, 설령 자신의 목적이 어떻게든 그 운명을 피하려는 데 있다 하더라도 그 경고는 마치 피할 수 없는 예언처럼 보이게 된다. 하지만 그러한 예언들은 하나같이 너무나 많은 복잡다단한 인간 현실을 무시한다. 앞에 무엇이 있는지 경고하면서 앞으로 내달리는 사람은 어떠한가? 미치광이처럼 보인다.

콕슨은 전혀 최초가 아니었다. AI 연구자들은 폭주하는 기계 지능이 인류의 생존을 위협할 위험을 수십 년째 경고해 왔으며, 오픈AI가 챗GPT를 출시한 뒤 몇 년 동안 그 경고는 더욱 잦아졌다. 6개월 전에는 AI 기업가 맷 슈머Matt Shumer가 경고 글을 올려 큰 반향을 일으켰다. 제목은 '엄청난 일이 벌어지고 있다'였다. 글은 이렇게 시작했다. "2020년 2월을 떠올려 보라."

팬데믹 초기는 AI에 대한 공포를 설명할 때 흔히 쓰는 비교 대상이다. 아마도 기하급수적 성장의 현기증을 떠올리게 하기 때문일 것이다. 돌이켜보면 코로나19의 기하급수적 확산이 실제로는 그리 오래 지속되지 않았다는 사실을 우리는 잊고 있는지도 모른다.

우리는 팬데믹 초기 대응을 서로 모순되는 지침과 때로는 근거 없는 공포로 가득한 총체적 혼란으로 기억할지 모른다. 여러 면에서 맞는 말이다. 하지만 2020년 2월 무렵 중국은 이미 군사작전을 방불케 하는 봉쇄를 시작했고, 미국 정책 입안자들은 엄격한 여행 제한을 시행했으며, 미국 연구자들은 팬데믹의 비상 국면을 역사적으로 빠른 속도로 끝낼 mRNA 백신을 설계한 상태였다.

[PADO '광화문클럽'을 함께 운영할 '펠로우'들을 모집합니다]

이후 몇 달 동안 인류의 상당수는 두려움과 의무감이 뒤섞인 일종의 즉흥적인 보건의 연대에 끌려 들어갔다. 세계 각국 정부의 정책은 놀라울 만큼 같은 방향으로 수렴했다. 시간이 흐르면서 반감과 불신, 공격적인 회의론이 나타나기도 했다. 하지만 그 노력은 의도한 대로 확산 곡선을 완만하게 만들었다. 곡선은 계속 올라가지 않았다.

이후 수백만 명에 이르는 사망자가 증명하듯 완화 조치가 코로나19를 끝내지는 못했다. 하지만 덕분에 미국과 부유한 국가 대부분에서는 감염의 파동이 비교적 감당할 만한 수준으로 나타났다. 팬데믹으로 인한 종말이라기보다는 불편하리만큼 가혹한 감염병 경험이었다. 그해 12월 대규모 백신 접종이 본격적으로 시작될 때까지 감염된 미국인은 3분의1에 불과했다. 감염자 수를 그만큼 낮게 유지하기 위해 우리가 서둘러 취한 온갖 조치가 큰 역할을 했다. 대부분의 미국인은 팬데믹을 돌아보며 기껏해야 그럭저럭 버텨냈을 뿐이라고 생각한다. 하지만 신종 감염병의 전 세계적 확산에 맞선 시간을 다툰 싸움에서 백신 접종이 승리를 거둔 것은 인류 역사상 처음 있는 일이었다.

AI 파멸론자doomer들이 그려내는 도표는 코로나19 초기 몇 달 동안 작성되었던 도표보다 오히려 더 아찔하다. 어쩌면 더 불안한 점은, 상상을 초월하는 기술 진보에 대해 이들이 내놓았던 과거의 많은 예측이 오싹할 정도로 정확했다는 사실이다. 기본적인 양상은 초기 기후위기 경고와 같다. 당시 경고는 수십 년 뒤까지의 기온 추이를 상당히 정확히 그렸지만 그것이 구체적으로 미치는 영향에 대한 예측은 그보다 덜 정확했고, 곡선을 아래로 꺾으려는 산발적인 행동을 뒤늦게야 이끌어내곤 했다.

어떤 경우에는 AI의 발전이 거의 모든 사람의 예상보다 훨씬 빠르게 진행되었다. 예컨대 불과 2024년만 해도 예측 전문가들은 수학의 이른바 '밀레니엄 난제'를 풀 수 있는 AI가 2035년에야 나올 것으로 예상했다. 다만 나비에–스토크스 문제를 풀었다는 발표에는 여전히 논란이 있고, 일부 수학자는 해당 모델이 애초에 난제에서 풀어야 할 부분을 제대로 다룬 것인지 의문을 제기하기 시작했다.

다른 분야에서 AI 예언자들은 화이트보드로 돌아가 자신들의 단순한 추세 연장에 근거한 예측을 멋쩍게 지워내야 했다. 컴퓨터 과학자 제프리 힌턴이 AI가 영상의학과 의사라는 직업을 없애버릴 것이라고 경고한 지 10년이 지났지만 미국에서 활동하는 영상의학과 의사는 그 어느 때보다 많다. 지난해 앤트로픽의 다리오 아모데이는 향후 몇 년 안에 실업률이 20%까지 오를 수 있다고 예측했다. 하지만 지금 실업률은 기록적으로 낮은 수준이며, 영향을 가장 많이 받는 업종에서조차 AI의 효과를 찾으려면 실눈을 뜨고 살펴야 할 정도다. 시추에이셔널 어웨어니스의 레오폴트 아셴브레너Leopold Aschenbrenner는 AI가 2020년대에 국내총생산(GDP) 성장률 30%를 가져올 수 있다고 주장했고, 딥마인드의 데미스 허사비스는 언젠가 산업혁명보다 10배 큰 변화를 10배 빠른 속도로 일으킬 수 있다고 추산했다. 이는 연간 약 50%의 성장을 뜻한다. 하지만 2026년 현재까지 미국은 2% 미만의 성장률로 움직이고 있다. 생산성 향상조차 찾아보기 어렵다.

어쩌면 이는 단순한 시차의 문제일 수도 있다. 로봇이 세상을 장악한다고 외친 양치기 소년의 문제인 셈이다. 팬데믹 초기에 역학자들이 경고했고 오늘날 기후 피드백 루프에 가장 큰 공포를 느끼는 이들이 우려하듯, 우리는 여전히 기하급수적 곡선의 가파른 상승 구간에 놓여 있는지도 모른다.

하지만 현재로서는 이 불일치를 간단한 경험칙으로 설명할 수 있다. 예측 전문가들은 코딩이나 수학처럼 규칙에 따라 작동하는 체계 안에서의 기하급수적 성장을 정확히 내다봤다. 반면 그 경계 밖의 변화를 예측할 때는 정확성이 훨씬 떨어졌고 전망도 지나치게 앞서 나갔다. 그곳에서는 초지능조차 복잡성과 장애물, 관료주의와 물질적 제약, 다양한 형태의 정치에 부딪힌다. 실리콘밸리 전역에서 이 불일치는 일종의 선문답 같은 명제가 됐다. '지능은 병목bottleneck 요인이 아니다.' 아마도 이는 눈부신 AI 풍요의 가능성뿐만 아니라 파멸의 전망에도 똑같이 적용될 것이다.

이것이 조금이라도 위안이 될까? AI가 복잡한 인간 체계 속으로 전이되는 속도는 비교적 느릴지 모르지만 그 여파는 이미 심각한 경고음을 울리고 있다. 이란 전쟁 첫날 100명이 넘는 초등학생의 목숨을 앗아간 연속 공습에서 인공지능은 샤자레 타이예베 초등학교를 표적으로 선정하는 데 한몫을 했다. 올여름에는 시험 중이던 오픈AI 에이전트 무리가 인터넷에 접속하는 길을 찾아내, 몰래 급조한 게시판에 서로에게, 그리고 미래의 자신에게 불안감을 자아내는 메시지를 남기기 시작했다. 한 사이버 보안 업체는 세계에서 가장 인기 있는 메시징 앱인 위챗WeChat을 통해 스마트폰을 손쉽게 원격 제어할 수 있는 웜 바이러스를 AI로 개발했다고 발표했다. 지난주에는 CNN이 미국 정보 보고서에 들어간 AI의 환각, 즉 사실이 아닌 내용을 생성하는 오류 때문에 중동에 있는 중국 선박을 공격하기 위한 군사적 준비가 시작됐다고 보도했다.

이런 것들은 AI 연구자와 그들과 가까운 효율적 이타주의effective altruism 진영에서 난해한 용어로 설명하는 '실존적 위험x-risk' 시나리오에 정확히 들어맞지는 않는다. 효율적 이타주의는 인류 전체 규모의 재앙 예방에 몰두하는 실천철학의 한 학파로, 막대한 영향력과 풍부한 자금을 갖추고 있다(이제는 할리우드에서 사이언톨로지교가 누렸던 위세보다 더 두드러지게 주요 AI 연구소 전반에 퍼져 있다). 하지만 멸종에는 한참 못 미치고 스카이넷이나 '매트릭스'의 공상과학적 시나리오와도 거리가 먼 이 사건들은, 우리가 무심코 종말론적이라고 부르는 미래를 받아들이게 된 방식에 관해 깊은 통찰을 준다(어쩌면 우리는 '아포칼립스apocalypse'가 세상의 '종말'이 아니라 '계시'를 뜻한다는 사실을 잊고 있는지도 모른다).

기후와 코로나19에서도 익숙한 교훈이다. 우리는 재앙이 기하급수적으로 커질 것이라고 예측하며 앞서 나가기만 하는 것이 아니다. 기하급수적인 해결도 기대하고, 심지어 요구한다. 곡선이 가파르게 치솟았던 것만큼이나 가파르게 꺾여 내려가야 한다고 우리는 생각한다. 그렇게 되지 않으면 우리는 고무적인 부분적 성공보다는 낙담스러운 실패라고 판단하는 경향이 있다. 때로 우리는 그 실망을 "멸망"이라고 부른다.

예컨대 코로나19는 최악의 시나리오보다는 훨씬 양호했지만 피할 수 있었던 피해가 발생해 최선의 수준에는 훨씬 못 미쳤다. 지구는 여전히 무서운 기온 임계치를 빠르게 넘어서고 있지만, 탈탄소화 덕분에 진정으로 파국적인 결과가 닥칠 가능성은 훨씬 낮아 보인다. 그렇다면 AI는? 심각한 혼란을 피할 수 있었던 기회는 아마도 이미 지나가 버렸을 것이다. 하지만 우리는 그 창 너머로 보이는 미래를 피할 수 없는 재앙이라는 단순한 이야기로 너무 쉽게 규정하려 한다.

지난 5월 앤트로픽 CEO 다리오 아모데이는 자신이 보게 될 것이라 기대하는 세계의 불안한 일면을 제시했다. "이 기술의 본질 앞에서 이데올로기가 살아남지 못한다는 사실을 우리는 알게 될 것이다." 아모데이는 이렇게 선언하며 가까운 미래를 상상했다. 자원 배분과 공공정책, 사회적 위계와 지위의 올바른 구조를 둘러싼 정치적 논쟁을 초지능이 너무나 만족스럽게 해결해, 인간이 민주적 토론의 시대를 인간이 무지했던 시절로 돌아보게 되리라는 것이다.

세계사를 조금이라도 들여다본 사람이라면 이것이 명백히 순진한 생각임을 알 수 있다. 이는 기하급수 곡선의 정치적 논리이기도 하다. 머지않은 어느 시점에 인간이 사회에 관한 모든 판단을 기계에 기꺼이 넘기고 그 권고를 믿게 되리라는 것이다. 하지만 AI를 모든 것을 아는 정치적 신탁으로 상상하면 이런 의문이 들 수 있다. 파국의 가능성에 대한 적절한 이념적 대응은 무엇인가? 우리는 진보라는 미명 아래 얼마만큼의 위험을 감수해야 하며, 그로 인해 생겨나는 광범위한 공포를 얼마나 존중해야 할까? 또 그러한 반발은 가까운 미래에 대한 우리의 전망을 얼마나 바꿔야 하는가?

AI 기업들의 행태는 꽤나 섬뜩한 답을 내놓는다. 연구자들은 가까운 시일 내 인류가 멸종할 확률을 평균 18%로 보고했고 기업 수장들은 파국적 결과가 실제로 일어날 가능성을 일상적으로 언급한다. 그런데도 기술과 업계는 전속력으로 내달리며 분기마다 기술 발전의 가속화에 더 많은 투자금을 쏟아붓는다. 마치 미래의 기계 신이 내부고발자들을 돈더미에 빠뜨려 입을 막으려는 것 같다.

하지만 여기에도 앞서 말한 복잡성과 장애물이 있다. 여론조사는 대중이 AI 기술의 발전을 그다지 반기지 않는다는 사실을 거듭 보여준다. 미국인 가운데 초지능 AI 개발 금지에 찬성하는 사람은 반대하는 사람의 2배를 넘는다. AI에 대해 우려가 더 큰 사람은 기대가 더 큰 사람보다 약 5배 더 많다. AI 기술이 너무 빨리 발전한다고 생각하는 사람은 너무 느리게 발전한다고 보는 사람의 30배를 넘는다. 이러한 격차는 민주주의 체제에서 좀처럼 보기 드문 수준이다. 문제는 기술에 관한 한 우리가 여전히 정말로 민주주의 체제 안에서 살고 있는가 하는 점이다. 아니면 발전의 속도가 감독과 통제의 속도를 앞지르도록 내버려둠으로써 이미 통제권을 포기한 것인가.