양자컴퓨터의 수학적 초능력이 가져올 혁명

하지만 모든 초능력과 마찬가지로 한계가 있다

/그래픽=PADO(생성AI 사용)

AI의 눈부신 발전과 이 분야에 쏟아지는 투자로 최근 관심이 덜한 감은 있지만 양자컴퓨터는 바이오테크와 함께 앞으로 또다른 혁명을 가져올 수 있는 기술입니다. 사람들의 관심이 AI에 쏠려 있는 동안 다른 분야에서도 괄목할 만한 성과가 나오고 있음을 놓치면 투자 측면에서도 손해입니다. 일례로 최근 바이오테크 분야 IPO는 AI 분야보다 훨씬 높은 성장률을 기록하고 있습니다. 양자컴퓨터는 우리의 물리 상식으로 이해가 쉽지 않은 분야다 보니 아예 무관심하거나 과장된 의미부여를 하는 경우를 종종 볼 수 있습니다. 이코노미스트의 7월 29일자 기사는 양자컴퓨터의 작동원리와 현재 남아있는 과제, 그리고 그 한계까지 (상대적으로) 이해하기 쉽게 설명하고 있습니다.

비밀번호와 계좌이체, 이메일 같은 것들은 인터넷을 오가는 동안 암호화 기술 덕분에 엿보는 눈으로부터 보호된다. 하지만 이 기술이 얼마나 신뢰할 만한지는 아무도 확신하지 못한다. 수십 년간 시도했지만 이를 깨는 실현 가능한 방법은 아무도 찾지 못했다. 그렇다고 그런 방법이 존재하지 않는다는 것을 증명해낸 사람도 없다. 이론상으로는 어떤 수학자가 내일이라도 영감을 얻어 개인정보 보호는 물론 전자상거래라는 거대한 건축물 전체를 무너뜨릴 수도 있는 셈이다.


실제로 그와 비슷한 일은 이미 한 번 벌어졌다. 1994년 미국 수학자 피터 쇼어Peter Shor는 여러 유형의 암호를 깨는 데 걸리는 시간을 수십억 년에서 몇 시간 이하로 줄이는 방법을 고안했다. 오늘날 '쇼어 알고리즘'으로 불리는 이 기법을 실행하는 데 유일한 걸림돌은 당시에는 대학교 칠판 위에만 존재하던 그것이 요구된다는 점이었다. 바로 양자컴퓨터다.


양자역학을 활용해 일부 계산을 일반 컴퓨터보다 훨씬 빠르게 해내는 양자컴퓨터는 이제 실제로 존재할 뿐 아니라 투자자들의 진지한 관심까지 끌고 있다. 각각 2021년과 2022년에 상장한 아이온큐IonQ와 리게티Rigetti의 시가총액은 상장 이후 7배와 4배로 뛰었다. 지난 4월 컨설팅업체 맥킨지는 2025년 양자 스타트업에 투자된 자금이 전년의 6배인 126억 달러(약 18조 원)에 이르렀다고 밝혔다. 5월 미국 정부는 양자컴퓨팅 기업 9곳의 지분 20억 달러(2조9000억 원)어치를 확보하겠다고 밝혔다. 그 대상에는 리게티, 반도체 제조업체 글로벌파운드리스GlobalFoundries, 그리고 6월 상장 때 약 17억 달러(2조4000억 원)를 조달한 콜로라도 소재의 퀀티넘Quantinuum이 포함됐다.


거대 테크 기업들 역시 열의를 보이고 있다. 2025년 구글은 새로운 '윌로우Willow' 양자 프로세서를 사용해 기존 슈퍼컴퓨터라면 수천 배 더 오랜 시간이 걸렸을 작업을 단 몇 시간 만에 완료했다고 발표했다. IBM도 나이트호크Nighthawk라는 자체 양자 칩을 갖고 있다. IBM은 공개 로드맵에 따라 중요한 이정표로 꼽히는 "내결함성fault-tolerant" 양자컴퓨터를 2029년까지 구축한다는 계획이다.


[새로운 PADO 기사가 올라올 때마다 카톡으로 알려드립니다 (무료)]


양자컴퓨터가 지닌 수학적 초능력은 인터넷을 떠받치는 암호를 깨는 것 말고도 화학과 생물학, 재료과학에 혁명을 일으킬 수 있다. 양자컴퓨터는 원자와 분자가 상호작용하는 방식을 정밀하게 시뮬레이션할 수 있게 해주는데 이는 '고전' 컴퓨터의 능력으로는 불가능한 기술이다. 확실성은 떨어지지만 금융과 물류에 쓰이는 일부 수학의 성능도 높일 수 있다. 또 인공지능(AI)을 발전시키는 동시에 인공지능의 도움을 받을 수도 있다.

몇 가지 장기만 가진 특화형 컴퓨터

양자컴퓨터는 강력하지만 동시에 한계도 뚜렷하다. 텍사스대 오스틴 캠퍼스의 컴퓨터과학자 스콧 애런슨Scott Aaronson은 자동차와 우주왕복선에 빗대 이를 설명한다. 아무리 성능이 좋은 자동차도 궤도에 오를 수는 없다는 점에서 차원이 다른 양자컴퓨터는 말하자면 우주왕복선같은 존재다. 그러나 단지 아이들을 학교에 데려다주는 게 목적이라면, 우주왕복선이 기술적으로야 그 일을 해낼 수 있을지 몰라도 비용이 훨씬 많이 들고 속도도 더 빠르지 않으며 훨씬 불편할 것이다. 애런슨 박사에 따르면 90%의 작업에서 양자컴퓨터는 기존 컴퓨터보다 나을 것이 없다.


그 이유는 양자컴퓨터가 계산에 활용하는 양자역학 특유의 물리법칙에 있다. 그 특성 가운데 하나가 중첩superposition이다. 고전 컴퓨팅의 기본 단위인 비트는 1 또는 0이라는 두 가지 상태 중 하나로 존재한다. 비트의 양자역학적 친척인 큐비트도 마찬가지로 1이나 0을 나타낼 수 있다. 그러나 큐비트는 고전 물리학에는 존재하지 않는, 두 상태가 확률적으로 흐릿하게 겹쳐진 상태로도 존재할 수 있다. 측정하는 사람이 큐비트가 "실제로" 어느 상태인지를 모를 뿐이라는 뜻이 아니다. 명확히 정의되어 있지만 고전적이지 않은 의미에서, 큐비트는 측정되기 전까지 두 상태가 동시에 혼합된 상태로 존재한다.


양자컴퓨터는 중첩 상태를 얽힘entanglement이라는 또 다른 양자역학적 특성과 결합한다. 얽힘은 중첩된 입자들을 서로 묶어 개별 입자의 특성을 집단적으로만 정의할 수 있게 만드는 성질이다. 그 결과 고전 비트 3개로 된 문자열은 서로 다른 8개 값 중 하나만 취할 수 있지만 큐비트 3개로 된 문자열은 8가지 가능성이 모두 동시에 섞인 상태로 존재할 수 있다. 문자열의 비트 수가 늘면 가능한 상태의 수는 기하급수적으로 증가한다. 비트가 1000개면 조합의 수가 너무 많아, 우주의 모든 원자를 동원하더라도 그것을 전부 적어 내려가는 일은 물리적으로 불가능하다.


고전 컴퓨터가 이처럼 방대한 공간을 뒤져야 한다면—이를테면 암호문을 푸는 데 필요한 숫자 열을 찾아내려면 —가능한 해답을 하나씩 차례로 시도해볼 수밖에 없다. 반면 양자컴퓨터는 그 모든 가능성을 동시에 표현하고 다룰 수 있다. 하지만 함정이 있다. 양자컴퓨터의 출력을 읽으려면 큐비트의 중첩 상태를 풀어야 한다. 이를 무턱대고 수행하면 천문학적인 수의 가능한 문자열 중에서 무작위로 선택된 단 하나의 숫자열만 결과로 얻게 된다.


양자컴퓨터의 능력을 제대로 활용하려면 '밑장빼기' 같은 방법을 찾아야 한다. 그래야 중첩을 붕괴시켰을 때 정답이 나올 확률을 높일 수 있다. 핵심은 문제가 지닌 수학적 구조를 이용해 정답이 나올 확률은 키우고 무수히 많은 오답이 나올 확률은 억누르는 것이다. 그런 구조를 갖춘 수학은 일부에 불과하다. 양자컴퓨터가 모든 종류의 문제에 보편적인 속도 향상을 안겨주지 못하는 이유가 여기에 있다.


[PADO '광화문클럽'을 함께 운영할 '펠로우'들을 모집합니다]


/그래픽=PADO(생성AI 사용)


여기까지가 이론이다. 문제는 이를 실제로 어떻게 구현하느냐다. 고전 컴퓨터는 수십 년 동안 톱니바퀴부터 천공카드와 진공관에 이르기까지 온갖 방식으로 만들어지다가 실리콘 기반 집적회로에 정착했다. 양자컴퓨팅은 여전히 실험 단계에 있으며 여러 기술이 주도권을 놓고 경쟁하고 있다.


예컨대 구글과 IBM은 전류가 전기저항 없이 빠르게 흐르는 초전도 회로로 만든 큐비트를 연구하고 있다. 퀀티넘과 메릴랜드 소재의 아이온큐는 이온트랩에 승부를 걸고 있다. 이온트랩이란 미세한 레이저 섬광으로 조작할 수 있는 전하를 띤 원자다. 프랑스 기업 파스칼Pasqal은 전하를 띠지 않은 원자를 쓰는 비슷한 기술을 추진하고 있다. 토론토 기업 자나두Xanadu는 빛의 기본 입자인 광자가 이 역할을 해주기를 기대한다. 미국의 대표적 반도체 제조업체 인텔은 스핀spin이라는 전자의 양자적 특성을 활용하려 한다.


양자컴퓨터용 알고리즘을 개발하는 영국 스타트업 페이즈크래프트Phasecraft의 공동창업자 토비 큐빗Toby Cubitt은 방식마다 장단점이 있다고 말한다. 예를 들어 초전도 큐비트는 절대영도에 가깝게 냉각해야 해서 비용과 복잡성이 커진다. 초전도 큐비트는 속도가 빠르지만 섬세한 양자 상태가 쉽게 붕괴되어 연산에 할당할 수 있는 시간이 짧다. 이온트랩은 더 안정적이지만 속도가 느리다. 광자 방식은 값비싼 냉각 장치가 필요 없지만 광자끼리 얽히게 만들기가 더 어렵다.


중요한 문제 하나는 각 기술이 오류에 얼마나 취약한가다. 중첩은 섬세해서 외부 세계의 아주 미세한 간섭에도 흐트러질 수 있다. 예컨대 한 줄기 열기나 기계의 제어 하드웨어에서 발생한 오류만으로도 그렇다. 이런 오류가 너무 자주 발생하면 모든 계산이 오류에 파묻힌다. 다만 기계의 큐비트가 최소한의 견고함만 갖추면, 물리 큐비트 여러 개를 연결하고 오류 정정 부호를 돌려 쓸모 있는 작업이 가능할 만큼 믿을 수 있는 '가상' 또는 '논리' 큐비트 하나를 만들어냄으로써 상황을 개선할 수 있다.


그런 논리 큐비트를 쓸 만한 개수만큼 갖춘 "내결함성" 양자컴퓨터를 만드는 것이 이 분야의 최대 목표다. 2024년 구글은 윌로우 칩 하나에서 물리 큐비트 101개를 써서 논리 큐비트 1개를 만들어냈다고 발표하며 원리 검증 결과를 내놓았다. 일부 조건에서는 구글 연구진이 시스템을 약 1시간 동안 안정적으로 유지할 수 있었다. IBM은 논리 큐비트 200개를 갖춘 내결함성 양자 칩을 2029년까지 생산한다는 목표를 세웠다.

큐비트 한 개씩

큐빗 박사는 현재로서는 어느 기술도 확실한 선두주자로 두드러지지 않는다고 말한다. 발전은 빠르고 쉴 새 없이 이어지고 있다. 예컨대 3월 미국 스타트업 오라토믹Oratomic은 2030년까지 중성원자로 "상용화 수준utility-scale"의 양자컴퓨터를 만들 수 있다고 보는 개선된 오류정정 기술을 개발했다고 발표했다. 실제로 경쟁자가 워낙 많아 미국 정부 산하 국방고등연구계획국(DARPA)은 "양자 벤치마킹 이니셔티브"를 진행하고 있다. 2033년까지 산업적으로 쓸모 있는 기계를 내놓을 곳이 있다면 어디일지 가려내기 위한 것이다.


그렇다면 그런 "상업적으로 쓸모 있는" 기계는 정확히 어디에 쓰이게 될까. "양자컴퓨팅으로 가장 인상적으로 속도를 향상시킬 수 있는 분야는 우리가 30년 전에 알고 있던 것과 똑같아요." 수십 년간 연구가 이어진 지금도 그렇다고 애런슨 박사는 말한다. "특정 유형의 암호를 해독하는 것과 양자역학 자체를 시뮬레이션하는 것이죠."


우선 암호 해독 분야부터 살펴보자. 미국, 영국, 프랑스 등 주요 선진국 당국은 기업들에게 양자컴퓨터의 공격에 견딜 수 있는 새로운 유형의 암호 체계로 전환하도록 재촉하고 있다. 미국의 표준 담당 기관은 2035년까지 전환을 마칠 것을 권고한다. 하지만 예상보다 시간이 부족할 수도 있다. 오라토믹은 3월 개선된 오류정정 기술을 이용하면 연구자들이 필요하다고 봤던 수십만 개가 아니라 수만 개의 물리 큐비트만으로 기존 암호체계를 공격할 수 있다고 설명했다.


얼마 지나지 않아 구글 연구진은 논리 큐비트 1200개만으로 암호화폐를 보호하는 암호를 몇 분 안에 깨는 방법을 제시했다. 구글은 자체 연구 결과를 크게 우려한 나머지 결과를 공개하는 컴퓨터보안 연구계의 관행을 따르지 않았다. 대신 구글은 방법론을 드러내지 않으면서도 타인이 결과를 검증할 수 있도록 하는 수학적 구조인 '영지식 증명zero-knowledge proof'만을 발표했다. 구글은 또 2029년까지 사내 시스템을 양자내성암호로 전환하는 작업을 마치는 것을 목표로 삼겠다고 밝혔다.


그마저도 엿보는 눈을 완전히 막아내기에는 너무 늦을 수 있다. 서방 정보기관들은 외국의 적대 세력이 '지금 수집하고 나중에 해독하기' 전략을 쓰고 있다고 몇 년째 경고해왔다. 가치 있는 데이터를 가로채 오프라인에 저장해뒀다가 이를 처리할 수 있는 양자컴퓨터가 준비되면 해독하는 전략이다. (서방 정보기관도 비슷한 일을 하는지는 독자의 상상에 맡긴다.)


/그래픽=PADO(생성AI 사용)


인프라를 중앙에서 강력하게 통제하는 구글, 아마존, 마이크로소프트 같은 거대 기업이라면 새로운 암호체계로 전환하기가 어렵기는 해도 가능하다고 컨설팅업체 파캐스터 그룹Farcaster Group 회장 브라이언 라마키아는 말했다. 라마키아는 과거 마이크로소프트의 보안·암호 사업을 이끌었다. 그러나 전혀 업그레이드가 불가능하거나 노하우가 부족한 기관에서 운영하여 위험에 노출된 시스템의 '롱테일(long tail)' 영역이 존재한다. "병원에 있는 인터넷 연결 의료 장비를 하나하나 떠올려 보세요." 라마키아는 말한다. "그 모든 장비를 업그레이드하고 재인증받는 것은 불가능해요. 은행과 ATM기, 신용카드, 유료도로, 하수처리시설 등도 마찬가지예요."

화면 속 화학

다행히 양자컴퓨터는 파괴적인 효과뿐 아니라 건설적인 효과도 낼 것이다. 미국 물리학자 리처드 파인먼이 1982년 제시한 양자컴퓨터 개발의 본래 취지는 양자역학 자체를 더 잘 시뮬레이션하는 것이었다.


양자역학은 공장, 제약 연구실, 생명체에서 일어나는 화학반응을 지배한다. 그러나 그 과정을 시뮬레이션하는 데 필요한 수학의 복잡도는 관련된 입자 수에 따라 기하급수적으로 커진다. 이는 비교적 단순한 화학적 상호작용조차 고전 컴퓨터로는 정밀하게 모델링하는 것이 불가능함을 의미한다. "수소와 산소가 만나 물이 되는 것 같은 과정을 모형화하려고 하면 고전적인 방식으로는 대단히 어려워요." 큐빗 박사는 말했다.


그래서 고전 컴퓨터는 '밀도범함수이론(DFT)'이라는 더 거친 근사법에 기대야 한다. 이 이론을 개척한 학자 가운데 한 명은 1998년 노벨상을 받았다. "DFT는 많은 문제를 아주 잘 풀어요." 큐빗 박사는 말했다. "하지만 때로는 완전히 엉터리 결과를 내놓기도 하죠. 실리콘이 반도체일 것이라고 예측하지만 반도체를 규정하는 특성인 밴드갭은 완전히 잘못 계산해요." 큐빗 박사는 기존 방식이 한계를 드러내는 사례로 초전도 현상, 신형 태양광 패널 소재 내 전자의 동향, 배터리 양극재의 특성 등을 꼽는다.


양자컴퓨터는 그 자체가 양자역학적 시스템이므로 이런 상호작용을 효율적으로 시뮬레이션할 수 있다. 반응에 관여하는 모든 입자(주로 여러 원자 주위의 전자들)의 거동과 상호작용을 기계의 큐비트에 부호화하고 나면, 컴퓨터가 실제 분자를 지배하는 것과 똑같은 양자역학 법칙에 따라 변해가도록 만들 수 있다. 그렇게 하면 현상을 수학적으로 시뮬레이션하려는 고전 컴퓨터를 압도할 만큼 방대한 수의 방정식을 계산할 필요가 없다. 큐빗 박사는 양자컴퓨터가 오늘날의 대략적인 시뮬레이션을 엔지니어가 다리를 모델링하는 방식에 가까운 것으로 대체할 수 있기를 기대한다고 말했다. "그러면 대상은 컴퓨터가 예측한 그대로 움직이게 돼요."


이런 가능성 때문에 맥킨지는 화학·제약 산업이 양자컴퓨터에 가장 큰 기회를 제공할 분야에 속할 것으로 전망한다. 여러 기업이 이미 실험에 나섰다. 일례로 4월 대형 의학연구 비영리재단 웰컴Wellcome은 200만 달러(30억 원) 상금의 수상팀을 발표했다. 밀라노 소재 스타트업 알고리드미크Algorithmiq, 미국 병원 클리블랜드 클리닉, IBM의 연구진으로 구성된 팀으로, 빛을 비추면 활성화되는 항암제의 작용을 양자컴퓨터와 고전 컴퓨터를 결합해 시뮬레이션하는 기술을 개발했다. 알고리드미크에 따르면 이 팀의 하이브리드 시스템은 약물이 광자를 흡수한 뒤 약물 원자 속 전자들 사이의 상호작용을 어떤 고전 컴퓨터보다 더 잘 모델링했다.


암호체계와 양자역학 시뮬레이션이 두드러지는 이유는 양자컴퓨터가 제공하는 속도 향상이 막대하고 확실하기 때문이다. 그러나 애런슨 박사는 가속 효과가 더 완만하거나 불확실한, 혹은 둘 다에 해당하는 문제들이 존재하는 거대한 '제3의 대륙'이 있다고 말한다.


예를 들어 금융업계는 '몬테카를로' 시뮬레이션을 이용해 자산 포트폴리오의 예상 수익률을 모델링한다. 그럴듯한 미래 시나리오 수천 개를 만들어낸 뒤 각각의 상황에서 포트폴리오가 어떻게 움직이는지 살펴보는 방식이다. 2018년 자나두의 연구원 3명은 금융상품의 가격을 산정하는 양자 알고리즘의 활용법을 입증한 논문을 발표했다.


이론상 이 아이디어는 매력적이다. 해당 알고리즘이 고전 방식에 비해 획기적인 속도 향상을 입증한 기존 알고리즘의 변형이기 때문이다. 그러나 컴퓨터가 실제로 계산을 수행하도록 준비시키는 데는 시간이 걸린다. 그리고 2023년 학술지 '네이처 리뷰스 피직스Nature Reviews Physics'에 실린 양자 금융 분야 종합 검토 논문은 양자 접근법이 현실에서 고전적 접근법을 정말 능가할지 여전히 불확실하다고 인정했다.


양자 기술에 관심 있는 금융인들이 주목하는 또 다른 후보는 양자 근사 최적화 알고리즘(QAOA)이다. QAOA는 수익 가능성을 극대화하면서 큰 손실의 확률은 최소화해야 하는 금융상품 포트폴리오 구성 같은 제약 최적화 문제에 적용할 수 있다. 페이즈크래프트 공동창업자 애슐리 몬태나로Ashley Montanaro는 회사의 연구 결과 QAOA가 실제로 상당한 속도 향상을 낼 수 있지만 일부 경우에만 그렇다고 말했다. 또한 양자컴퓨터를 준비하는 데 필요한 추가 단계 때문에 실제로는 계산 속도 향상의 이점이 사라질 수 있다고 한다. 독일 프라운호퍼 집적회로연구소의 에리크 슈토퍼Eric Stopfer와 프리드리히 바그너Friedrich Wagner가 2025년 발표한 논문은 실제 데이터를 이용해 QAOA를 평가한 결과 고전적 접근법이 대체로 더 뛰어나다고 밝혔다. 다만 두 연구자는 오늘날 양자 하드웨어의 미흡한 성능으로 인해 테스트할 수 있는 문제의 규모가 제한적이었다고 덧붙였다.


이런 불확실성은 시간이 지나면서 조금씩 해소될 것이다. 양자 하드웨어가 발전할수록 더 많은 기업이 이를 실험하기 시작할 것이다. "양자컴퓨터의 원래 아이디어는 양자역학을 시뮬레이션하는 것이었어요." 애런슨 박사는 지적했다. "양자컴퓨터가 그 외의 다른 일에도 유용하다는 사실이 밝혀진 것은 뜻밖의 기적이었죠." 어딘가에 예상 밖의 기적이 더 숨어 있다면 더 많은 사람이 찾아 나설수록 발견될 가능성도 커진다.


[읽어보신 소감은 어떠셨나요? 독자 여러분의 생각을 PADO에 보내주세요 (문의, 제안도 환영합니다!)]