양자 컴퓨터가 암호 해독을 앞두고 있다. AI가 그보다 먼저 해낼 수도 있다.

양자 컴퓨터가 기존 암호 체계를 무너뜨릴 위협으로 꼽혀왔으나, 최근 인공지능(AI)의 급격한 수학적 발전이 그보다 더 빨리 암호 보안을 무력화할 수 있다는 우려가 제기되고 있다고 WSJ가 보도했다.

은행 계좌와 이메일 등 인터넷상의 모든 안전을 보장하는 수학적 자물쇠와 열쇠가 생각보다 취약할 수 있다는 의문이 제기되고 있다.

수십 년간 엔지니어들은 양자 컴퓨터의 등장과 이에 따른 보안 위협에 대비해 '포스트 양자 암호'(postquantum cryptography) 기술을 준비해 왔다. 전문가들은 전 세계 디지털 시스템을 이 새로운 패러다임으로 질서 있게 전환한다면 기술적 퇴보를 막을 수 있을 것으로 내다봤다.

하지만 이제 AI의 놀라운 수학적 능력이 더 시급한 문제로 떠올랐다고 WSJ는 전했다. AI는 인간이 수 세기 동안 씨름해 온 수학적 난제들을 전례 없는 속도로 해결하며 다양한 분야의 발전을 이끌고 있다. 이 과정에서 암호화된 통신을 유지해 주는 수학적 문제들에 대한 새로운 해법이 발견될 수 있다는 공포가 확산하고 있다.

암호 체계가 유지되려면 알고리즘에 대한 가설이 유효해야 한다. 특정 수학 연산은 한 방향으로는 풀기 쉽지만 역방향으로는 어렵다는 가설이 대표적이다. 예를 들어 두 개의 큰 소수를 곱하는 것은 쉽지만, 그 결과값을 다시 원래의 소수로 분해하는 소인수분해는 기존 컴퓨터로는 사실상 불가능하다.

그러나 일부 암호학자들은 이러한 전제가 계속 유지될 것이라고 장담할 수 없다고 주장한다.

매슈 그린 존스홉킨스대 부교수는 수학자들의 코드 해독 공식 탐구와 관련해 "우리가 암호가 안전하다고 느끼는 이유는 많은 똑똑한 사람이 오랫동안 연구했음에도 아무것도 찾아내지 못했기 때문"이라면서도 "하지만 우리가 배우고 있는 사실은 인간이 살펴보는 것이 더 이상 '황금 표준'(gold standard)이 아니며, 이제는 의미가 없다"고 신문은 전했다.

이는 2차 세계대전 당시 폴란드 엔지니어들의 시스템을 혁신해 독일의 에니그마 코드를 해독한 앨런 튜링의 사례를 떠올리게 한다. 당시 많은 천재가 에니그마를 해독 불가능하다고 믿었으나 튜링의 장치가 이를 뒤집었다. 그린 교수는 최근 AI 연구소들이 나비에-스토크스 방정식의 부분적 해법을 찾고 '지수 시간 가설'(Exponential Time Hypothesis)을 반증하는 등 수학적 돌파구를 마련하고 있는 점을 언급했다.

특히 '지수 시간 가설'(Exponential Time Hypothesis)이 거짓으로 판명될 경우, 특정 문제에 지름길이 없다는 기존의 믿음이 무너져 수십 년간의 이론 컴퓨터 과학 연구가 무용지물이 될 수 있다고 매체는 설명했다. 이러한 지름길이 발견된다면 '해독 불가능한'(uncrackable) 암호를 깨는 것도 훨씬 쉬워질 수 있다.

이더리움 창시자인 비탈릭 부테린도 지난 10월 자신의 X(옛 트위터)를 통해 "AI로 가속화된 수학이 암호학에 미칠 위험을 진지하게 받아들여야 한다"며 양자 취약 암호뿐만 아니라 잠재적인 'AI 취약 암호'(AI-vulnerable cryptography)에 대한 노출도 최소화해야 한다고 경고했다. 그는 최근 뭄바이에서 열린 컨퍼런스에서도 '포스트 AI 암호'(post-AI cryptography)의 필요성을 재차 강조했다.

그린 교수는 현재의 암호 알고리즘이 이미 해독되었다는 증거는 없지만, 다음 AI 수학 혁신이 암호학의 기초 수학에 직접적인 영향을 미칠 수 있다고 내다봤다.

반면 이러한 우려가 시기상조라는 반론도 만만치 않다. 코인베이스의 암호화 책임자이자 이스라엘 바르일란 대학 교수인 예후다 린델은 근거 없는 보안 붕괴 추측은 무책임하다고 지적했다. 그는 "무엇이든 가능하겠지만, 나쁜 일이 일어날 것이라고 추측하는 것은 누구에게도 도움이 되지 않는다"고 말했다.

린델 교수는 특히 현재 도입 중인 '포스트 양자 암호'(postquantum cryptography) 알고리즘이 AI에 취약할 것이라는 주장에 반대하며, 오히려 이 알고리즘들이 모든 종류의 컴퓨터 공격을 견뎌낼 가능성이 크다고 주장했다. 또한 AI가 암호 알고리즘을 강화하는 데 도움을 줄 수도 있다고 덧붙였다.

최악의 경우 엔지니어들이 암호 키의 길이를 늘려야 할 수도 있는데, 이는 온라인 상호작용의 속도를 늦출 수는 있지만 시스템을 사용 불가능하게 만들지는 않을 것이라고 그는 설명했다. 전문가들 사이의 견해 차이는 아직 해결되지 않은 근본적인 수학적 질문에 대한 이견에서 비롯된다.

그린 교수처럼 AI에 의한 암호 붕괴를 우려하는 이들은 수학의 세계 어딘가에 아직 발견되지 않은 '백고래'(white whale)가 존재할 수 있다는 점을 우려한다. 만약 현재의 컴퓨터로도 '불가능한' 수학 문제를 풀 수 있게 하는 발견이 이뤄진다면 디지털 자물쇠는 약해질 수밖에 없다.

반면 린델 교수 측은 수십 년간의 수학적 연구 결과 그러한 가능성은 매우 희박하다고 믿는다. 그는 AI가 암호 분석에 도움을 줄 것이라는 점은 인정하면서도, 지름길로 해결할 수 없는 어려운 문제가 존재한다는 암호학의 근본적 전제는 유지될 것이라고 강조했다.

린델 교수는 설령 최악의 상황이 오더라도 북한과 같은 집단이 암호를 깨고 이를 숨기는 것보다는, 취약점을 공개하고 보완책을 마련해 온 오픈AI나 앤스로픽 같은 AI 연구소가 이를 발견하는 것이 낫다고 덧붙였다. 반면 그린 교수는 암호 시스템 업데이트에 수년이 걸리는 만큼, 신중한 공개만으로는 충분하지 않을 수 있다며 다가올 미래를 예측하기 어렵다는 우려를 표했다고 매체는 전했다.