전체메뉴

[애플경제 전윤미 기자] 양자컴퓨팅은 기존의 첨단 공개키 암호 알고리즘을 얼마든지 격파하고, 네트워크에 침투할 수 있다. 그땜문에 양자컴퓨팅 실용화를 앞두고 사이버보안을 위한 ‘양자내성암호’의 중요성이 갈수록 강조되고 있다. 실제로 양자내성암호 기술도 한층 가속도를 내고 있어 주목된다.

기존 컴퓨팅은 0과 1로 대표되는 비트(bit) 단위 연산이다. 이에 비해 양자컴퓨터는 0과 1을 동시에 가지는 중첩 상태를 표현하는 양자 특유의 큐비트(qubit) 단위 연산을 지원하는 고난도의 컴퓨팅 능력을 지니고 있다.

양자컴퓨팅, 큐비트 쇼어알고리즘, 기존 암호체계 무력화

문제는 기존 사이버보안 수단을 대부분 무력화한다는 사실이다. 현재까지 개발된 최첨단의 공개키 암호화 알고리즘인 RSA와 ECC 역시 마찬가지다. 소인수분해와 이산대수 문제에 기반하여 안전성을 보장하고 있다.

사실 지금의 RSA 방식 역시 쉽게 깰 수 없을 만큼 어렵다. 즉, ‘모듈러 연산’으로 나머지만을 취하는 잉여계(residue) 시스템에서 위수를 구하는 것이 산술적으로 매우 난해하기 때문이다. 예를 들어 ‘10의4제곱mod47=62mod47=36’의 경우 10의 4제곱과 62를 47로 나눈 나머지는 36으로 같다는 뜻이다. 그러면 36이라는 나머지를 도출하는 숫자는 10의 몇제곱일까? 이런 물음에 처하면 쉽게 답을 구하기 어렵다. 이런 이산대수와 모듈러연산의 이치를 활용한 것이 지금의 암호화 알고리즘이다.

그러나 양자컴퓨터 상에서 동작하는 쇼어 알고리즘(Shor 알고리즘)은 예외다. 이처럼 답을 구하기 어려운 문제를 어렵잖게 풀고, 암호를 해체하며 침투할 수 있는 것이다.

서화정 한성대학교 융합보안학과 교수는 정보통신기술협회를 통해 공개한 보고서에서 그 특징을 간략하면서도 이해하기 쉽게 소개한 바 있다. 이에 따르면 양자컴퓨팅은 “예를 들어 RSA의 경우 보안강도에 해당하는 비트의 약 2배에 달하는 큐비트와, 이에 대응되는 쇼어 알고리즘의 회로 ‘depth’를 안정적으로 수행할 수 있다”는 것이다.

그래서 “RSA 해킹이 손쉽게 가능해진다.”면서 “점차 가시화되어가고 있는 고성능 양자컴퓨터 환경에 대비하기 위해서는 기존의 공개키 암호화 시스템이 아닌 ‘양자 내성을 가진 암호’로 시급히 전환해야 한다”고 주문했다.

다급해진 미국, 한국 등 공모전 통해 기술 확보 시도

이처럼 양자컴퓨터가 현행 암호 시스템을 붕괴시킬 우려가 커지자, 지난 2017년 초 미국 NIST(표준기술연구소, National Institute of Standards and Technology)는 급기야 양자내성암호 공모전까지 열었다. 오랜 심사를 거쳐 2022년에 비로소 1차로 표준화 양자내성암호화 알고리즘을 선정했다.

당시 선정된 표준화 알고리즘은 총 4종류였다. 키교환 알고리즘인 ‘CRYSTALS-Kyber’, 전자서명 알고리즘인 ‘CRYSTALS-Dilithim’, ‘Falcon’, ‘SPHINCS+’ 등이다. 서 교수는 다만 “키교환 알고리즘은 격자 기반 하나에만 의존할 수 없으므로, 추가로 ‘BIKE’, ‘Classic McEliece’, ‘HQC’ 중에서 선정하는 작업을 진행하고 있다”고 전했다.

NIST는 또 전자서명 표준 선정을 위한 공모전을 추가로 진행하고 있다. “1차 표준 알고리즘들이 격자 기반에 치우쳐 있기 때문에 다른 기반 문제를 선정하기 위한 움직임으로 사료된다.”는 서 교수의 해석이다. 그 결과 추가 공모전의 1라운드 후보는 지난해 7월 17일에 발표되었으나, 일부 알고리즘(3WISE, EagleSign, KAZ-SIGN, Xifrat1-Sign.I)은 발표 직후 취약점이 보고되었다는 지적이다. 그 내용은 (표)와 같다.

서 교수는 “양자내성암호의 실용화를 위해선 무엇보다 컴퓨터 상에서의 연산 효율성이 매우 중요하다”면서 “이에 알고리즘의 효율성과 구현 적합성을 확인하기 위해 PQClean, pqm4와 같은 프로젝트가 함께 진행되었다.”고 소개했다.

PQClean 프로젝트는 NIST 양자내성암호 후보 알고리즘의 구현을 위한 적합성을 확인하고, 성능을 측정하기 위한 것이다. 이는 모든 알고리즘의 소스코드를 분석하며 구현상의 문제점을 분석하였다. 알고리즘이 가지는 취약점이 없더라도, 구현이 잘못될 경우 또다른 취약점으로 이어질 수 있기 때문이다.

그중 pqm4는 임베디드 장비에 국한된 벤치마크 플랫폼이다. 특히 32-비트 ARM Cortex-M4 상에서 양자내성암호 알고리즘의 구현 성능을 점검하는 라이브러리다. 32-비트 ARM Cortex-M4에서 구현하는 시험을 한 것은 NIST의 양자내성암호 벤치마크 요구사항에서 제시되었다. 즉, 저전력 프로세서이기 때문에 양자내성암호의 임베디드 포팅 여부를 가늠하는 방안으로 적합하다는 판단을 한 것으로 해석된다.

한국에서도 자체 표준 선정을 위한 양자내성암호 공모전 KpqC를 열고 있다. 이는 1라운드 진출 알고리즘 16종류를 2022년 12월에 발표했다. 당시 제출된 알고리즘은 Public Key Encryption/Key Encapsulation Mechanism 등 7개다. 대체로 격자 기반 알고리즘이 많이 제출되었으며, 다음엔 코드 기반 알고리즘이 다수를 이루고 있다. (표2)

양자내성암호 전환 위해 ‘총체적으로 OS 바꿔야’

또 한가지 중요한 문제가 있다. “만약 양자내성암호가 표준화되면, 현행 암호시스템을 양자내성암호로 빠르게 전환해야 하는 이슈”가 그것이다.

암호화 알고리즘을 빠르게 전환하기 위해서는 기업 내의 암호화 알고리즘을 파악하고, 이를 ‘암호화 인벤토리(cryptographic inventory)’化 해야 한다. 메모리 성능 측면에서 양자내성암호는 기존 암호 알고리즘들에 비해 키사이즈와 암호문 그리고 서명의 크기가 매우 큰편이다. 그 때문에 실제 네트워크에서 큰 전송 부하로 이어질 수 있다.

즉, 기존 프로토콜 및 시스템과의 호환성을 고려, 다양한 요구사항을 해결하는 것이 과제라는 얘기다. “단순히 현대 공개키암호를 양자내성암호로 교체하는 것을 의미하지 않는다”는 지적이다.

실제로 미국의 NIST는 “양자내성암호로 전환하는 과정에서 암호화 라이브러리, 검증 도구, 하드웨어, 운영체제, 응용 프로그램 코드, 통신 프로토콜과 같은 광범위한 부분에서 변경이 필요함”을 강조했다. 이와 관련된 보안 표준, 절차, 모범 사례 문서들도 수정하고 교체해야 한다는 주문이다.