2500년 전 고대 그리스 스파르타에서는 전쟁터에 나가 있는 군대에 비밀 메시지를 보내기 위해 ‘스키테일 암호’를 사용했다. 군대가 떠나기 전에 본국과 군대는 정확히 두께와 길이가 같은 둥근 나무기둥(스키테일)을 나눠 갖는다. 비밀 메시지를 전달할 때가 되면 본국은 가늘고 긴 리본형태의 양피지 두루마리를 빈틈없이 스키테일 표면에 둥글게 감싸 내용을 적은 뒤 양피지 두루마리를 스키테일에서 풀어내 전달한다. 그렇게 되면 글자들은 조각조각 흩어져 알아볼 수 없게 되고 오직 같은 스키테일에 양피지를 다시 감을 때에만 글자들은 온전한 모습을 되찾아 해독될 수 있다. 고대 전쟁에서부터 이용되던 암호는 인류 역사와 함께 진화해 이제 양자역학을 이용한 ‘양자암호 기술’로 발전하기에 이르렀다.

지난달 23일(화)부터 27일까지 부산 부경대에서 열린 아시아양자정보국제학술대회(AQIS)에 양자암호 기술의 창시자인 베넷 박사(IBM)와 브라사드 박사(몬트리올대)가 참가해 이목을 끌었다. 고안자의 이름을 딴 ‘BB84 프로토콜’은 최초의 양자암호 프로토콜로, 이미 실험을 통해 가능성이 입증됐다.

현재 인터넷 등에 쓰이고 있는 비대칭 공개키 암호체계는 송신자가 어려운 수학문제를 공개키로 사용해 정보를 암호화하고 그 해를 수신자가 비밀키로 해독하는 방법이다. 반면 양자암호는 스키테일 암호와 같이 양쪽 모두 같은 비밀키를 갖는 대칭 암호다. 그런데 스키테일처럼 원시적인 키(key) 형태를 갖는 대칭 암호는 동일한 나무기둥만 구하면 쉽게 해독할 수 있다. 결국 대칭암호는 얼마나 안전한 비밀키를 갖느냐가 중요하다. 양자암호는 1회용 난수표(one-time pad)에 근거한 비밀키를 이용하기 때문에 도청의 위험으로부터 매우 안전하다. 예를 들어 송신자가 보낼 메시지가 ‘001011’이라는 비트(bits)열로 표현되고 1회용 난수 비밀키 ‘101100’을 나눠가지면 송신자는 특정한 방법(두 숫자의 합을 2로 나눈 나머지)으로 암호화된 수열(‘100111’)을 보낸다. 수신자는 이를 다시 비밀키(101100)로 해독해 원래 메시지 비트를 얻는다.

하지만 난수 비밀키가 누군가에게 알려진다면 이 암호방식도 위험하지 않을까. 이때 양자역학이 힘을 발휘한다. 양자역학을 이용하면 안전한 비밀키를 수시로 다시 생성해서 0수신자와 송신자가 나눠가질 수 있고 도청의 순간 도청사실 또한 알아차릴 수 있다.

송신자를 갑, 수신자를 을 그리고 도청자를 병이라 하자. 갑과 을은 교환할 메시지(양피지에 적힌 글자)를 암호화 혹은 해독할 안전한 비밀키(스키테일)를 얻고자 한다. 각각의 키들은 빛을 양자화한 입자인 빛양자 혹은 광자(光子)의 편광상태로 대응시킬 수 있다. 편광이란 한정된 방향으로만 진동하는 광파다. 광자가 수직-수평으로 진동한다면 십자형으로 편광, ±45도로 진동한다면 X자형으로 편광됐다고 말한다. 각각의 숫자는 그것에 대응하는 광자 편광상태가 있다. ‘0’에는 ↔ 혹은 ⤢이, ‘1’에는 ↕ 혹은 ⤡이 대응한다.

우선 갑은 빛을 ↔ 혹은 ↕ 상태로 편광할 수 있는 십자형 편광분리기와 ⤡ 혹은 ⤢ 로 편광할 수 있는 X자형 편광분리기를 임의로 선택한다. 이때 각각의 편광분리기는 십자형 기저상태(basis)와  X자형 기저상태라 불린다. 이후 갑은 광자를 임의로 선택한 편광분리기에 통과시켜 각 키들을 그것에 대응하는 광자신호로 전환한다. 예를 들어 ‘1’을 보내고 싶으면 십자형 기저를 이용해 ↕ 신호를 만들거나 X자형 기저로 ⤡ 신호를 만들면 된다.

전환된 광자신호는 을에게 보내지고 을 역시 무작위로 기저상태를 선택해 받은 광자를 측정한다.

이제 갑과 을은 각자의 기저상태가 어떤지 공개적으로 논의한다. 이때 갑과 을은 서로의 기저상태가 일치하다고 동의한 키들만 보관하고 그렇지 않은 키는 삭제한다. 모든 과정을 거친 후 원래 길이의 절반으로 분할된 키 ‘1 1 0’을 선별키(sifting key)라 부르며 이는 도청으로부터 완전히 안전한 비밀키 역할(스키테일)을 한다.

예를 들어 갑이 십자형 기저상태에서 ↕를 보내고 을의 기저 역시 십자형 상태라면 반드시 광자신호를 ↕로 받게 되며 따라서 을은 ‘1’이라는 선별키를 얻는다. 하지만 을의 기저가 X자형 상태라면 ↕광자신호는 양자역학 원리에 따라 반드시 ⤡ 혹은 ⤢로 뒤틀려 측정돼 50%의 확률로 다른 숫자, 즉 ‘0’을 얻을 수 있다. 따라서 이러한 오류 가능성을 피하기 위해 서로의 기저상태가 일치하는 경우에만 갑과 을은 키를 보관하도록 약속한다.

만약 병이 중간에 갑이 보낸 광자신호를 차단하고 다시 을에게 신호를 전송하는 도청공격을 가한다면 어떻게 될까.

위 세 경우 모두 갑과 을의 기저상태가 일치하므로 원래대로라면 을은 세 암호키 모두를 보관할 것이다. 첫 번째 경우(위 삽화 1)는 병이 도청에 성공한 것이다. 하지만 병이 갑과 달리 X자형 기저상태라면 병은 갑이 보낸 ↔ 광자(0)를 뒤틀어서 ⤡ (위 삽화 2)혹은 ⤢(위 삽화 3)을 을에게 보낼 수밖에 없다. 병으로부터 어떤 광자신호를 받든지 을은 갑과 같은 기저상태임에도 불구하고 50%의 확률로 갑과 다른 키를 얻게 된다. 즉 갑과 을은 서로의 기저상태를 확인한 후 최종적으로 서로의 선별키 조합을 비교하는데 키가 일치하지 않는 경우가 하나라도 발생하면 도청 당했다는 사실을 감지할 수 있다. 도청을 감지했다면 갑과 을은 모든 키를 버리고 새로운 난수표를 작성해 다시 비밀키를 교환한다.

을과 갑의 기저상태가 일치(2/4=1/2)하면서 최종 숫자도 같을 확률(1/2)은 1/2 × 1/2 = 1/4이고 따라서 도청당하지 않았다고 확신할 수 없는 확률은 1-1/4=3/4이다. 그런데 도청당하지 않았다고 확신할 수 있는 확률은 1-(3/4)n이므로 기저상태가 같은 수열의 개수(n)가 늘어날수록 빠르게 1에 접근한다. 조사하는 경우의 수가 많을수록 도청 가능성은 줄어드는 것이다.

김재완 교수(고등과학원 계산과학부)는 “기존 비대칭 암호체계는 수학적 계산 복잡성에 기초해 있지만 컴퓨터가 발전함에 따라 시간이 지나면 공개키가 풀릴 수 있다”며 “양자암호는 양자역학이라는 자연법칙을 따르므로 절대적으로 안전하다”고 말한다.

이처럼 도청자의 존재까지 탐지할 수 있는 양자암호 기술은 이미 미국, 유럽, 일본 등지에서 많은 재정 지원을 받으며 발전하고 있다. 김윤호 교수(포스텍 물리학과)는 “양자암호기술은 양자정보과학기술의 기초 기술로서 통신· 보안· 금융, 그리고 양자컴퓨터 기술로의 응용 가능성도 있다”고 말했다.

하지만 이에 대한 국내 투자는 상대적으로 미미하다. 양자정보기술을 전문적으로 연구하던 한국전자통신연구원(ETRI) 역시 약 5년 전에 재정투자 부족으로 양자정보통신부를 폐쇄했다. 이에 대해 ETRI 홍보팀 박상규 연구원은 “기초연구에 속하는 양자암호기술이 다른 부서에 비해 가시적 성과를 내지 못했기 때문으로 보인다”고 말했다. 김재완 교수는 “아직 양자암호 기술이 실용화되긴 이르지만 최근 빈발한 해킹 사건들을 비롯해 국내보안 개선 등을 위해 많은 연구진들이 포진 중”이라며 양자암호 기술에 대한 관심을 촉구했다.