암호 해석의 원리는 무엇일까. 현재 널리 사용되는 암호 시스템은 ‘공개키’ 방식이다. 그 원리는 우편함과 열쇠로 설명할 수 있다. 각 가정은 우편함과 열쇠를 가지고 있다. 우체부가 우편함에 편지를 넣는 것은 아주 쉽지만 우편함에서 편지를 꺼낼 때는 해당하는 열쇠가 있어야 한다. 여기서 우편함에 해당하는 것이 공개키고 우편함의 열쇠가 비밀키다.

◇국내 암호학의 발전기=2000년대 초 IT(Information Technology)산업이 성장하면서 국내 암호학도 함께 발전했다. IT산업의 부흥과 함께 정보보안이 중요해졌고 암호에 대한 수요가 늘어났기 때문이다. 이전에 통용되던 암호화 방식은 미국 표준에 따른 것이었다. 유럽, 아시아에서는 국가 기밀문서 등 중요 문서를 암호화해 전송하려 하더라도 미국이 이를 복호화할 가능성에 대한 우려가 적지 않았다. 고기형 교수(한국과학기술원 수리과학과)는 “아시아와 유럽은 미국 중심의 암호 체계에서 독립할 필요성을 느꼈다”고 설명했다.

이러한 움직임 속에서 한국 암호학계는 암호화 시스템의 원천 기술을 확보했다. 천정희 교수(수리과학부)와 고기형 교수는 지난 2000년 ‘땋임이론’ 기반 공개키 암호 시스템을 개발했다. 미국에서 개발된 시스템이 정수론에 근거한 것과 달리 이 시스템은 기하학적인 도형을 숫자로 환산하는 ‘땋임이론’에 기초하고 있기 때문에 기존 암호화 시스템을 대체할 수 있다. 이 연구결과는 그 독창성을 인정받아 정보보호 분야에서 가장 권위 있는 국제 학회인 ‘크립토 2000’에서 발표논문으로 채택되기도 했다. 암호화 시스템은 암호 노출 시 치명적인 보안문제를 일으키므로 철저한 검증 과정을 거쳐야 한다. 현재 사용되고 있는 공개키 암호화 시스템도 지난 20년 동안 검증을 거친 후 상용화됐다. 지난 2003년, 2005년에 땋임이론 기반 공개키 암호 시스템의 안전성에 대한 반론도 제기됐지만 아직까지 큰 결점은 발견되지 않았다.

◇국내 암호학의 연구동향=암호학의 핵심은 암호를 해독할 수 없도록 하는 것이다. 현재 공개키 암호 시스템에서는 암호를 깨트리려면 천문학적 시간이 걸린다. 하지만 양자컴퓨터가 등장하게 되면 기존 암호 체계는 쉽게 무너지게 된다. 병렬처리가 가능한 양자컴퓨터는 현재 컴퓨터와는 달리 수많은 계산을 동시에 할 수 있기 때문이다. 현재 컴퓨터 100대를 사용하면 기껏해야 100배가 빨라지지만 양자컴퓨터는 10대가 모이면 처리 속도가 1024배 정도 빨라진다.

양자컴퓨터가 등장했을 때 필요한 암호 시스템은 암호를 깨트리는 계산 자체가 불가능한 것이어야 한다. 최근 새롭게 주목받고 있는 양자 암호가 그 대안이지만 이를 기술적으로 구현하기 위해서는 많은 어려움이 따른다. 양자 암호를 구현하기 위해서는 광자를 하나씩 만들어 내는 기술과 광자를 장거리로 이동시키는 기술 등이 필요하기 때문이다.

암호학을 실생활에 적용하기 위한 연구도 진행 중이다. 최영주 교수(포항공대 수학과)는 초타원 연구를 이용한 암호프로젝트를 진행하고 있다. 초타원을 활용한 방식은 모바일 계통의 암호화에 활용될 수 있는 것이 장점이다. 필요한 정보가 적어 메모리를 적게 사용하는 초타원 기반 암호화시스템은 큰 용량의 메모리를 사용할 수 없는 모바일에 적격이다.

◇주춤하는 암호학, 그 활로는?=연구성과에도 불구하고 최근 암호학은 주춤거리고 있다. 국제 암호학대회인 ‘아시아크립트 2008’에서 천정희 교수가 최우수논문상을 수상하는 등 선전하긴 했지만 전반적으로 학회에 발표되는 논문 수가 2000년대 초에 비해 현저히 줄어들고 있는 것이다. 일례로 우리나라가 개발한 ‘땋임이론’ 기반 공개키 암호 시스템은 더 이상 국내에서 연구되지 않고 있다. 오히려 미국 뉴욕시립대나 스티븐스 공대에서 활발히 연구가 진행되고 있는 실정이다. 암호학은 학문의 특성상 수학, 물리학, 컴퓨터공학 등 많은 학문들을 섭렵해야 한다. 고기형 교수는 “미국, 프랑스 등에서는 학자들이 자신의 전공을 넘나드는 연구를 하고 있다”며 “최고의 연구 성과를 내기 위해선 우리나라 학자들도 자신의 분야 이외의 연관된 학문도 깊게 연구할 필요가 있다”고 말했다. 한편 최영주 교수는 “응용분야에 가까운 암호학이 발전하기 위해서는 기초 토대가 되는 수학 등의 이론을 더 연구할 필요가 있다”고 말했다. 암호학 연구가 기술적인 분야에 치중했기 때문에 발전에 한계가 있다는 분석이다. 실제로 최 교수는 암호학의 바탕이 되는 ‘보형형식 이론’을 연구 중이다. 테니스 선수가 기초 체력을 쌓지 않고 기술 연습에만 치중하면 그 실력은 오래가지 못한다. 국내 암호학 역시 예외는 아니다.