[특집] 증강현실 기술의 현주소를 짚다

오늘은 2학기 개강일이다. 아침 전공 수업 시간에 맞춰 침대에서 일어나 책상 근처에 앉으니 눈앞의 유리창에 강의실이 3차원으로 나타난다. 교수님이 화성을 설명할 때 강의실이 화성 표면으로 바뀌어 보인다. 수업이 끝나고 어제 열린 축구 경기 하이라이트를 보기 위해 HMD*를 쓰자 득점한 선수가 내 앞에 나타나 나를 향해 공을 찬다. 물리학리포트를 쓰기 위해 아인슈타인을 검색하자 그가 내 앞에서 직접 자신의 이론을 설명해준다. 팀 과제 회의 시간이 되자 소파에 3차원으로 팀원들이 나타난다. 운동을 위해 집을 나서니 포켓몬들이 돌아다니고, 포켓몬을 잡을 때마다 내가 소비한 열량이 안경에 표시된다. 밤에 잠자리에 들면 광활한 우주가 펼쳐진 천장을 바라보며 서서히 눈을 감는다.

 

포켓몬고는 시작에 불과하다

증강현실(AR, Augmented Reality)은 이 모든 것을 가능하게 한다. 최근 상용화되고 있는 가상현실(VR, Virtual Reality)이 가상 정보만으로 이뤄져 있는 것과 달리, 증강현실은 현실 정보에 가상 정보가 합쳐지기 때문에 구현하기가 더 어렵다. 이 때문에 증강현실은 가상현실보다 5~10년 정도 발달이 늦어서 작년까지만 해도 기대가 낮았지만, 올해 7월 출시된 포켓몬고와 더불어 증강현실에 사람들의 이목과 투자가 다시 집중됐다. 한국과학기술연구원 황재인 선임연구원은 “이번 포켓몬고 현상은 증강현실 자체의 힘과 가능성을 보여준다”고 평가했다.

증강현실이 상용화되면 사람은 더 실감 나게 가상을 경험할 수 있다. 이는 그래픽이 좋은 영화 한 편을 보거나 게임을 할 때 실감 난다고 느끼는 정도와 말 그대로 ‘차원’이 다르다. 현 기술로는 영화나 게임 속 캐릭터가 2차원 화면에 머물러 있어서 아무리 화질이 좋아도 가상 캐릭터는 가상 세계에서 벗어나지 못한다. 하지만 증강현실은 가상 세계에만 머무르던 가상 캐릭터를 3차원 현실 세계로 탈출시켜 우리가 사는 현실에 존재하게 할 수 있다. 토끼가 풀밭에서 뛰어다니듯 가상의 피카츄가 현실의 공원 위에서 뛰어다니게 된다. 화상통화도 상대의 얼굴만 보며 대화하는 것이 아니라 상대방이 실제로 옆에 있는 것처럼 나타나 대화할 수 있다.

단순한 감각의 만족을 넘어서 증강현실은 유의미한 정보를 현실과 겹쳐서 업무를 도와줄 수 있다. 엔지니어는 실제 물체 위에 가상 설계도를 겹쳐 보며 오류를 더 쉽게 확인할 수 있고, 의사는 수술 시 절개 부위를 쉽게 확인하고 피부에 가려 보이지 않는 기관을 보며 집도할 수 있다. 이렇듯 증강현실은 가상을 현실로 가져옴으로써 현실을 확장할 수 있으므로 가상현실보다 더 많은 가능성을 갖고 있다. 스마트폰이 여러 전자기기의 정보를 모았다면, 증강현실은 한데 모인 정보들을 현실과 직접 연결한다. 확장된 현실이 가져올 높은 가치를 인정하며, 영국 게임 투자은행 디지캐피탈은 증강현실이 가상현실보다 약 4배 큰 규모의 시장을 형성할 것으로 전망했다.

 

2차원 이미지로 입체감을 얻는다

이처럼 증강현실에 많은 기대가 쏠리고 있지만 이를 구현하는 일은 만만치 않다. 우리가 증강현실을 실감 나게 느끼려면 시각에서 입체감을 느껴야 한다. 사람이 입체감을 느끼는 가장 이상적인 방법은 영화 「스타워즈」의 3차원 홀로그램처럼 아예 빛으로 된 물체를 만드는 일이지만 이는 아직 불가능하다. 현재로써는 2차원 그래픽을 마치 3차원처럼 느끼게 만드는 기술이 최선이다. 이는 보이는 각도에 따라 적절하게 2차원 그래픽을 바꿔주면 가능하다. 우리가 TV 영상을 2차원이라고 받아들이는 이유 중 하나는 몸을 좌우로 움직여도 TV 속 물체의 옆면이 보이지 않기 때문이다. 만약 몸을 좌우로 움직일 때 TV 속 물체의 옆면이 보이면 사람은 그것을 3차원으로 느낀다. 그러므로 사람이 가상물체를 바라보는 위치와 방향에 따라 이미지를 알맞게 보여주면 2차원 이미지를 보더라도 3차원을 본다고 느낄 것이다.

3차원 피카츄를 보여준다면 사람이 포켓몬을 보는 방향에 따라 이미지가 달라지도록 하면 된다. 먼저 포켓몬의 얼굴과 체형, 색깔까지 3차원 좌표 공간에 입력해 가상 모델을 모델링 기술로 만든다. 사람은 이 3차원 피카츄를 2차원 화면을 통해서만 볼 수 있다. 그러므로 마치 3차원 피카츄가 보이는 것처럼 만들기 위해 보는 각도에 따라 2차원 이미지가 다르게 나타나도록 하는 렌더링 기술을 사용한다. 가상 물체가 아니라 실제 축구 선수를 보여준다면 가상 모델을 만드는 과정이 필요 없다. 대신 선수 주위를 빙 두르도록 여러 카메라를 설치해 선수를 보는 각도에 맞는 카메라의 영상을 보여주면 된다. 조재범 씨(전기정보공학부 박사과정·13)는 “축구를 중계할 때 지금은 카메라가 한 번에 한 방향만 찍지만, 모든 방향을 찍어서 한 번에 전송해놓고 시청자가 방향을 바꿀 때 카메라를 바꾸면 3차원이 된다”고 설명했다.

사용자가 마이크로소프트사의 증강현실 기기인 ‘홀로렌즈’를 쓴 채 웹서핑하는 장면이다. 마이크로소프트사는 홀로렌즈를 사용하면 모니터 안에서만 즐기던 컴퓨터 게임 마인크래프트를 현실의 책상 위에서 즐기거나, 미식 축구 경기 속 선수의 형상을 눈 앞에서 직접 관람할 수 있다고 발표했다. 한국과학기술연구원 안상철 연구원은 “증강현실이 제대로 구현된다면 생활 자체가 많이 바뀔 것”이라고 설명했다.

현실을 추적해 가상과 연결한다

증강현실을 구현하기 위해서는 이 3차원 그래픽을 알맞은 현실 공간에 배치해야 한다. 이것이 가능해지려면 현실에 있는 물체의 위치와 방향, 거리 등을 추적하는 기술이 필수적이다. 뒤를 돌아봤을 때도 앞에 있던 피카츄가 계속 보이면 현실처럼 느껴지지 않을 것이다. 이를 막으려면 증강현실 장치가 특정 위치를 추적한 다음, 피카츄가 바로 그 자리에서만 보이도록 해야 한다. 가장 널리 알려진 추적 방법은 포켓몬고가 사용하는 GPS와 센서다. GPS는 본래 오차가 커서 초기에 포켓몬의 위치를 대강 확인할 때 사용되고, 포켓몬을 포획할 때 센서로 스마트폰 방향을 계산해 포켓몬이 바닥에 알맞게 나타나도록 한다.

더 쉬운 방법은 가상 물체가 놓일 위치를 미리 표지해놓는 방법이다. 만약 사람 손 위에 피카츄를 올려놓는다면, 사람 손에 표지를 미리 달아놓아 쉽게 피카츄를 올려놓을 수 있다. 마이크로소프트의 홀로렌즈는 아예 실시간으로 주변을 3차원 스캔해 현실을 추적한다. 홀로렌즈가 쏜 적외선이 주변 물체에 반사돼 나오면, 이를 바탕으로 현실을 재구성한다. 조재범 씨는 “구글 글래스는 2차원 텍스트 이미지만 조그맣게 띄워주는 정도지만, 실시간으로 현실을 3차원 스캔하는 홀로렌즈는 이미지를 특정 위치에 알맞게 띄울 수 있다”고 설명했다.

주변의 위치를 추적하면 조도나 물체 간의 관계까지 계산할 필요가 있다. 현실의 물체는 조명에 따라 그림자가 생기거나 색상이 어두워지므로 조도도 측정해야 더욱 현실감을 높일 수 있다. 황재인 연구원은 “가상현실은 모든 게 가상이기 때문에 가상의 태양이 어디 있는지 이미 알고 있어서 어디에 그림자가 생길지 쉽게 알 수 있지만, 증강현실은 실제 태양이 어디에 있는지 실시간으로 찾아야 한다”고 설명했다. 더 나아가 가상 물체 앞에 현실의 물체가 있다면 그에 맞춰서 가상 물체의 일부분이 보이지 않게 가리기도 해야 한다.

 

 

 

 

현실에 가까워지기 위한 발걸음

영화에서 보는 것처럼 일반인이 자유자재로 증강현실을 사용할 날까지는 아직 발전해야 할 부분이 많다. 무엇보다 사람들이 일상생활에서 사용하고 싶게 만드는 일이 가장 중요하다. HMD는 평상시 머리에 착용하기에는 아직 너무 크다. 이를 소형화하기 위해 연구자들이 노력하고 있지만 가상 영상을 현실에 알맞게 띄우려면 부품들이 공간을 차지할 수밖에 없다. 이병호 교수(전기정보공학부)는 “스마트 워치 같은 웨어러블 디바이스도 아주 성공하지는 못했다”며 “사람들이 과연 안경을 쓸 것인지는 어려운 질문”이라고 말했다.

이런 문제를 극복하기 위해 여러 연구가 진행되고 있다. 서울대 전기정보공학부 광공학 및 양자전자연구실에서는 아예 장치를 착용하지 않고도 3차원이 구현되는 디스플레이 기술을 개발하고 있다. 먼저 앞에 있는 스크린과 뒤에 있는 스크린에 각각 서로 다른 이미지를 띄운다. 앞에서 볼 때는 앞모습이 보이게 두 이미지를 겹치고, 옆에서 볼 때는 옆모습이 보이게 두 이미지를 겹친다. 이렇게 보는 방향에 따라 두 이미지를 겹치는 정도를 계산해 알맞은 이미지를 투사하면 입체감이 생긴다. 이승재 씨(전기정보공학부 석사과정·15)는 “직관적으로는 3차원 물체를 일련의 과정을 거쳐 두 장으로 쪼갠 것”이라고 설명했다.

디스플레이 외에 더욱 발전이 필요한 기반 기술들도 있다. 한국과학기술연구원 안상철 책임연구원은 “사람이 영상을 자연스럽다고 느끼려면 1초에 30번 이상 프레임을 줘야 한다”며 “증강현실이 자연스러워지려면 물체 추적부터 그래픽 합성, 디스플레이까지 한 프레임당 33㎳ 내에 해결해야만 한다”고 설명했다. 거기다 사람은 0.05초만 영상이 뒤처져도 이상하다고 느끼기 때문에 영상 정보를 빠르게 띄워줄 필요가 있다.

따라서 증강현실 장치가 사람이 취한 행동을 인식한 후 그에 반응해 사람과 상호작용하려면 컴퓨터 정보처리 속도가 더욱 빨라져야 한다. 예컨대 피카츄 머리를 쓰다듬을 때 피카츄가 미소 지으려면, 손을 좌우로 흔드는 행동이 피카츄 머리를 쓰다듬는 행위임을 인식하고 그에 맞춰 피카츄가 미소 짓도록 영상을 처리하는 과정이 필요하기 때문이다. 이병호 교수는 렌더링 기술과 추적 기술, 행동 인식 기술, 영상 처리 기술까지 “모든 게 실시간으로 이뤄져야 한다”며 “증강현실은 한 연구실에서 다 할 수 있는 연구 분야가 아니다”라고 설명했다.

 

 

아직은 증강현실이 상용화가 되는 데 어려움이 있지만 언젠가 증강현실로 인해 사람들이 가상과 현실을 구분하지 못하는 날이 올지도 모른다. 이는 현실과 가상에 어떤 자세를 취해야 할 것이냐는 더욱 심오한 문제를 우리에게 남긴다. 미디어 철학자 귄터 안터스는 현실도 아니고 가상도 아닌 세계가 현실을 사라지게 만들 것이라고 경고했다. 하지만 또 다른 미디어 철학자 빌렘 플루서는 가상과 현실이 모호해지는 시대에도 인간이 상상력과 잠재력을 보이며 가치를 만들어낼 수 있다고 주장했다. 가상이 현실성을 획득하는 기술복제시대에 우리는 증강현실을 거짓된 세계로만 볼 것인지, 가치를 창조하는 제3의 공간으로 볼 것인지 고민해볼 필요가 있다.

 

*HMD(Head Mounted Display): 머리에 착용하는 가상현실 또는 증강현실 기기

삽화: 박진희 기자 jinyhere@snu.kr

사진출처: 마이크로소프트


 

저작권자 © 대학신문 무단전재 및 재배포 금지