만화영화와 IT: 동쪽의 에덴과 증강현실(AR)

ⓒ Eden of the East Production Committee

얼마전, 후지 TV의 애니메이션 전문 방영 시간대인 노이타미나를 통해 방영되며, 좋은 반응을 얻었던 카미야마 켄지 감독의 작품 동쪽의 에덴.

2010년이라는 비슷한 시간대에서 벌어지는 가상의 세계관을 다룬 이 작품은, 미스터 아웃사이드라는 정체불명의 인물로부터 특수한 휴대폰을 통해 100억엔의 전자화폐를 자유롭게 사용하며, 쥬이스라는 정체불명의 여성 비서를 통해 어떤 문제든지 해결할 수 있는 능력을 부여받은 12인의 세레손들이 일본을 구하기 위한 구세주가 되어야 한다는 다소 황당무게한 임무를 부여받은 상황에서, 기억을 잃어버린 세레손 중의 한명인 타키자와 아키라가 모리미 사키라는 평범한 취업준비 중인 대학생 아가씨를 만나게 되면서 벌어지는 이야기를 미스테리하면서도 다소 가볍고 코믹한 터치로 다루고 있습니다.

정체불명의 10발의 미사일이 떨어진 일본, 그럼에도 불구하고 일본인들은 평온한 삶 속에서 살아가고 있는데요. 그런 평온함 속에서도 일자리를 구하지 못한 체 직업에 대한 의지도 없어져 버린 수많은 NEET 족들이 범람하는 일본의 사회를 구한다는 명목으로, 엄청난 자금과 힘을 얻게 된 세레손들이 '노블리스 오블리제(가진 자의 의무)'라는 명제 속에서 어떤 식으로 세상을 구하려 하는지에 대한 이야기와 함께, 작품 속에서 하나의 사회 문제로 대두된 NEET 족, 그리고 스스로 기억을 지운 체 이 모든 위험을 헤쳐나가는 주인공 타키자와 아키라의 이야기는 오랜만에 온전히 스토리에 포커스를 맞춰 아니메를 볼 수 있는 기회가 되었습니다.(너무 짧아서 조금 스토리가 급진행되는 감이 없지 않아 있었지만.)

특히, 이 작품에서 등장하는 사키 일행들이 개발한 화상 검색엔진인 동쪽의 에덴은 휴대폰에 설치된 카메라를 통해 촬영(내지는 보여지고 있는) 영상을 웹 상에 실시간으로 올려 그 검색결과를 휴대폰의 화면에 오버래핑 시킴으로써, 굉장히 진보된 개념의 모바일 검색 엔진을 표현하지 않았나 싶은데요. 이 기술이 단지 만화영화 속에 등장하는 상상의 기술이 아닌 실제 구현이 가능한 단계까지 와 있는 기술이라는 점에서 또다른 흥미를 주지 않을 수 없습니다.

오늘은 바로 동쪽의 에덴에서 등장했던 화상 검색엔진의 모티브라고 할 수 있는 증강현실(AR: Augmented Reality) 기술을 아니메와 함께 이야기 해보는 시간을 갖고자 합니다. (물론, 아주 디테일한 기술적 레벨까지 다루는 것이 아닌, 많은 사람들이 쉽게 접할 수 있는 수준 정도로만 다루도록 하겠습니다. 저도 자료를 본 게 몇 개 안되는지라...)


증강현실, 모바일 아니 모든 IT 기기의 새로운 인터페이스가 될 것인가.

가상현실이라는 단어는 굳이 해당 기술에 대한 전문가가 아니더라도 상당히 우리에게 널리 퍼진 개념입니다. 가상의 입체공간에 현실감을 불어 넣어 사용자들이 마치 실제 현실 속에서 행동하는 듯한 느낌을 주는 그래픽 인터페이스를 의미하는 것이죠. 궁극적으로는 영화 매트릭스에서 보여진 것과 같이 가상인지 현실인지를 구분하지 못할 정도로 시각 뿐만 아닌 모든 감각기관에 자극을 주는 것이겠지만, 현재로서는 상당히 현실과 가깝게 묘사된 온라인 게임 속에서 자신의 아바타를 이용하여 역할을 수행하거나, 비행기 조종 시뮬레이터를 통해 실제와 똑같은 환경으로 비행조종 연습을 할 수 있는 등의 범위에 국한되고 있습니다.

이런 가상현실과 비슷한 개념이지만, 증강현실은 조금 다른 방향성을 갖고 있습니다. 가상현실이 인간을 가상공간에 초대하는 형태라면, 증강현실은 가상의 인터페이스와 가상의 객체를 인간이 살고 있는 현실세계로 끌고 나온, 어떻게 보면 가상현실과는 정반대의 방향성을 갖고 있는 개념인 것이죠. 자신이 어떤 사물을 눈으로 보고 있는데, 갑자기 옆에서 가상의 캐릭터가 등장하여 보고 있는 사물의 명칭, 용도, 가격, 제품라인, 판매처 등에 대한 정보를 음성이나 팝업 메시지로 알려준다면 어떨까요? 바로 이것이 증강현실의 궁극적인 완성형 중 하나라고 할 수 있을 겁니다. 자신이 살고 있는 현실세계에 가상의 캐릭터와 가상의 사물이 등장하는 것 말입니다.

그러나, 개발초기부터 이러한 형태로의 개발은 분명 불가능한 이야기였기에 현실적으로는 다음과 같은 방법으로 증강현실을 제공하게 됩니다. 가상현실이 오감 자체에 영향을 미치기에는 기술적 수준이 아직 미비했기에 컴퓨터와 같은 IT 기기를 이용한 것처럼, 증강현실은 이러한 가상의 캐릭터를 사람들에게 보여주기 위해 바로 이 기기를 사용하게 됩니다. 모바일 기기, 즉 휴대폰인 것이지요.

초기 증강현실 장비인 MARS(좌)와 DWARF(우) (from 모바일 증강시스템에 대한 연구동향, 광주과학기술원)

물론, 애초부터 증강현실이 휴대폰에 적용되기에는 무리가 있었습니다. 증강현실의 개념이 등장하던 당시에는 휴대폰에 카메라가 부착된다는 것은 엄두도 내지 못하던 시절이었고, 증강현실을 위해 필수적으로 구비되어야할 이미지 인식, 3D 처리와 같은 고성능의 시스템을 필요로 하는 이미지 처리 작업을 해낼 수 있는 휴대폰이란 것은 상당히 요원한 이야기였지요. 그래서 초창기에는 노트북을 등에 매고, 고성능 카메라를 어깨나 머리에 매단 체, 특수 고글을 쓰고 처리된 영상을 고글에 투사하는 형태의, 지금의 관점에서 보면 다소 우스꽝스러운 모습으로 증강현실이 구현되곤 하였습니다.

그러나, 21세기를 맞이하여 카메라 폰, 그것도 몇백만 화소급의 고성능 카메라가 휴대폰에 내장되고, 고화질의 영상을 쉽사리 재생할 수 있는 고성능의 CPU와 고화질의 LCD가 속속 휴대폰에 적용되기 시작하면서 상황은 바뀌기 시작합니다. 증강현실이 모바일 기기에 적용될 수 있는 여건이 조금씩 조성되기 시작한 것 입니다. PC에서 점차 휴대 IT 기기로 그 흐름이 바뀌면서 증강현실 기술은 좀 더 빠르고 쉬운 형태의 인터페이스로 사람들에게 정보를 전달할 수 있게 하는 가능성을 보여주기 시작합니다. 

증강현실의 다양한 사용예 (image from flickr.com)

증강현실의 기술을 적용하면 거리에서 휴대폰으로 촬영한 영상을 통해 각 건물에 입점해 있는 상점과 식당들의 정보(메뉴, 가격, 인테리어 및 사람들의 평가 등등), 지나가는 자동차의 성능, 행인들의 옷이나 악세사리에 대한 가격과 판매처, 유서깊은 관광명소에 대한 간단한 정보 등을 휴대폰의 LCD 화면을 통해 간단하게 알아낼 수 있습니다. 

이뿐만이 아닙니다. 전용 모바일 기기가 장착된 고글을 쓰고 의사가 수술에 임하면 고글에서 각종 수술에 관련된 정보와 그래픽 영상이 나타나 수술에 도움을 주게 됩니다. 의료분야 뿐만 아니라, 교육분야에서도 이러한 증강현실을 이용한 다양한 시청각 교육이 가능합니다. 특수 고글을 쓰고 빈 공간을 바라보면 천체가 입체적으로 디스플레이 됩니다. 선생님이 그 중에서 은하계를 클릭하면 줌인을 통해 은하계의 구조가 학생들에게 확대되어 보여지게 되겠죠. 화성을 클릭하면, 다시금 줌인을 통해 화성의 확대된 모습과 위성들의 모습이 디스플레이됩니다. 이처럼 단순히 보는 것만이 아닌, 터치 센서 등의 활용을 통해 증강현실은 인터랙티브하게 활용될 수도 있지요.

그 밖에도 자동차나 비행기 등의 전면 유리에 HUD(Head Up Display) 등과 연계하면, 3차원 캐릭터들에 의한 내비게이션 및 각종 상태 정보의 확인이 가능할 겁니다. 또한, 공업 디자인이나 제품 설계시 증강현실을 활용하여 3차원적인 설계가 가능할 수도 있겠구요. 이러한 예는 영화 '마이너리티 리포트'나 '아이언 맨' 등의 3차원 인터페이스의 컴퓨터 등에서 그 모습을 잠깐 엿볼 수가 있습니다.


동쪽의 에덴에 등장한 화상 검색엔진을 구축하기 위해 놓여진 난제들

자, 이러한 증강현실 기술이 접목된 동쪽의 에덴의 화상 검색엔진을 구현할 때 어떤 과제와 문제점들이 우리를 가로막고 있을까요. (아차, 텍스트만 나열된다고 동쪽의 에덴의 화상 검색엔진이 증강현실이 아니지 않냐고 반문하시지는 마시길. 실제 현실의 영상과 가상의 텍스트/이미지 등이 결합된다는 점에서는 증강현실의 한 예라고 봐도 무리가 없습니다. 3D 그래픽 효과만이 빠졌을 뿐.)

일단, 엄청난 성능상의 발전을 이루어 왔음에도 불구하고 여전히 폰 카메라의 성능상의 한계가 큰 걸림돌 중 하나일 겁니다. 화소수는 높다하더라도 CMOS 센서의 특성상 어두운 곳에서의 화질 저하가 심하기 때문에 과연 정확한 영상인식과 처리가 가능할지가 관건일 테니까요. 그것은 비가 오거나 눈이 오는 악천후의 날씨도 마찬가지일 겁니다. 영상인식이 잘못되어 정확하지 않은 정보가 표시되는 경우에 대한 대비책도 있어야 할 겁니다.

동쪽의 에덴에서 사용된, 모바일 증강현실을 활용한 화상 검색엔진의 예. (ⓒ Eden of the East Production Committee)

 
영상 인식의 처리엔진을 휴대폰에 실을 것인지, 아니면 서버 쪽에 실은 것인지도 화두가 될 수 있습니다. 고성능의 휴대폰이라 하더라도 높은 프로세싱 능력을 필요로 하는 영상 처리는 머신에 부담을 주고 결과적으로 제품의 가격상승을 유발할테니까요. 촬영한 이미지를 서버에 보내면 서버가 이를 영상처리를 통해 분석하여 결과 정보를 보낸다면, 휴대폰의 하드웨어적 부담이 줄어들어 상대적으로 저렴한 가격으로 시스템을 만들어낼 수 있을 겁니다. 다만, 서버에서 이를 처리할 경우에는 서버 측의 부담이 가중될 수 있기에, 서버를 분산하여 운용하는 시스템적 고려가 필요할 수 있습니다. 기술의 발전속도를 감안하면 초창기에는 서버에서 영상 처리를 하다가 후에 휴대폰 쪽으로 이를 옮기는 순서로 갈 수도 있구요.

또한, 사용자가 현재 있는 위치를 측정하기 위한 GPS의 도입 역시 필요할 겁니다. 현재 있는 위치정보를 통해 좀 더 정확하고 빠르게 사용자가 보낸 영상 정보를 분석할 수 있을 테니까요. 현재 각광 받기 시작하는 LBS(Location-Based System: 위치기반 시스템)가 모바일에 적용되면 증강현실과 좋은 시너지 효과를 낼 수 있을 것입니다.

사진을 찍어 보낸 다음 그에 대한 검색 결과를 받을 수도 있지만, 실시간으로 촬영하고 있는 영상에 대한 검색 결과가 나타나는 것이 더 적합한 구현일 겁니다, 바로 동쪽의 에덴의 시스템처럼 말이죠. 이는 현재 서비스되고 있는 3G 영상통화보다 더 고화질의 영상 데이터를 전송해야 하는 것을 의미합니다. 그에 따른 통신속도 및 대역폭의 확보와 일반인들이 부담없이 사용할 수 있는 요금제의 마련 역시 중요한 이슈가 되겠지요. 어쩌면 이것이 가장 관건이 될 문제일런지도 모를 일입니다. 기껏 시스템을 만들었다고 하더라도 요금제가 너무 비싸 이용하지 않는 불상사가 발생하면 안될테니까요.

그리고, 이러한 영상 인식을 통한 해당 사물에 대한 검색 정보를 제공해야할 서버와 데이터베이스의 구축 역시 해결해야할 문제입니다. 기존의 검색엔진과의 연동만으로는 사용자들이 찍은 사진과의 비교 분석이 원활하지 않을테니까요. 같은 사물을 찍어도 모두 제각각의 각도와 밝기, 전혀 다른 환경에서 촬영할 수 있기에 그 모든 상황을 고려하여 정확한 정보를 제공할 수 있는 좀 더 확장된 개념의 데이터베이스가 구비되어 있어야 할 겁니다.

물론, 이 모든 정보에 대한 데이터베이스와 시스템을 특정 업체나 특정 컨소시엄의 구성을 통해서 제공한다는 것은 무리이겠지요. 이를 위해 사용자들이 찍은 영상 정보를 네티즌들과 모바일 유저들이 공유할 수 있는 모바일 웹 포탈이 구비되어야 할 것입니다. 이를 통해 유저들이 커멘트를 달면 그것이 영상을 찍은 사용자에게 피드백이 되어야 겠지요. 이것은 동쪽의 에덴의 시스템이 활용하고 있는 방식이기도 합니다. 즉, 누구나 참여가 가능한 오픈 시스템의 형태인 것이지요. 그리고, 이런 오픈 시스템의 도입에 따른 개인정보의 유출과 초상권 침해와 같은 문제들도 반드시 고려되어야 할 사항일 겁니다. 누군가 몰래 자신을 도촬하여 이를 증강현실 시스템을 통해 악용하거나 놀림거리로 삼는다면, 이 역시 또다른 심각한 사회문제가 될 수도 있을 터이니 말입니다.


증강현실. 그 새로운 가능성의 탐색

증강현실은 아직 상용화 단계라기보다는 여러 기업과 연구소에서 그 가능성을 모색하고 있는 단계입니다. 그만큼 발전 가능성이 풍부하며, 제대로 실현된다면 인터페이스의 새로운 혁명을 가져올 것으로 보입니다. 양방향성과 오감을 자극하는 인터페이스는 분명 우리의 세상을 지금과는 다른 형태로 꾸며낼 테니까요. 자신의 옆에 자신을 보좌하는 아바타 비서가 같이 걸어다니면서 정보를 제공하는 그런 세상은 상상만 해도 굉장히 특이한 경험이 될 듯 합니다. 물론, 이러한 인터페이스는 자칫 인간끼리의 소통에 점점 어려움을 느껴가는 현대인들의 습성을 더더욱 가속화시킬지도 모르겠지만 말입니다.

그럼에도 불구하고, 분명 기술의 발전을 위한 인간의 행보는 멈추지 않고 계속될 겁니다. 우리가 해야할 일은 우려와 걱정보다는 오히려 새로운 세상 속에서 인간다움을 잃지 않고 살아갈 방법과 대안을 찾아가는 것이겠지요.

© SHIROW MASAMUNE ~ PRODUCTION I.G / KODANSHA

전자두뇌와 사이보그 장기를 통해 가상현실(좌)와 증강현실(우)의 궁극적 진화형태를 보여주었던 공각기동대 SAC