HYPER VISION
The world’s hottest startup isn’t located in Silicon Valley—it’s in suburban Florida. KEVIN KELLY explores what Magic Leap’s mind-bending technology tells us about the future of virtual reality.

플로리다 주 Fort Lauderdale의 따분한 교외, 평범한 사무실 빌딩에서 뭔가 특별한 일이 일어나고 있다. 내부에 들어가면 최소 휘도의 사무실과 무리지은 책상들, 비어 있는 회전 의자와 함께, 외계 행성에서 내려온 무려 8-인치 짜리 로봇 드론이 화분 앞에서 가슴께 높이로 맴돌고 있다. 귀여운 스팀펑크면서 정밀한 분위기다. 걸어 다니면서 어떤 각도로도 볼 수 있으며, 화려한 아래를 보기 위해 쭈그려 앉을 수도 있다. 고개를 숙이니, 조그마한 파이프와 돌출된 접촉자가 보인다. 금속 표면을 "갈아버리는" 소용돌이도 보인다. 손을 들자 손을 댈 수 있는 반짝이는 부속물이 뜬다. 다가가서 움직여 봤다. 멀리 바라보기 위해 다시 방으로 되돌아갔다.

흥얼거리면서 느리게 책상 위로 주위를 맴돌았는데, 전등과 컴퓨터 모니터 주변에 진짜 있는 것처럼 보여도 그렇지가 않다. 이 모든 광경을 현실합성(synthetic-reality) 헤드셋을 통해 보고 있다. 떠다니던 드론이 머리 속으로는 정교한 시뮬레이션임을 알고 있었지만, 눈으로 보면 정말 있는 듯 했다. 평범한 사무실에 섞였기 때문이다. 드론은 가상의 물체이지만 완벽한 3D를 나타내기 위해 픽셀이나 디지털 제작물임을 나타내는 증거가 없었다. 머리를 돌려도 마찬가지로 가상 드론이 사무실 전등 앞으로 옮겨온다. 희미하게 투명함을 알아차렸지만 실제로 존재하는 듯한 느낌을 낮추지는 못했다. 물론 인공(artificial) 현실이 약속하는 훌륭한 측면 중 하나다. 마술과 같은 장소로 가거나, 마술과 같은 것들이 다가오는 인공 현실이다. 이 헤드셋은 아직 프로토타입으로서, 추측이 무성하지만 완전 비밀스러운 곳인 회사, Magic Leap에서 제작했다. 외계인 드론도 분명 플로리다의 이 사무실에 이동된 것처럼 보이며, 생각보다 현실감이 더 강력했다.

이런 마술과 같은 고글로 다른 것도 봤다. 사람 크기의 로봇이 실제 방을 걸어다니며, 손에 정말 들고 있는 총으로 쏠 수 있다. 진짜 탁자 위에서 미니어처 인간이 레슬링하는 광경도 봤는데, 거의 Star Wars의 홀로그램 체스 게임을 보는 듯 했다. 이 소인(小人)들은 분명 현실이 아니지만, 사진술의 리얼리즘에도 불구하고 정말 존재하는 것처럼 보였다. 눈 안에 머무를 뿐만 아니라 아예 그들의 존재를 느꼈다는 얘기다.

현실 세계에 이런 식으로 입혀진 가상현실을 혼합현실(mixed reality, MR)이라 부른다. (고글이 반투명이어서 여러분의 실제 환경을 직접 볼 수 있다.) 합성된 이미지만을 보는 전통적인 몰입형 가상현실(VR)보다 혼합현실은 훨씬 더 강력하다.

매직립이 혼합현실을 다루는 유일한 기업은 아니지만, 당장 볼 때 매직립은 다른 모든 회사들을 품질로 압도한다. 덕분에 플로리다의 사무실로 투자 자금이 몰리고 있다. 제일 먼저 한 곳 중 하나가 구글이었다. Andreessen Horowitz와 Kleiner Perkins 외 다른 투자자들도 합세했다. 지난해에는 주요 언론사와 기술기업 대다수가 매직립 사무실로 와서 미래적인 혼합현실을 체험하고 돌아갔다. 올해 초, 매직립은 아마 역사상 최대의 C-라운드 파이낸싱을 7억 9,350만 달러를 투자 받았다. 지금까지 매직립에 투자한 금액만도 14억 달러이다.

매직립이 아직 제품의 베타 버전은 커녕 개발자용 버전도 출시하지 않았기 때문에 이 놀라운 투자액은 더 놀랍기만 하다. 잠재적인 투자자나 자문관들 이외에는 실제로 돌아가는 장치를 본 사람이 거의 없으며, 그때문에 펀딩과 미스터리가 호기심을 더욱 자극시켰다. 그러나 매직립에서 정말로 무슨 일이 일어나는지 알려면, 전체 기술 기업의 방향이 어디인지 이해해야 할 필요가 있다. 페이스북과 구글, 애플, 아마존, 마이크로소프트, 소니, 삼성 등 모든 주요 기술 기업들이 인공 현실에 투자하고 있으며 매일같이 엔지니어를 고용하는 중이다. 페이스북 한 곳만 해도 400명이 넘는 이들이 VR에 투입됐다. 게다가 Meta와 the Void, Atheer, Lytro, 8i처럼 새로운 플랫폼용 하드웨어와 컨텐트를 맹렬히 제작중인 기업들이 230여 곳 정도 된다. 매직립의 매력을 완전히 이해하기 위해서는 가상현실 업계 자체를 알아야 할 필요가 있다. 모든 가상현실 및 혼합현실 헤드셋과 모든 VR 카메라 기술과 VP 애플리케이션, 베타 버전의 VR 게임, 모든 프로토타입의 VR 소셜 세상을 말이다.

지난 5개월 동안의 나처럼 말이다.

그러면 가상현실 기술이 얼마나 근본화될 텐지, 매직립과 같은 사업이 초거대 기업으로 성장할 가능성이 왜 있는지를 이해하실 것이다.

설사 가상현실을 체험해 본 적이 없다 하더라도, 가상현실이 어떻게 될지에 대한 생생한 기대를 갖고 있을 것이다. 한 마디로 가상현실은 매트릭스다. 정말 가짜인지 말할 수 없을 정도로 유사한 현실이라는 얘기다. 1992년에 나온 Neal Stephenson의 흥겨운 소설, Snow Crash에 나오는 Metaverse이기도 하다. 너무나 매력적이어서 사람들이 떠나려 하지 않은 세계다. 물론 2011년에 나온 베스트셀러, Ready Player One에 나오는 학교와 직장의 중심이 되는 행성 크기의 가상현실인 Oasis이기도 하다. VR은 너무나 오랫동안 상상 속에 머물러 있었다. 사실 이제 나올 때가 됐다.

The Untold Story of Magic Leap, the World’s Most Secretive Startup

내 경우는 1989년, 가상현실에 처음 발을 들여 놓았었다. 웹이 존재하기도 전, 물안경과 전자부품으로 장식된 글로브, 전선으로 수가 놓인 고무로 만든 서핑용 옷으로 덮여 있는 사무실을 방문한 적이 있었다. 북 캘리포니아에 있던 이 사무실의 주인인 재런 래니어(Jaron Lanier)는 내게 검정 글로브를 하나 주고, 손수 제작한 고글의 끈을 빼서 머리에 씌웠다. 다음 순간은 완전히 별세계였다. 비현실적인 만화스러운 블럭 세상(하지만 Minecraft 세상과는 달랐다)이었다. 이 세상(커다란 방 크기였다)에 또 다른 아바타가 하나 있었고, 그는 래니어였다.

마술과 같은 인종현실을 같이 탐험했던 레니어는 그당시 그 환경을 막 완성해 놓았었다. 글로브를 낀 우리의 손은 가상 물체를 집거나 움직일 수 있었다. 이 새로운 경험을 "가상 현실"이라 이름 붙인 이가 레니어였다. 믿을 수 없을 정도로 현실감이 느껴졌고, 그 짧은 방문에서 난 미래를 봤었다. 이듬해, 미군과 대학, 실리콘밸리에서 나온 20여 개의 VR 시스템을 전시하는 Cyberthon을 직접 조직하기도 했었는데, 1990년의 24시간 동안 표를 사면 누구라도 가상현실을 체험해 볼 수 있었다. 당시 VR 경험은 원시적이기는 했지만 그래도 꽤 좋았다. 머리에 쓰는 디스플레이와 글로브, 여러 사람이 등장하는 소셜 몰입과 같은 기본 요소가 그때에도 이미 있었기 때문이다.

그러나 대중시장용 VR은 곧바로 나오지 않았다. 장비가 수 천 달러에 달했기 때문이다. 그로부터 수 십년 동안 발명가들은 품질을 개선시켰어도 가격을 낮출 수는 없었다.

25년 후, 예기치 못한 구원자가 나타난다. 스마트폰이다! 스마트폰의 전지구적인 성공은 소형 고해상도 화면의 품질을 비약적으로 향상 시키면서 비용은 낮췄다. 스마트폰에 장착된 자이로스코프와 모션센서도 VR 디스플레이가 머리와 손, 몸의 위치 추적에 사용할 수 있다. 게다가 현대 스마트폰 칩의 프로세싱 파워는 옛날 수퍼컴퓨터에 필적해서 소형 화면에 영상 스트리밍도 식은 죽 먹기다. 저렴한 화면과 칩 덕분에 한 10대 소년, Palmer Luckey는 청테이프를 갖고 자기가 처음 만든 VR 헤드셋 프로토타입을 2012년, Oculus Rift라는 Kickstarter 캠페인을 시작할 수 있었다. 그리고 Rift는 수많은 기업들이 기다리고 있던 것의 신호탄이었다. (페이스북이 Rift를 2014년 20억 달러에 인수했다.)

오늘날 머리에 쓰는 VR 디스플레이는 모두 이 싸구려 스마트폰 기술을 기반으로 만들어졌다. 거의 모든 가상 현실 디스플레이가 다 수 십억 대의 스마트폰에 기인한다는 의미다. 마이크로소프트의 HoloLens MR 시스템에 기여하고 있는 래니어의 추측에 따르면 오늘날 구글의 종이상자나 삼성 Gear와 같은 단순한 스마트폰 삽입형 헤드셋 만큼의 결과를 1990년에 내기 위해서는 100만 달러 이상이 필요했다고 한다.

최근 인조 현실의 최전선을 다녀 보고 느낀 점이 하나 있다면, 가상현실이 인터넷의 차세대 진화를 만들고 있다는 사실이다. 오늘날 인터넷은 정보의 네트워크이다. 60조 개의 웹페이지와 4 제타바이트 정도의 데이터로, 초당 수 백만 통의 이메일이 오가며 수백 해(sextillions) 개의 트랜지스터오 모두 상호 연결되어 있다. 우리의 삶과 업무가 이러한 정보의 인터넷 상에서 움직인다. 하지만 인공 현실 구축은 곧, 경험으로서의 인터넷이다. VR이나 MR 기어로 공유한 것이 경험이라는 의미다. 거실의 마술 창을 열었을 때 보는 광경은 하나의 경험이다. 혼합 현실 화상회의도 경험이다. 괄목할 만한 수준으로 기술적인 경험이 급속도로 교차하며 정보를 전달할 것이다.

가상의 세계에 들어설 때마다 반복 발견하는 것은 이들 환경의 모두가 다 가짜라는 사실에도 불구하고 경험만은 진짜라는 점이다. VR의 중요한 역할은 두 가지 있다. 첫 번째로 일반적으로 존재(presence)라 부르는 느낌을 강렬하게 확신시켜준다. 가상 풍경과 가상의 물체, 캐릭터는 모두 진짜처럼 느껴진다. 시각적인 환상이라는 느낌이 크지 않다는 뜻이다. 마술과 같다.

하지만 두 번째가 더 중요하다. 가상현실 기술은 평면화면이 못 해 주는 방식으로 여러분을 등장 시킨다. 그렇기 때문에 여러분이 진짜 경험을 진짜 삶인 양 얻는다는 점이다. VR 경험을 사람들은 전에 봤던 기억의 뭔가가 아니라, 실제로 일어났던 뭔가로 떠올린다.

경험은 VR과 MR의 새로운 화폐이다. 매직립과 같은 기술은 경험을 만들고 전송하며, 계량화하고 개선하며, 개인화하고 극대화하며, 발견하고 공유 및 재공유, 과다 공유한다. 정보의 제작과 전송, 소비의 현재 시스템에서, 정보의 제작과 전송, 경험으로서의 소비는 새로운 플랫폼을 정의한다. 매직립의 창업자인 로니 애보비츠(Rony Abovitz)의 정의이다. "우리 것은 내부 우주로의 여행입니다. 존재와 경험의 인터넷을 만들고 있죠."

정보의 인터넷이 세상에 선사한 막대한 혜택도 아직 우리는 다 받아들이지 못했다. 합성 현실의 발전이 줄 성과를 말하기도 힘들다. VR 플랫폼으로는 누구나 언제든 어디서든 경험할 수 있을 경험의 위키피디어를 만들 수 있다. 예전에는 부자들이나 해 봤을 여행 경험(분화하는 화산이나 피라미드 걷기 투어)도 VR을 통해 누구나 할 수 있을 것이다. 게다가 이 경험은 공유할 수 있다. 이란의 시위대에 합류하거나 말라위의 술꾼들과 춤을 출 수도 있다. 아예 성별(性別) 바꾸기는 어떤가? 화성 탐사나 랍스터로서의 삶, 스스로의 심장을 라이브로 체험하는 식으로, 그 누구도 경험하지 못한 경험을 할 수 있다.

영화나 텔레비전, 책에서 이런 사례를 수많이 보셨을 테지만, 경험은 아직 못 해 보셨다. 여러분 자신을 부를 수 있는 방식으로, 몸 자체를 맡긴 채, 두뇌 밑으로 느껴야 한다. 포드캐스트 Voices of VR의 창업자인 켄트 바이(Kent Bye)는 VR을 제작하는 사람들과 인터뷰를 400번 했었고, 거의 모든 프로토타입의 VR을 목격했었다. 그의 말에 따르면, "VR은 우리의 잠재의식(subconscious)에 말을 겁니다. 다른 어떤 미디어도 그렇지 않죠."라고 한다.

내가 겪었던 것 중 제일 강력하고 완전했던 잠재의식의 발현(發現) 사례는 2016년 TED 컨퍼런스에서 데뷔한 Void였다. Void는 매직립 기술만큼 진보적이지 않지만 잊을 수 없을 경험을 만들기 위해 가능한 장비 중 최고를 통합했다. 수 시간 동안 수많은 이들이 Void에 들어가는 광경을 봤고, 거의 대부분 기뻐하고 소리 지르고 웃고 더 해달라고 비틀거렸다. 내 느낌도 같았다. 1시간 경험에 기꺼이 돈을 지불할 것이었다.

Void는 이제 마술의 무대, 테마 파크, 공포의 집 단계를 넘어섰다. 공동 창업자 세 명 중 하나인 켄 브렛슈나이더(Ken Bretschneider)는 유타주에 기괴한 공포의 집을 하나 설치했고 이틀만에 1만 명을 끌어 모았다. VR로 자기 집에서의 인터랙션을 증폭 시킬 수 있을 때 떠올린 아이디어라고 한다. 또 다른 공동 창업자인 커티스 힉먼(Curtis Hickman)은 전문 마술사로서 유명 마술사들을 위해 트릭을 디자인하고, 시각효과 제작자이기도 하다. 마지막 공동 창업자인 제임스 젠슨(James Jensen)은 영화용 특수효과와 테마파크용 특수 경험을 개발했고, 물리적인 활동 장소에 VR을 입히자는 아이디어를 재시했었다. 이들 셋의 공통점은 VR이야말로 상상만 하던 것을 현실화 시켜준다고 믿게 만드는 새로운 방법이었다.

Void는 커다란 방의 공간을 차지한다. 배터리와 프로세서 보드, 22가지의 촉각 패치로 올바른 시간에 몸을 흔들어주는 12 파운드 짜리 옷을 걸쳐야 한다. 헤드셋, 혹은 고글과 이어폰은 옷에 장착되어 있기 때문에, 전기줄 없이 배회할 수 있다. 전기줄이 없기 때문에 전선에 걸려 넘어진다거나 얽히고 너무 벗어날 일도 없다. 덕분에 VR 안에서의 존재 효과가 더 높아진다.

내부적으로는 거대한 영토로 Indiana Jones와 같은 모험을 하는데, 힉먼의 말마따나 한계가 없는 우주에서의 환상은 통제형 걷기(redirected walking)라 불리는 트릭을 통해 "외부에서보다 내부에서 더 큰 마술 공간"이다.

사례를 들어 보자. 방 안에서 90도 회전하면 여러분의 VR은 80도만 돈 것인 양 보여준다. 여러분은 차이를 모르지만, VR은 매번 10도의 속임을 축적하여 결국은 벽에 부딪히지 않게 하거나, 직선으로 1마일을 걸은 것 같은데 실제로는 빙빙 돌게 만들 수도 있다. 통제형 터치(Redirected touching)도 유사한 트릭을 사용한다. 실제로 하나의 블럭이 있는 방에 가상 블럭이 A, B, C가 있다면, 블럭 B를 잡았음을 느낄 때 VR 시스템은 손이 방 안의 실제 블럭만을 만지도록 유도한다. 블럭 B를 바꾸고, C를 집어 든 것처럼 느끼겠지만, 실제로 들고 있는 진짜 블럭은 하나 뿐이다.

보고 있는 것이 진짜인 양 믿게 만드는 과정을 보면 놀라울 뿐이다. 위로 걸어 오를수록 아래로 내려가게 만들면, 끝없는 계단을 만들 수도 있다. 사실은 그냥 방을 가로질러 걸어갈 뿐인데 Void에서는 썩은 마루가 붕괴하도록 만들었다면, 보고 듣고 느끼고 하는게 정말로 바닥 아래로 꺼지는 느낌이다. 실제 바닥은 6 인치 정도만 내려 앉았는데 말이다. 60x60 피트에 전등이나 의자 등 모든 물건이 들어 있는 방을 쉽사리 상상할 수 있다. 수 시간의 경험을 위해 모두 재활용 및 통제되어 있는 형태다.

즉, 보인다고 믿을 수 있지 않다. 모든 감각을 사용하여 현실감을 측정하는데, 올해 판매에 들어가는 고급 VR 대다수는 다이나믹 입체음향(binaural), 즉 3D 오디오를 포함한다. 스테레오 이상이며, 공간을 감지하기 때문에, 소리가 들리는 위치는 이동함에 따라 바뀌게 된다. 깊은 존재감에는 귀 내부의 이동 감각을 포함한다. 두 귀로 듣는 소리가 보는 장면에 조응(調應)하지 않는다면, 멀미를 느끼는 것이다. 좋은 VR에는 촉각도 들어 있다. VR에 대한 책(The VR Book)을 쓴 적 있는 Waterford Institute of Technology의 제이슨 제럴드(Jason Jerald) 교수는 VR에서의 우리 감각 다수는 손에서 나온다고 한다. 다만 글로브는 아직 소비자 친화적이지 않기 때문에 하드웨어 업체들은 버튼으로 쉽게 조작이 가능한 간단한 컨트롤러를 사용하고 있다. 이 컨트롤러를 흔들면 위치를 추적해서 가상의 물건을 조작할 수 있다. 아직 원시적이기는 하지만 존재감을 두 배로 늘릴 수 있다. 촉각과 시각, 청각은 VR의 본질적인 삼위일체이다.

Virtual reality hacks the brain in dozens of ways.

매직립이 Void 수준의 몰입감을 아직 얻지는 않았지만 지금까지 볼 때 매직립은 가상현실 전선에서 제일 인상적이다. 진짜로 존재하는 가상의 물건을 그려내는 데에 최고라는 의미다. 창업자인 로니 애보비츠는 이런 수퍼파워를 발명하기에 완벽하게 들어맞지 않은 인물이었다. 플로리다 남쪽에서 자라나면서 그는 과학소설과 로봇에 매혹됐었다. 그래서 그는 커리어로 로봇을 지망하여, University of Miami에서 바이오의료공학 학위를 받았다. 아직 대학원생 시절, 그는 외과용 로봇을 만드는 회사를 차렸고, 회사가 ㄷ드기 전에는 대학교 신문에 만화를 그리면서 주당 $30씩 벌었었다. 애보비츠의 만화는 묘하게 재미있는 구석이 있었다. 외계인 창조물을 그린 의식의 흐름으로서, 여자친구들에 대한 비밀 메시지가 조그마하게 주석으로 적혀 있었다. 엔지니어 사고방식으로는 나오지 못 할 만화였다. 사실 좋은 가상현실은 환상과 물리학 둘 다를 요구한다.

안경을 쓴 애보비츠는 체격이 좋지만 미소짓는 인물이다. 따뜻하고 캐쥬얼하며 편안하다. 하지만 떤다. 아이디어를 가득 갖고 있다 못해 넘처 흘린다. 하나의 아이디어가 둘로 나타나기도 한다. 말할 때 더 많은 아이디어를 내기 위해 그의 커다란 머리를 스스로 자극 시킨다. 두뇌에서 빠르게 나오는 아이디어의 속도를 늦추거나 막기가 힘들 정도다. 그의 만화에서처럼 논의라도 한 번 하면 어디로 튈지 예상할 수 없다. 아이디어 대부분은 물리학과 생물학의 결합이다. 그의 트위터 자기소개를 보면, 애보비츠는 스스로를 "사람과 동물, 그리고 로봇의 친구"라 적었다. 상당히 정확한 묘사다. 그와 대화해 보고 그의 일을 보면 기계의 논리와 생물학의 영혼을 둘 다 가진 흔치 않은 존재가 그이다. 인간 의사가 수술을 할 때 도와줄 로봇팔을 만든다면, 물리학의 법칙과 생물학의 법칙, 그리고 인간의 마음에 순응해야 한다. 애보비츠는 이 세 영역 모두의 요령을 알고 있으며, 그의 외과 수술 로봇은 잘 팔려나갔다. 2008년, 그의 회사인 Mako는 기업공개가 이뤄졌으며, 2013년 16억 5천만 달러에 인수됐다.

Magic Leap's UX team, which creates the ways that users will interact with the mixed reality universe and experiences.

성공으로 그는 새로운 아이디어를 냈다. 실제 무릎의 재활을 위해 가상의 무릎을 만들 수 있을까? 가상의 무릎을 깔고 무릎 수슬을 증강현실화 시킬 수 있을까? 애보비츠는 복잡다단한 실제 외과 수술과 가상의 세계를 연결할 기술을 고려하기 시작했다.

그와 동시에 그는 그래픽노블을 만들기 시작했다.

애보비츠는 과학소설을 사랑하며, 날아다니는 고래와 잠자리 기어를 장착한 사람들, 애완용 원숭이-박쥐를 가진 소녀, 로봇 군단의 침략이 있는 또다른 행성을 발명해냈다. 로봇 회사로 번 돈을 갖고 그는 자기가 만든 세계를 구체화 시키기 위해 뉴질랜드에 있는 특수효과 기업인 Weta Workshop(피터잭슨감독이공동소유하고있다)을 고용했다. Weta 팀은 반지의 제왕에 나오는 모든 특수효과와 소도구들을 만들었으며, 아바타에 나오는 나비족의 문화도 도움을 줬었다. 애보비츠를위해 Hour Blue라 불리는 세상을 Weta가 디자인했으며 날아다니는 고래와 원숭이-박쥐도 채워서 자세히 만들었다. 그의 그래픽노블은 재빠르게 가상현실의 선도자로 변모했다. 외계 세계라 해서 몰입형 3D에 더 나은 경험을 제공하지 말란 법이 있을까? 애보비츠는 이미 의사용 MR을 개척하고 있으며, 이 또한 아이디어의 확장이 될 것이다.

애보비츠가 몰입형 세상을 개발하기 위해 만든 회사가 매직립이다. 매직립의 로고는 그의 토템 동물인 튀어오르는 고래다. 단 MR을 만드는하드웨어도 발명돼야 한다. 2012년경, Oculus Kickstarter 캠페인이 시작됐고 유사한 스마트폰-기반 기술 프로타입들이 작업에 들어갔다. 애보비츠는 좀 떨어진 길을 택한다. 자신의 작업이 바이오의학이기 때문에 그는 인간이 여전히 하드웨어의 일부로 있는 곳에서 VR이 이 제일 진보된 기술이라는 사실을 깨달았다. 올바른 작동을 위해서는 VR과 MR이 실리콘칩 만큼이나 생명공학 서킷을 사용해야 한다. 헤드셋을 통한 존재에 대한 느낌은 화면이 아니라 우리 몸의 신경이 만들기 때문이다. 통제형 걷기와 같은 트릭은 Nvidia 프로세서 만큼이나 우리 두뇌 안에서 작동한다. 애보비츠는 인공 현실을 일부는 기계, 일부는 살로 이뤄진 공생(symbiont) 기술로간주한다. 그의말이다. "원하는 마음과 몸을 주면 훨씬 더 많은 걸 되돌려 줄 거라는 점을 깨달았습니다."

인공현실은 우리 감각의 특이한 점을 이용한다. 설득의체인(chain of persuasion)이라 부를 수 있는 뭔가를 만드는 10여 가지 방법으로 인간 두뇌를 효과적으로 해킹하기 때문이다. 영화를 볼 때, 우리의 두뇌는 완전한 스틸 사진의 연속 화면을 실시간으로 움직인다고 생각한다. 똑같은 방식으로 어느 위치에서든 헤드셋 화면으로 표시될 수 있는 3D 이미지 렌더링이 된 파란 고래를 볼 수 있다. 이 고래가 실체가 아니라는 사실을 알고 있다 하더라도(고래 대신 고질라라고 해 보자), 우리는 고래가 실제로 눈 앞에 있다고 잠재적으로 느낀다.

하지만 설사 조그마한 하나라도 배열이 어긋나면 이때 생기는 불일치는 실감나는 느낌을 깨뜨릴 수 있다. 연결선에 걸릴지 모른다는 두려움 하나 만으로도 우리의 잠재 의식에는 의심이 생긴다. 뭔가 있는 것처럼 보이지만, 느낌은 더이상 없다는 얘기다.

인간 생물학을 공부하면서 애보비츠는 인공현실의 디스플레이를 더 낫게 만들기 시작했다. 대부분의 헤드-마운트 디스플레이가 채용하는 휴대폰스러운 화면에는 고질적인 문제가 남아있다. 눈 바로 앞에 놓이기 때문에, 100 피트 바깥의 파란 고래의 이미지를 만들어낼 경우, 눈은 100 피트 바깥으로 초점이 맞춰져야 하지만 그렇지가 않다. 실제로는 1 인치 너머의 조그마한 화면에 초점이 맞춰지기 때문이다.

마찬가지로, 얼굴 6인치 앞 가상의 해파리가 헤엄치는 광경을 볼 때, 눈은 실제로 뭔가 볼 때처럼 교차한 상태로 놓이지 않고, 똑바로 앞을 쳐다본다. 광학적으로 뭐가 안 맞다는 점을 인식하는 이는 없지만, 마음 속으로는 불일치가 계속 보고되며, 결국은 설득의 망이 약해진다. 매직립은 눈이 먼 곳을 멀게 쳐다보게, 가까운 곳은 가깝게 만드는 방식의 깊은 환상을 만들어내는 광학 시스템을 해결책으로 갖고 있다. 눈과 물체를 올바른 거리로 수렴토록 한다는 얘기다.

매직립의 프로토타입을 써 보면, 예전에 사용했던 다른 혼합, 혹은 가상 현실 시스템과는 다르게, 팔 길이 정도로 가까워도 인공 현실이 제대로 작동함을 발견했다. 매직립 장치를 제거할 때 역시 선글래스 벗기처럼 실제 세상으로 돌아오기도 수월했다. 다른 시스템에서는 경험해 보지 못 한 바였다. 자연스러웠다.

매직립의 경쟁작들도 어마어마하다. 마이크로소프트는 현재 자사의 혼합현실 헬멧인 HoloLens의 개발자버전을 판매중이다. 홀로렌즈기술은 (지금까지) 헬멧 안에 프로세서와 광학장치, 배터리 모두를 넣었기 때문에 전체적인 장치로서 독특하다. 진정한 무선 장치라 할 수 있다. 또다른 스타트업인 Meta도 Oculus와 같은 MR 장비를 Kickstarter 캠페인으로 출시했다. 이 헤드셋은 컴퓨터에 연결되어 있으며, 개발킷이 올해 가을에 나온다. 매직립보다 훨씬 앞선 일정이다.

이 세 가지 주요 MR 헤드셋은보통나노 유리(nanoscale ridges) 코팅을 이용한다. 반투명 유리를 통해 영상을 투사하는 이미지에 의존하기 때문이다. 즉, 사용자는 유리를 통해 바깥 세상을 보지만, 유리 가장자리의 광원으로부터 투사된 가상 요소가 분할빔(beam-splitting) 나노유리를 통해 사용자 눈에 반영된다. 매직립은 자사의 장비가 분할빔을 눈에 쏘는 방식이 독특하다고 주장한다. 지금 시점에서 자세한 설명은 사양했지만 말이다.

하지만 매직립은 픽셀이 사라질 때 진가를 발휘한다. 화면에 기반한 헬멧형 VR은 대부분 눈에 보이는 픽셀로부터의 희미한 스크린도어(screen door) 효과를 보여준다. 이와 반대로 매직립의 가상 이미지는 부드럽고 놀라울 정도로 현실적이다. 그러나 사실상 VR이든 MR이든 디스플레이의 품질 자체는 급속도로 개선되고 있는 중이다. 모든 헬멧이 매달 해상도를 올리고 있으며, 프레임 비율이 늘고, 명암비도 깊어지며 색상도 확장중이다. 20년 안으로 최고의 가상현실 디스플레이를 보면, 실제 세상을 보는지, 창을 통해 보는지도 헷갈릴 것이다. 실제 창 밖을 볼 때만큼 밝고 상쾌하기 때문이다.

리얼리즘을 완벽하게 보여줄 경우, 그 디스플레이는 왕좌를 차지할 것이다. 근거리 화면이 충분한 해상도와 밝기, 너비, 풍부한 색상을 보여준다면, 화면 내부에서는 어느 크기이든 몇 개의 가상 화면이든 보여줄 수 있다. 매직립의 안경을 쓰고, 가상의 영화 화면에서 HD 영화를 봤다. 마치 집의 55-인치 텔레비전만큼이나 밝고 화려했다. 마이크로소프트의 홀로렌즈로도 가상 화면 하나로는 생방송 축구 경기를 보면서 다른 화면으로는 웹브라우저를 봤고, 그 옆에도 가상 화면이 몇 개 더 있었다. 즉, 원하는 만큼 크든 작든, 화면으로 사무실을 채울 수 있다. 실제 세상에 띄워진 어떤 화면이든 클릭할 수 있다.

마이크로소프트는 웨어러블 장비를 통해, 전형적인 사무실의 모든 화면을 대체하려 하는 야망을 갖고 있다. 마이크로소프트의 시연 장면을 보면, 가상 화면을 통해 업무를 보고, 3D 컨퍼런스로 다른 도시에 거주하는 십 수 명의 동료들과 회의를 하는 광경이 나온다. 사아 화면과 가상현실을 갖춘 가상 미디어가 놀라울 정도로 자연스럽고 실용적이었다. 매직립의 개발팀은 곧 데스크톱 화면을 가상 디스플레이로 대체할 예정이다. Meta의 창업자인 메론 그리베츠(Meron Gribetz)는 새로운 Meta 2 혼합 현실 안경이 우리 주머니 속에 있는 작은 화면을 대체할 것이라 얘기하고 있다. 달리 말해서, 데스크톱 PC와 노트북, 스마트폰을 동시에 엎어버릴 기술이라는 얘기다. 애플과 삼성 등 모두가 관심을 기울이고 있는 상황도 놀랍지 않다. 대규모의 전환이 될 터이기 때문이다.

Exclusive Footage of What It’s Like to See Through Magic Leap

피터잭슨도동의한다. 뉴질랜드웰링턴외곽에있는자신의영화사의 한 밝은 방에 반바지 차림으로 들어온 그는 아래 쪽 거리에 있는 분장소를 막 탈출한 호빗같아 보였다. 짧고 동그란 코에 헝클어진 호빗 머리 스타일에 맨발은 크고 덮수룩했다. 잭슨은 영화 제작이 예전만큼 흥미롭지 않다고 말한다. 컨텐트 얘기가 아니라 과정 얘기다. 그는 이야기를 말하고 새로운 세상을 만들어내기 위한 인공 현실을 처녀지로 간주하고 있다. 잭슨은 매직립의 자문위원이며, 그의 회사가 매직립용 컨텐트를 제작할 것이다. "혼합현실은 3D 영화의 확대가 아닙니다. 완전히 달라요. 원하는 어디서든 견고한 물체의 환상을 만들어낼 수 있다면, 완전히 새로운 오락의 기회가 생길 겁니다."

잭슨은 매직립 안경의 초기 프로토타입에 깊은 인상을 받았다. "혼합현실이 VR보다훨씬더흥미롭습니다. 혼합현실은 세상을 단절시키지 않아요. 그대신 우리의 진짜 세상에 요소를 추가하죠. 융통성도 대단합니다. 뭐든 추가할 수 있어요. 가령 우리 앞의 탁자에 있는 작은 물체가 우리에게 말을 걸 수 있고, 이 방의 벽을 구름이 떠다니는 고층빌딩 방으로 바꿀 수 있습니다. 매직립 안경을 쓰고 있으면, Empire State Building을 올려다 보면서 1930년대 빌딩을 한 층 한 층 지을 당시를 고속으로 구경할 수 있어요. 시카고의 거리를 돌아다니면서 안경을 통해 보면 톰슨 기관단총을 든 갱스터들도 보이겠죠. 교육과 오락, 여행의 한 형태가 될 수 있습니다. 10년 정도 지나면 매직립과 같은 혼합현실 기술은 스마트폰 만큼 쓰일 겁니다."

잭슨은 커다란 의자에 앉아 자신의 맨발을 탁자 위에 올려 놓았다. "SF 영화 대부분은 매직립의 형태를 어느 정도 담고 있죠. 손가락으로 데이터를 움직인다거나 홀로그램 전화, 3D 체스 게임처럼요. 오래 전부터 우리는 알고 있었습니다. 날아다니는 자동차처럼 말입니다. 하지만 아마 혼합현실이 비행 자동차를 이길 것 같군요."

Weta의 기술은 디테일에 대한 관심으로써 상상의 세상을 믿음직스럽게 만드는 것이다. 블록버스터 MR과 VR 세상은 고도의 세상만들기를 요구한다. 표면 아래나 디테일을 보기 위한 선천적인 이동의 자유는 곧, 세상을 구성하는 모든 요소에 대하여 설득의 망을 보전하기 위한 기술과 노력이 매우 많이 필요하다는 의미다.

Weta는 매직립과 함께 Dr. Grordbort’s라 불리우는 작은 가상세계를 개발하고있다. 거의 30년 동안 종종 잭슨과 함께 세상을 만드는 작업을 해온 리처드 테일러(Richard Taylor)가 주도하고 있는 이 작업은 원래 조각가이다. 진흙이나 석재, 목재, 황동, 섬유, 유리 등 온갖 재료가 그의 작업실에 놓여 있으며, 이 재료들이 말로 묘사하기 힘든 아름다운 물건으로 촘촘히 만들어져 있다. 가상으로의 이주는 그에게 큰 의미가 있다. "매직립의 감성적인 충격에 준비가 안 되어 있었습니다. 가상 인물이나 물건의 세상에 들어가고 싶다고 한 번도 생각한 적이 없었죠. 그런데 한 번 어떻게 돌아가는지 알고 보니, 원래의 생각을 바꿀 수 밖에 없었습니다."

It will be the most social medium yet. More social than social media is today.

인공현실이VR과 MR의 문법을 만들기 위해서는 테일러와 잭슨과 같은 설계자들이 필요하다. 장면을 만들고 현실과 합쳐지며, 클로즈업되는 영화 기술을 모두 만들어내야 하고, 무슨 의미인지 모두가 알 때까지 흡수해야 한다. 가상현실에서 위의 기술은 잘 돌아가지 않았다. 가령 경험의 언어가 이전과는 다르다는 사실은 이미 확실하다. 예를 들어서, 1인칭 시점은 베스트셀러 목록에 올라 있는 여러 비디오게임의 기본 시점이다.

그중에 1억 명 이상이 컴퓨터와 태블릿, 스마트폰에서 즐기고 있는 Minecraft가 있다. 마인크래프트에서 픽(pick)이나 사용자의 손을 직접 볼 수 있지만, 마이크로소프트가 구축중인 마인그래프트의 가상현실버전에서 픽을 들거나 블럭을 자를 때의 경험은 블럭이 만화 수준의 픽셀이었음에도 불구하고 너무나 즉각적이고 현실감이 있어서, 플레이어 스스로의 존재감이 매우 강화되어 있다. 존재의 느낌이 내부화된 것이다.

자원자들을 대상으로 한 실험에서 마인크래프트 개발자들은 평면화면 상에서의 1인칭 시점보다 VR의 느낌이 훨씬 더 친밀하다는 사실을 발견했다. 새로운 몰입형 VR을 1인칭이 아닌 "아(我)인칭(you-person)"으로 불러도 될 것이다. "시점"이 아닌 느낌의 위치에 가깝기 때문이다.

연구자들은 VR이 만들어내는 아인칭 시점이 너무나 몰입적이기 때문에 감정소모가 큼을 알아냈다. 그래서 1시간 후에는 휴식이 필요하다. 흥미롭게도 VR 안에 머물면서, 가상의 마인크래프트 2D 화면으로 전통적인 2D 1인칭 시점으로 게임을 즐기면(VR 기어를 착용한 상태) 보다 더 편안함을 느낀다는 점도 있다. 1인칭 모드로 게임을 충분히 하는 식으로 휴식을 취하다가 완전한 몰입형 VR로 다시 되돌아가는 식이다.

존재감의수준이 VR에서는너무나강렬해질수있기때문에, 폭력의묘사나감정을 유발시킬 수 있는 부분은 좀 레벨을 낮춰야 할 것이다. 1인칭 게임에서 보통 용인되는 유혈이나 잔인한 장면이 VR에서는 잘 작동하지 않는다. 즉, 2D에서의 매력으로 작용하는 과장된 시나리오가 몰입형에서는 너무나 압도적일 수 있다는 의미다.

위의 내용 외에, 필자가 제일 놀란 부분은 인공 현실의 현실감이 아니었다. 바로 소셜이었다. VR이나 MR에서 최고의 경험은 다른 이들과의 만남이었다. 사람이 더 많을수록 더 나아졌다. 사실 몇 명만 더해져도 훨씬 나아진다. 네트워크 효과다. VR의 즐거움은 공유하는 사람들 수에 배로 비례한다. 즉, VR은 최고의 소셜 미디어다. 지금의 소셜 미디어보다 훨씬 더 소셜하다.

가상현실의 품질테스트 중 하나를 난 배트-반응(bat-flinch) 테스트라 부른다. 가상 야구 배트를 쥐고 있는 누군가의 옆에 서 있을 때, 그가 당신에게 배트를 휘두른다면 당신은 과연 피할까? 정말 그렇다고 믿어야 피할 것이다. 그렇지 않으면 그냥 웃거나, 맞았을 때의 "느낌"을 알기 위해 기다릴지도 모르겠다. 실생활에서는 맞으려고 기다릴 일이 없다.

그러나 더나은 VR 테스트는 포커게임이다. 맞은편에 앉아있는 아바타와 미묘한 눈짓과 몸짓, 분위기를충분히 전달한다면, 속임수를 쓴다고 말할 수 있을까?

페이스북 캠퍼스에서 Oculus를 방문했었고, Oculus의 발명가인 팔머 러키(Palmer Luckey)도 함께했다. 우리는 가상의 놀이터를 공유했다. 실제 생활에서 러키는 원기왕성하며 까불거리기를 좋아한다. 말하면서 손만이 아니라 팔도 휘두를 정도다. 비록 우리 아바타가 우리의 외양을 그대로 그리지는 않았지만, 이 바디 랭귀지가 VR 안으로 들어갔다. 유령과 같은 파란색 머리에 역시 유령같은 손을 가진 러키의 아바타는 그처럼 움직였다. 그는 쾌활하게 블럭을 내게 던졌다. 배트-반응 시험인데, 내가 피했기 때문에 통과했다. 러키는 가상의 폭죽을 켜는데 전문가였고, 폭죽을 내 길로 던졌다.

폭발이 너무나 현실감 있어서 뒤로 물러설 정도였다. 그의 열정은 전염성이 워낙 짙어서 나는 그를 폭발시키려 노력했지만 놓쳤고, 타워 하나를 무너뜨렸다. Toybox라불리우는이시연의 물리학은 정말 진기했다. 물건들이 정말 있을 법하게 튀어 오르거나 충돌했기 때문이다. 갖고 놀며 공유하고 같이 움직였기 때문에 장난감들이 실제처럼 느껴졌다. 다만 장난감 경험이 아니라 다른 사람들과의 경험이 더 놀라웠다. 러키의 말이다.

"우리의 목표는 가상의 커뮤니케이션을 실제 커뮤니케이션보다 더 낫게 만들기입니다. VR만이 유일한 것이죠."

누군가 만나자고 말했을 때, 그장소가 VR을 의미함을 모두가 올 때가 올 것이다. VR의 기본 모드는 "함께"이다.

곧 온다고 본다. 아마 5년 후쯤? 가상현실 안에 있는 경계선 있는 세상이 분산된 가상세계로 한 네트워크화되기시작할것이다. 매직립이나홀로렌즈, Meta와 같은 증강현실이나 혼합현실 시스템 헬멧을 쓰면, 근처 환경을 매핑한다. 이를테면 실제 탁자 위에 가상의 찻잔을 놓을 수 있고, 그러기 위해서는 탁자가 어디인지 알아야 한다. 헬멧은 외부 카메라와 센서로 주변 환경을 스캔하여 지도를 그려낸다. 여러 장비 중에서도 매직립은 새로운 환경이 보일 때마다 다시 매핑을 할 필요가 없도록 클라우드에 매핑한 장소를 저장하는 프로토콜을 작업중이다.

여러분의 유닛(혹은 같은 장소의 다른 유닛)은 등록 및 공간 내 업데이트만 하면 된다. 그러면 설사 멀리 떨어진 곳에 있더라도 다른 환경에서도 가상의 물체를 공유할 수 있다. 바르셀로나의 누군가가 가상의 꽃을 시카고에 있는 당신의 가상의 화병에 꽂을 수 있다는 얘기다. 인공 현실은 본질적으로 소셜이기 때문에, 그 환경도 본질적으로 소셜 및 네트워크일 수 밖에 없다.

쉽다는 말은 아니다. 상대적으로휴대할만한크기인 VR과 MR 웨어러블이 여러분을 속이게 하지 말아야 한다. 더 작아지고 가벼워질수록(그리 될 것이다), 장비를 둘러싼 인프라는 더 성장하고 거대해질 것이다. 네트워크로 연결된 가상의 장소를 수 십억 명이 살고 있는 지구만 하게 운영하기 위한 서버와 광대역, 프로세싱, 스토리지, 기능은 빅데이터 수준이 아니다. 초거대(Ginormous) 데이터는 돼야 한다.

그렇다면 또 다른 문제가 생긴다. 모든 가상세계가 잠재적으로 완벽한 감시상태에 있다는 사실은 인조현실에서 관심 사항이 아니다. 말그대로 VR이나 MR 세상의 모든 것은 추적이 가능하다. 결국 신체와 행동을 더 정밀하고 철저하게 추적할 수록 경험이 더 나아진다.

가상 여행을 2분 동안 하든, 2시간 동안 하든, 시선이나 방문하는 장소, 다른이들과의 대응, 분위기가 모두 세세하게 캡쳐되어 선호와 경향에 따라 다듬어진다. 그러나 이 데이터의 다른 사용도 또한 명백하다. 가상 세계에서 여러분 행동에 대한 철저한 추적을 통해 개인 데이터의 판매와 관심, 흥미의 이력, 은근한 설득, 자아 개선의 계량화, 다음 장면에 대한 개인화 등이 가능하다. 스마트폰이 자발적으로 주머니에 넣고 다니는 감시 장치라면 VR은 자발적으로 들어가려 하는 전체적인 감시 세상이다.

일단은 아바타와 세상을 만드는 일 외에, 다른 무엇이든 추적하여 데이터를 저장하는 VR 시스템은 없다. 잠재성은 알고 있지만, 가셍 세상을 돌아가게 만드는 일만 해도 벅차기 때문에 별도의 데이터 피드를 다룰 여유가 없다. 하지만 결국 개인화된 데이터를 상업적인 보물로 간주할 누군가가 나올 것이다.

법적인 측면에서의 친숙한 문제도 있다. 접근할 수 있는 자, 즉 정부가 주장하는 것, 무엇을 할 수 있는지는 가까운 장래에 사회적인 문제가 될 것이다. VR 세상을 지배하는 기업이 여러분만이 아닌 다른 30억 명의 은밀한 데이터는 물론 주말에 뭘 하는지, 무엇에 관심을 기울이는지, 무엇이 무서운지, 피곤할 때 어디를 가는지, 어떻게 낯선 이들을 맞이하는지, 우울한지 등등 수 천여 디테일을 빠르게 축적할 것이다. 실생활에서 그런 데이터를 축적하기라는 비용도 비용이지만 협조가 될 리 만무하다. VR에서는 보이지도 않을 테고 저렴하기도 하다.

It’s fun to explore VR, but it’s more fun to create in it.

세계적인 인공 현실의 제작은 거대한 프로젝트이며, 그 채택은 느리게 시작할 것이다. 지난 수 개월 동안 시도했던 모든 VR은 장비 착용에 보조가 필요했다. 대부분의 시연 또한 필자를 감시하는 보조가 필요했다. 끈부터 매야 하고, 피해야 할 전선, 가구도 익혀야 한다. 소프트웨어도 조잡했다. 그리고 시연중 너무나 자주 "돌아서서 이쪽을 봐라"는 명령이 있었다. 사용자 인터페이스가 아직 엉성하기 때문이다.

스탠퍼드 대학교의 Virtual Human Interaction Lab을 지도하고 있는 제러미 베일렌슨(Jeremy Bailenson)은 당장 VR 시스템이 특히 추적면에서 지속적인 기술적인 관리가 없으면 안 돌아간다고 말한다. "제가 20년 동안 VR을 해 왔는데, 골칫거리는 드라이버 업데이트입니다. VR은 이제 꽃피울 준비가 됐지만, 관리를 위해 누군가를 고용해야 해요." 프로토타입 단계이니 이런 문제는 당연할 수도 있겠다. 그러나 근본적인 문제가 있다. 매직립에 대한 초기 투자를 이끌었던 벤처 자본 투자사인 Andreessen Horowitz의파트너, 크리스 딕슨(Chris Dixon)은 VR이 플라이휠 효과(flywheel effect)를 따르리라 예상한다.

"현재의 VR이 얼마나 좋은지, 여기서 희망을 좀 받습니다. 고급 VR을 경험해 보면 원할 거예요. 2020년 정도면 VR의 시대가 되리라고 봅니다만, 향후 5년간은 과대광고 주기의 환멸의 시기를 겪을 수 밖에 없을 겁니다."

플라이휠이 느리게나마 돌기시작하면 마찰은 회전을 방해할 테지만, 마찰 포인트는 새로운 기회로 간주될 수도 있다. 수많은 다른 혁신을 가능하게 할 해결책이 그런 문제에서 나온다. 첫 VR 억만장자를 만들어낼 수 있을 문제점-해결책으로 무엇이 있을까?

The Dork Factor
헬멧을 쓰고다니면 누구나 얼간이처럼 보인다는 사실에는 변함이 없다. 인간적이지않기때문이다. Google Glass의 실패 또한 과연 쿨할까의 테스트를 통과하지 못 했기 때문인 탓이 크다. 개인 이동 장비인 세그웨이를 기억하시는가? 최근 버전을 안 타 봤다면 한 번 타 보셔야 한다. 놀랍다. 그렇지만 세그웨이가 실제로 잘 돌아간다 하더라도, 이동을 혁명적으로 바꾸지는 못 했다. 타고 다니는 모양이 우스워보이기 때문이다. VR 및 MR의 형태 또한 문화적으로 아예 안보이게 되기 전까지는 갈 길이 멀다.

Safety
최근 VR을 체험했을 때, 실제로 있지 않은 구덩이를 뛰어 넘으려 했기 때문에 거의 넘어질 뻔 했었다. Oculus는 "항상 앉아있으라"고 좀 이상한 경고를 낸다. VR은 여러분이 실재하고 있을 때, 말그대로 여러분이 실제로 있는 곳에서 떨어진 장소에 존재한다는 점이 문제다. 해결책은 있다. 실제로 위치해있고보이기도 하는 혼합현실이라면 그런 문제를 줄일 수는 있지만, 없앨 수는 없다. 몸과 마음을 속이는 장기적인 효과를 인지하지 못 하기 때문이기도 하다. 워낙 새로운 문제라서 질문이 정확히 무엇인지도 우리는 아직 모른다. 다만 멀미는 실제로 존재함을 알고 있다. 제러미 베일렌슨은 30명 중 1명이 민감함을 발견했다. 만약 수 만 시간의 사용이 있다면 어떤 다른 문제가 생겨날까?

Inadequate Interface
아직은 개발단계인 VR은 커맨드라인 입력을 요구했던 초창기 PC의 맹아단계와같다. 쉬운 제작용으로 직관적인 툴이 없다. VR 산업은 마우스와 동일한 뭔가를 기다리는 중이다. 이 문제야말로 빠른 성장을 막는 제일 중대한 요소일지도 모른다. 누구나 수 분만에 이해할 수 있는 인터페이스가 없다면, 정말 전용으로 만든 컨텐트만 나올 것이다.

지금까지의 거의 모든비-영상 VR 경험은 컴퓨터-게임 엔진인 Unity나 Unreal을 사용하여 만들어졌다(그리고 거의 모든 VR은 지금까지 비디오게임과 유사한 모양을 갖고 있다). 이들 1인칭경험은 2D 툴(화면과윈도, 마우스)로 만들어진다. 그러나 VR은 VR 안에서 빠져나오기 전까지는, VR 안에서 VR 제작용툴이 나올 때까지 흔해질 수 없다. Unity와 Unreal은 사용자가 VR 안에서 VR을 만들 수 있도록하는 VR 버전을 선보였다. 그렇지만 부드러운 이전을 위해 VR 버전은 Unity와 Unreal 모두 메뉴와 같은 2D 메타포(커맨드라인과 동격이다)를 들여와서 VR로 집어 넣는다. VR의 복잡함을 다루는 VR 특유의 강점을 살릴 획기적인 통찰력이 부족하다.

구글이인수한 Tilt Brush이라는 VR 앱 내부에서 깨달음의 순간이 있었다. 붓을 이용하여 빛으로 3차원 색칠을 하는 앱인데, 허공에 뜬 나의 그림이 얇아지거나 두터워지거나 깜빡거리거나 진동하거나 단색일 수 있다. 내가 그린 그림 안에 내가 있으며 몸 전체를 땀을 흘리며 움직인다. 조각을 스케칭하거나 스케치를 조각하거나, 빛의 빌딩을 지으며 춤을 출 수도 있다. 뭐라 불러야 할지 모르겠지만, VR로 해 본 것 중 가장 재미있었다. 재미만이 아니다. 구글에서의 시연을 보면, Tilt Brush는 이상적인 프로토타이핑툴이기도 하다. 몇 분만 있으면, 훈련받지 않았어도 자동차를 디자인하거나 사무실용 가구 레이아웃을 만들 수 있다. 바로바로 볼 수 있다.

나의 깨달음은 그 뿌리에 있었다. VR은 소비용툴인 만큼 제작용툴이기도 하다. VR을 탐험하는 것도 재밌지만, 만드는 편이 더 재미있다. 오랜기간 동안 누구도 아마추어가 자기 영상을 만들 수 있으리라 믿지 않았지만, 이제는 전화기만 들면 쉽사리 영상을 만들 수 있을 정도로 세상이 변했다. VR은 그 한계를 더 줄일 것이다.

VR 제작용으로 우아한 VR 인터페이스를 만드는 천재에게 명예가기다리고있다. 최소한의제스처와목소리, 시선으로 3D 공간을 조작할 툴 말이다. 올리고 비틀고 말하고 끄덕이기만 해도 된다. VR 안에서 능숙한 제작자가 만드는 광경을 보는 것도 나무꾼이나 무용수를 보는 것 만큼이나 아름다우리라 생각한다. VR에서 돌아갈 보편적인 인터페이스는 이제까지 보지 못 했던 창조의 표현력을 극대화 시킬 것이다.

Narrow Field of View
당장 혼합현실 장비의 시야는 너무 좁다. 현재 MR 장비로보면 Meta 2의시야가 제일 넓지만 그럼에도 불구하고 불충분하다. 바로 앞에 위치한 가상의 물체도 화면의 영역 안에 있어야 나타난다. 하지만 시선을 옮기면 주변에서 사라진다. 이러면 설득의 망이 깨진다. 완전히 둘러싸인 VR 장비에는 그런 단점이 없다. 주변 광경을 전혀 못 보기 때문에, 모순적인 정보를 받지 못 한다. 돌아서면 물체는 사라지지만, 그 배경도 역시 사라진다.

모든 혼합-현실시스템은 VR 시스템에는 없는 두 번째의 문제도 해결해야 한다. 이상적이라면 혼합현실에서 책상 위에 있는 가상의 찻잔 조명은 실제 조명과 방향이 같아야 한다. 실제 책상처럼 같은 색상 톤이어야 한다는 의미다. 즉, 외부 카메라와 소프트웨어가 실시간으로 방 안 조명을 계산해야 한다. 하지만 현재의 혼합-현실은 아직 그 경지에 오르지 못 했다. 조명의 불일치는 설득의 망에 있어서 또 다른 약한 고리이다. 경험상, 이 불일치는 "정말로 실재하는 인위적인 것들"이라 부르는 효과를 만들어내는 경향이 있다. 인공 물체와 실제로 존재하는 실제 물체를 헷갈려 하지 않는다. 하지만 실제로 존재하는 인공 물체다.

Tethers
고정된 위치까지 연결되지 않는 가벼운 장비 착용의 장점은 과장해도 지나치지 않다. 자유로움은 현실감도 그만큼 깊게 만들며, 전선에 대한 우려는 마술의 효과를 떨어뜨리게 마련이다. 화면과 프로세서는 심지어 안경에 안 보이도록 집어 넣을 만큼 훨씬 작게 만들 수 있지만 배터리가 VR의 문제이다. VR의 연산 로드는 너무나 거대하기 때문에 무선 헤드셋은 작동 시키기가 매우 어려울 것이다. 하루 내내 안경의 프레임에 맞출 수 있을 정도의 전력을 무선으로 해결하려면 좀 더 기다려야 할 일이다. 현재로서는 주머니의 배터리에 선을 연결할 수 있을 것이다.

최고의 문화적인 힘으로 인식하기까지 과학소설과 혁신의 공(共)진화는 느리게 진전을 이루는 중이다. VR 엔지니어와 오래 얘기하다보면 스노크래시(Snow Crash)나 Ready Player One를 언급하게 마련이다. 레디플레이어원(Ready Player One)의 저자인 어니스크 클라인(Ernest Cline)은 가상의 혹성에 거대한 가상의 세상, Oasis를 발명했다. 이곳에 수 십억 명이 직장과 학교, 놀이를 잊고 가상 세계에 몰입해 있다. 과학 소설의 반복적인 성격이 잘 발현된 사례일 텐데, 클라인이 만들어낸 Oasis는 현실이 될 수도 있다. 클라인은 제작사들이 Oasis와 비슷한 초보적인 가상 경험을 영화로 만들 수도 있다고 말한다. "느리게나마 계속 따라잡다 보면, Oasis가 실제로 만들어질 가능성이 있습니다. 제 소설에서 한 상상의 결과로 수 백만 명이 이용하는 실질적인 세상이 될 수 있겠죠."

매직립에서 애보비츠가 처음으로 고용한 인물 중에 닐스티븐슨(Neal Stephenson)이 있다. 그는 바로 VR 소설, 스노크래시의 저자이다. 그는 스티븐슨이 매직립의 수석 미래실장(futurist)이 되기 원했다. "엔지니어의 마음가짐에 훌륭한 작가의 기질이 섞여 있기" 때문이었다. 애보비츠는 그가 새로운 형태의 내러티브를 개발하는 소규모 팀을 이끌기 원했다. 다시 말하지만, 신화 제작자가 신화를 실화로 만들 것이다.

스노크래시의 영웅은 가상세계에서 검을 휘둘렀다. 스티븐슨의영입을위해매직립은스티븐슨의집에 4 명의 특사를 보냈다. 호빗 3부작에나오는 "오르크리스트(Orcrist, 'Goblin-cleaver' 검)"을 들려 보내서 말이다. 마스터 도검 제작자가 손수 만든 소도구를 다시 만든 검이었다. 즉, 어차피 비현실인 영화에서 사용된 검의 또 다른 가짜 버전이었던 것이다. 별도로 만든 혼합 현실을 영리하게 나타낸 셈이다. 스티븐슨은 끌렸다. 다음의 글은 매직립의 블로그에 올라와 있다.

"집앞에누군가갑자기신화속의검을들고나타나는일이일상적이지는않죠. 그래서판타지 소설을 많이 읽은 사람답게 처신했습니다. 집 안으로 불러들여서 맥주를 줬죠. 예상대로, 그들은 퀘스트에 저를 초대하여 계약서 서명을 요구했습니다. (사실, 기밀유지(NDA)였지만요.)"

스티븐슨은 영입을 받아들였다. "2D 화면으로 가능한 일은 이제 다 했습니다. 이제는 3D에서 무엇이 가능할지 개시할 때이죠. 아예 처음부터 미디어를 재편성한다는 의미입니다. 작은 발걸음으로는 할 수 없는 일이에요." 그는 VR을 새로운 정상에 다다르기 위하여 보기보다 위험한 계곡을 건너는 도전에 비교했다. 그는 애보비츠가 "그 계곡을 철벅철벅 건너려 한다"며 칭찬했다.

가상현실이 무엇인지, 어떻게 될지 알기는 아직 너무 이르다. 애보비츠는 인조현실은 우리의 두뇌에 직접 연결되기 때문에 궁극의 인간매체라 믿는다. "우리의 두뇌는 놀라운감각(sensory) 컴퓨터입니다. 매직립은 그저 펜과 종이, 타자기 혹은 캔버스와 붓일 뿐이죠. 사람들이 처음 나타났을 때부터 만들던 겁니다. 진정한 미래로의 길은 생물학이에요." 한 가지만은 안다. 기술의 발전은 흥미로운 전환을 일으킬 수 있다는 사실 말이다. 휴대폰은 큰 덩지로 시작해서 그 자체가 짐이었다. 그런 휴대폰을 더 작게 만들기란 상상하기 쉬웠고, 실제로 그렇게 됐다. 그러나 휴대폰이 미니어처 버전만큼 줄어들지만 하지는 않았다. 소형화가 되면서 휴대폰은 키패드를 없앴고, 고해상도 컬러 화면을 채용했으며, 그때부터 크기가 다시 늘어나기 시작했으며, 아예 전화기로의 역할을 중단했다. 아예 다르고 예기치 못 했던 뭔가로 진화한 것이다. VR도 놀라울 것이다.

바로 당장은 아니더라도, 한 15년후라면우리의업무와유희는어느정도가상의세계를손댈것이다. 공유된가상경험 시스템은 우리가 만든 그 어떤 기업보다 거대한 기업이 될 수 있다. 완전한 몰입형 VR 세계는 이미 경험당 기가바이트 급의 데이터를 만들어내고 소비하는 중이다. 앞으로 10년 후에는 그 규모가 분당 기가바이트에서 분당 테라바이트로 바뀐다. 전세계 기술 업계(칩 디자이너, 소비자용 기기 업체, 통신 재벌, 부품 업체, 컨텐트 제작사, 소프트웨어 제작사) 모두 피어나는 거대한 시스템에 저마다 손대려 할 것이다. 그리고 개중 소수의 기업만이 VR 네트워크를 지배할 것이다. 네트워크에서는 너무나 흔한 일이다. 성공이란 자기강화(self-reinforcing)이기때문이다. 가상사회는더커질수록 매력적이다. 그리고 더 매력적일수록 더 커진다. 인공-현실의 승자는 결국 역사상 최대의 기업으로 변모하게 되어 있다. 어느 기준으로 봐도 지금의 대기업들을 쉽게 난쟁이로 만들어버릴 수준이다.

매직립이 그런 기업이 될지는 나도 모르겠다. 단 매직립이 해당 범주에서 1등이 되려고 경쟁하지는 않을 테지만, 현재의 대기업들 그 누구도 1등을 두고 경쟁하지 않고 있다. 매직립은 150건 이상의 특허를 출원했지만, 시연된 프로토타입을 아직 공개하지 않았다. 게다가 우리는 가상의 영역에서 인간의 감각이 어떻게 작동할지 아직 완전히 모른다. 알아내려면 더 많은 VR이 필요할 일이다. 우리는 새로운 정상에 다다르기 전에, 보기보다 위험한 계곡을 건너야 한다.

하지만 뭔가 분명히 일어났다. 문턱을 넘어섰다. 오랜기간이후, VR은 드디어 빠른 개선이 충분할 정도로 성장했다. 진짜다(It’s real).

WIRED senior maverick Kevin Kelly (kk@kk.org) is the author of the upcoming book The Inevitable, to be published in June.
This article appears in the May 2016 issue.
http://www.wired.com/2016/04/magic-leap-vr/#slide-4

번역 : 위민복