안준형_게임의 물리적 인터페이스에 따른 게임적 체험의 이야기들: 컨트롤러, VR 그리고 뉴럴링크?

안준형

인터페이스는 사람과 기기 사이의 경계면을 의미한다이 경계면의 형태이른바 인터페이스 디자인은 기기가 작용하는 복잡한 원리에 사람이 조작을 가할 수 있도록 최소한의 허용치를 알기 쉽게 하는 것이 원칙이다게임의 인터페이스는 시각적 인터페이스와 물리적 인터페이스로 나뉘어 나타난다. ‘시각적 인터페이스는 스크린 상에서 재생되는 게임의 이미지를 구성하는 시각 정보상의 구성 및 배치를 비롯한 시각적 디자인 전반으로 이해할 수 있다이는 캐릭터의 HP, MP 표시나 시스템 메뉴의 구성 등에 해당한다. ‘물리적 인터페이스는 현실상의 물리계에서 하드웨어와 소프트웨어가 결합 되어 실행되는 게임이라는 매체의 바로 그 실행을 직접적으로 조작하는 입력 장치상의 디자인 형태를 의미한다게임 컨트롤러가 대표적이다컨트롤러는 게임을 플레이하는 데에 있어서다시 말해 게임 매체와 플레이어가 상호작용하는 데에 있어서 최적으로 디자인 된 물리적 인터페이스로 여겨진다예컨대 자동차의 핸들이 주행 중의 방향 조절에 최적화된 인터페이스이듯컨트롤러는 오직 게임을 플레이하는 데에 최적화되어 있다.

컨트롤러는 현실의 신체와 게임 속 가상의 신체를 매개한다. 게임적 체험이란 인터페이스를 통해 적극적으로 매개된 상호작용의 결과다. 오늘날 게임 속 수많은 장르들을 떠올려보자면 표준적인 물리적 인터페이스가 디자인되어 있다는 점은 새삼 놀라운 일이다. 각각의 게임 장르는 상이한 규칙을 갖고 있으며, 특정한 사건과 행위를 담고 있다. 이를테면 중세 판타지를 배경으로 하는 RPG 장르에서 플레이어는 말도 안 되게 커다란 대검을 휘두르거나 마법을 시전하기도 하지만, FPS 장르로 옮겨간다면 총기 사용의 세부적인 디테일에 플레이어 행위의 상당 부분이 할애된다. 그와 같이 게임으로 플레이 가능한 수많은 행위들은 단순히 표현되기만 할 뿐이 아니라, 말 그대로 조작되어야 한다. 바꿔말하자면 게임은 그저 스크린으로 재생되기만 해선 작동되질 않으며, 관람자에 의해 조작 되어야 비로소 ‘실행’된다. (그와 같은 조작을 통해서만 오직 관람자는 플레이어가 된다.) 그러므로 게임을 실행하는 물리적 매개체인 컨트롤러는 이것으로 플레이되는 각 장르 상의 무수히 다양한 사건 및 행위를 중개하고 조작할 수 있어야 한다.1)

게임적 보편성의 한 형식으로서 컨트롤러라는 물리적 인터페이스

왼쪽부터 각각 Xbox One의 컨트롤러, PS4의 듀얼쇼크4, 닌텐도 스위치의 프로 컨트롤러, 이미지 출처(좌측부터): 링크1, 링크2, 링크3

흔히 8세대(2016~2021)로 분류되는 콘솔게임기의 ‘컨트롤러’는 다음과 같은 표준적인 형태와 기능을 갖는다. 이른바 인체 공학적으로 디자인되어 있다는 이 물체는 오른쪽으로 90도 기울어진 ㄷ 모양을 하고 있다. 좌우 양쪽의 봉은 살짝 뭉툭하게 되어 있어 각각 양손으로 그립 하기가 좋다. 윗면의 왼쪽 부근에는 흔히 십자키로 불리우는 네 개의 버튼이 십자가의 각 끝 위치에 배치되어 있다. 십자키 위치에서 오른쪽으로는 거의 대칭적인 모습으로 4개의 버튼이 배치되어 있다. 이렇게 각각 버튼 네 개씩 그룹화되어있는데, 이 버튼 그룹의 주변에는 각각 하나씩, 총 두 개의 ‘아날로그 스틱‘이 배치되어 있다. 이 아날로그 스틱은 반경 360도 범위로 살짝 기울이거나 회전시키면 작동하며, 또한 위에서 압력을 주어 클릭 기능을 하기도 한다. (‘PS4의 컨트롤러인 ‘듀얼쇼크4’는 2개의 조이스틱이 모두 그룹화되어 있는 4개의 버튼 위치 밑에 각각 하나씩 자리 잡고 있어, 전체적으로 좌우 대칭적인 모양이지만, ‘Xbox One‘의 컨트롤러는 아날로그 스틱이 4개의 버튼 그룹과 사선으로 교차되게 배치되어 있어, 비대칭적인 모양을 하고 있다.) 그리고 전면부에도 마찬가지로 대칭적으로 좌우 양 끝에는 각각 ’범퍼‘와 ’트리거‘로 불리우는 두 개의 키가 위, 아래에 배치되어 있다. 컨트롤러에서 직접적으로 게임 플레이에 관여하는 버튼은 여기까지이다. (PS4의 컨트롤러인 ‘듀얼쇼크4’는 ‘터치패드’라고 불리우는 조작키를 실험적으로 추가 배치하였으나, PS4의 세대 주기가 끝날 때까지도 이 예외적인 조작키를 적절히 사용하는 게임은 그렇게 많지 않았다.) 여기에 추가로 직접적인 게임의 플레이에 관여하진 않지만, 하드웨어의 조작을 위한 ‘부팅’ 기능을 하는 버튼이나 ‘옵션’ 버튼, 컨텐츠 공유를 담당하는 ‘쉐어’ 버튼 등 주로 시스템 기능을 담당하는 부차적인 버튼이 기종 별로 한 두세 개씩 추가 배치되어 있곤 한다. 이것이 이른바 오늘날 표준적인 컨트롤러의 기능적 형태이다.

직접적으로 게임 플레이에 관여하는 버튼의 배치나 디자인은 각 기종별 간 표준적인 형태를 공유하고 있다. 두 개의 ‘아날로그 스틱’, 네 개의 버튼 그룹x2, ‘패들’과 ‘트리거’x2를 갖는 컨트롤러의 기능적 형태는 표준적이다. 이같은 컨트롤러의 표준적 형태는 최근 몇 세대 동안 크게 갱신되지 않았다. 십 몇 년 전 까지만 해도 온갖 기상천외한 컨트롤러 디자인이 난립했었다는 사실을 떠올려보자면 새삼 놀라운 일이다.2)

우리가 흔히 게임 매체라고 퉁쳐서 부르곤 한다지만, 게임은 ‘소프트웨어’라는 본원적 형태와 이것을 재생하고 실행하는 시청각적, 물리적 매체들의 총체이다. 우선 게임을 시각적으로 재생하는 스크린이 있다. 또 사운드를 재생하려면 스피커나 헤드셋이 필요하다. 대표적인 이 두 유형의 기기는 각각 게임을 시청각적으로 재생한다. 하지만 이 두 기기는 게임을 재생할 뿐 직접 실행하지는 않는다. 게임은 관람자와 직접 상호작용되는 매체로서 이 과정 안에서 작품 자체의 이미지, 사운드, 텍스트 등이 변형되고 그와 동시에 이를 변형시키는 관람자를 플레이어로 만든다. 게임은 단순히 재생되기만 하는 것이 아니라 직접 조작되어 실행되어야 한다.

이렇게 말해도 좋다면 게임의 재생은 게임의 실행에 있어서는 부차적이다. 이 부차적 매체의 형태는 대체될 수 있다. 스크린과 스피커는 또 다른 제품의 스크린과 스피커로 충분히 대체될 수 있다. 그것은 그저 게임적 체험의 시청각적 질을 떨어뜨리거나 반대로 선명하게 할 뿐이다. 그것이 게임이라는 매체의 조건과 체험을 직접적으로 결정하진 않는 것으로 여겨진다. 그러나 물리적 인터페이스는 게임을 단순히 재생하는 것이 아니라 직접적으로 조작함으로써 게임을 실행한다. 물리적 인터페이스는 전혀 게임에 부차적일 수 없다. 물리적 인터페이스의 형태는 게임의 매체적 조건을 결정짓는 핵심적인 구조이며 고정적이다.3) 따라서 게임의 본원적 형태인 소프트웨어는 그것을 실행하는 매체, 특히나 물리적 인터페이스의 형태에 따라서 상이한 게임적 체험을 생산한다.

게임적 체험 사이의 호환 불가능성. 컨트롤러에서 키보드, 마우스로 감각을 적응시키기

물론 게임은 유일하게 컨트롤러를 통해서만 작동하진 않는다컨트롤러는 하나의 표준일 뿐이며특히 컨트롤러를 전용 인터페이스로 삼는 콘솔 게임기 문화가 그다지 발달하지 않은 한국에서 이는 오히려 낯선 경험이다한국에서 게임은 주로 PC로 플레이 되는데, PC의 표준적인 물리적 인터페이스는 키보드와 마우스일 것이다콘솔로 게임을 플레이한다면 으레 게임 속 시점을 전환하기 위해서 컨트롤러의 오른쪽 아날로그 스틱을 굴려야 했을텐데, PC에서 이같은 시점 조작은 마우스의 움직임으로 대체된다또한 대다수 PC 게이머들에게 키보드의 w, a, s, d키는 캐릭터의 이동 조작을 담당한다는 정보가 상식이 되어 있다.4) 그러나 이는 컨트롤러에선 흔히 왼쪽 아날로그 스틱을 굴리는 일로 대체된다게임적 체험은 동일한 작품으로 여겨지는 게임 소프트웨어를 플레이하더라도 사실상 물리적 인터페이스의 차이에 따라 상이한 매체적 체험으로 나타난다게임의 본원적 형태라 부를 수 있는 소프트웨어는 그것을 실행하는 매체인 물리적 인터페이스에 따라서 상이한 게임적 체험이 된다.

전설적인 슈터 게임 <>(1993)의 리메이크 작품인 <>(2016)은 PC와 콘솔로 함께 발매되었다. (사실 오늘날 대부분의 게임이 pc와 콘솔로 동시 발매 된다.) 그러나 일견 동일한 게임으로 여겨지는 <>(2016)의 플레이 경험은 콘솔에서 구동되었을 때와 PC에서 구동되었을 때가 완전히 일치하지 않는다그 둘의 경험은 제한적으로만 교환될 따름이다플레이어는 앞서 PC에서 키보드와 마우스를 통해 <>(2016)을 플레이하면서 익힌 <>(2016)에 대한 경험과 숙련도를 콘솔과 컨트롤러의 경험으로 이전하는 데에 한계를 갖는다그는 이미 한번 게임을 클리어 했으므로, <>(2016)의 특정한 퀘스트를 클리어하는 방법은 물론내러티브기술의 습득 및 탁월한 사용 방법무수한 적들의 공격 패턴까지 꿰고 있을 수 있다그러나 그는 정작 걷는 일조차 제대로 하기 어렵다마치 갓난 아기가 처음 걸음마를 떼듯그는 캐릭터를 이동시키는 감각에서부터 배워나가야 한다그는 마치 하드코어한 전생루프물 속의 주인공처럼 앞선 생에서의 기억만을 간직 한 채 몸만은 아기로 돌아가 버린 것 같다. PC에서 캐릭터를 이동시키기 위해선 으레 키보드의 w, a, s, d키를 입력해야하기 마련이다반면 컨트롤러에서 캐릭터를 이동시키는 방식은 키보드와 기술적 구조 수준에서 전혀 다르다.

키보드의 작동 방식은 디지털적이다그것은 입력됨과 입력되지 않은 상태, 0(true)과 1(false)로 나뉠 뿐이다. w키를 누르면 캐릭터는 앞으로 전진한다반면 컨트롤러의 아날로그 스틱은 말 그대로 아날로그적(물론 아날로그 스틱의 작동 역시나 디지털적으로 값을 입력받기 때문에 순수한 아날로그 방식의 작동으로 볼 순 없다다만 아날로그 스틱은 세밀한 조정값이를테면 0.4562..와 같이 소수점을 입력받는다.)이다아날로그 스틱은 조작하는 손이 가하는 압력의 정도에 따른 (방향과 기울기의미세한 차이에 의해 작동한다예컨대 아날로그 스틱을 살짝만 기울이면 그만큼 캐릭터는 느리게 움직인다반면 입력의 유무로 작동하는 키보드의 입력값엔 아날로그 스틱과 같은 아날로그적 깔짝거림이란 허용되지 않는다아날로그 스틱은 서서히 스틱에 가하는 압력의 강도를 높여 크게 기울일수록 캐릭터가 그만큼 빠르게 이동하게 된다오직 아날로그 스틱 하나만으로 캐릭터를 느리게 이동시킬 수도동시에 빠르게 이동시킬 수도 있다그러나 키보드의 w키 만으론 캐릭터가 이동하지 않는 상태에서 그저 이동하도록 조작 할 수 밖에 없다. w키 만으론 아날로그 스틱처럼 걷거나 뛰는 행위를 동시에 조작할 수 없다. w키에는 여기에 대응하는 걷거나 뛰는 동작 하나만이 배치될 수 있을 뿐이다플레이어는 w키를 눌러서 캐릭터를 이동시키는 와중에 속도를 변경하고자 한다면 별도의 키를 추가로 입력해야 할 것이다. (표준적으로 걷기는 w키와 Alt키를 동시에 누르는 것으로 조작된다뛰기는 w키와 Shift키를 동시에 누르는 것으로 조작된다.)

이같은 키보드와 아날로그 스틱의 작동 방식의 차이는 특히나 레이싱 게임 장르를 플레이할 때 극적으로 나타난다자동차의 핸들이 방향 전환에 최적화된 물리적 인터페이스인 이유는 그것이 아날로그적인 미세한 회전에 따라서 방향 전환의 각도 및 유지와 같은 조절을 탁월히 가능하도록 하기 때문이다그러나 입력과 비입력으로 나뉘는 키보드는 자동차의 전진 및 후진또한 방향 조절까지 합해도 단 4개의 키(전진후진좌회전우회전)로 밖엔 조작될 수 없다실제 자동차가 전진하는 원리는 패들을 밟는 압력을 서서히 높여감에 따라서 패들이 더욱 기울어 질수록 전진하는 힘이 증가하며 자동차의 속도 또한 증가하게 된다그러나 키보드는 W(전진)를 눌렀을 때 그저 풀악셀을 밟았을 때의 힘으로 차가 전진 될 뿐이다중간은 없다마찬가지로 키보드에서 표준적으로 좌회전을 담당하는 d키를 누르면 그저 최대 각도의 좌회전이 될 뿐이다.(물론 여기에도 나름의 플레이 노하우가 있긴 한데키보드의 키를 눌러도 자동차가 순식간에 최고 속도와최대 각도에 도달하진 못한다는 점을 이용하여 순간적으로 키를 눌렀다 땠다를 반복하면 어느정도 미세한 힘의 조절이 가능하다.) 반면 컨트롤러는 아날로그 스틱을 통해 실제 핸들이 조작되는 것처럼 미세하게 방향을 전환하는 것이 가능하며표준적으로 레이싱 게임에서 차의 전진 기능을 담당하는 오른쪽 트리거키는 실제 자동차의 페달처럼 압력에 따른 기울기의 각도에 따라 운전 속도를 조작 할 수 있다.

반대로 컨트롤러보다도 키보드와 마우스로 플레이하는 것이 더욱 적합한 게임 또한 있다. 이를테면 mmo-rpg 장르인 <월드오브워크래프트>를 컨트롤러로 완전히 플레이한다는 것은 정말 어려운 일이라고 할 수 있다. <월드오브워크래프트>의 전투 시스템은 무수히 다양한 스킬의 사용에 의존하는데, 내가 플레이했던 야수 사냥꾼만 하더라도 ‘날카로운 사격‘과 ’살상 명령‘으로 이어지는 딜싸이클을 돌리기 위해선 최소 열다섯 개 이상의 스킬을 적시에 사용해야만 했다. 그리고 이같은 스킬들은 각각 독립적인 조작키가 할당되어 있다. 이는 편의상 흔히 이동 조작키인 w, a, s, d 위에 위치하고 있는 숫자키들에 할당되기 마련이다.(물론 이 열 개의 숫자키들만으로도 플레이 중 요구되는 수많은 스킬들을 전부 각각 할당하긴 어려워서 Alt키와 Shift키까지 동원하여 중복키 사용까지도 감수한다) 이처럼 손이 꼬일 정도로 수많은 조작키를 요구하는 게임의 플레이는 조작 버튼의 수가 제한되어 있는 컨트롤러로 플레이하기 여간 어려운 일이 아닐 수 없다.

하지만 한 번 더 바꿔 말하면 PC에서 키보드와 마우스를 통해 주로 게임을 플레이하던 사람이 처음 콘솔 게임기의 컨트롤러로 게임을 플레이하는 경우 많은 어려움을 겪을 것이며결코 짧지 않은 적응 기간을 갖게 된다이를테면 마우스를 통해서 FPS 장르의 게임을 플레이할 경우 게임의 시점 전환은 앞서 이야기한 것과 같이 표준적으로 마우스의 이동 값에 의해 조작된다반면 컨트롤러에서는 표준적으로 왼쪽 아날로그 스틱을 조작하여 게임 내 시점을 전환하게 되는데이는 앞서 강조하였듯 마우스의 작동 방식과는 구조적으로 전혀 상이하다그렇기 때문에 동일한 게임 <>에서도 마찬가지로 동일한 동작 일터인 시점 전환을 조작하는 데에 있어서 pc와 콘솔에서는 전혀 다른 조작의 감각이 필요하다예컨대 아날로그 스틱은 스틱을 기울이면 시점을 전환할 수 있게 된다이 기울기의 각도가 커져감에 따라서 시점이 전환되는 속도 또한 빨라진다표준적으로 이 왼쪽 아날로그 스틱은 왼쪽 엄지손가락으로 조작하게 되는데스틱의 기울기를 컨트롤하는 엄지손가락의 압력 정도를 조절하기란 여간 어려운 일이 아니다반면 표준적으로 오른쪽 손 전체를 이용하여 쥐고서어깨와 팔 관절 전반을 사용하여 조작하게 되는 마우스의 이동 조절은 비교적 수월하고 또 정교하게 이루어질 수 있다또한 마우스 포인트를 중심으로 마우스가 움직일 동안에만 게임 내 시점이 전환하게 되며마우스가 빠르게 이동될수록즉 손이 빠를수록 시점을 전환하는 속도 또한 빨라진다그리고 마우스를 멈추는 순간 시점 전환 또한 멈추게 된다그러나 컨트롤러의 아날로그 스틱은 처음 고정되어 있는 원위치를 중심점으로 하여 어느 정도의 각도와 기울기로 조작되느냐에 따라서 게임 내 시점이 전환된다이 기울기와 각도의 최대값에는 구조적인 한계가 있기 때문에 우리의 손이 얼마나 빠르든 간에 게임 내 시점을 전환 시키는 속도에는 한계가 있다또한 아날로그 스틱으로 시점 전환을 조작중일 때 이를 중지하려면 스틱이 중심이 되는 원위치로 돌아와야만 한다이같은 구조에서의 시점 전환 조종은 직관적이긴 하지만 매우 어렵다때문에 빠른 시점 전환을 요구하는 장르의 게임들대표적으로 FPS를 컨트롤러로 플레이하는 일은 굉장히 어려운 일로 여겨진다.

공통분모 속의 체험들, 게임 바깥으로 감각을 응용하기

컨트롤러의 트리거키를 조작하는 감각이 마치 자동차의 페달을 조작하는 감각과 유사하고 또 그만큼 서로 호환될 수 있다면, 컨트롤러를 조작하는 감각은 비단 게임을 플레이할 때만의 고유한 것이진 않을 것이다. 컨트롤러가 이를 통해 플레이되는 게임 속 수많은 행위 및 사건을 매개하고 조작할 수 있다면, 바꿔 말해 컨트롤러를 통해 매개되는 사건 및 행위는 굳이 게임이 아니더라도 잠재적으로 컨트롤러를 통해 조작 될 수 있는 가능성에 놓인다.

현실의 특정한 사건이나 행위가 게임으로 추상화되어 즐길 수 있는 것으로 주조되고, 이제는 게임으로 추상화되지 않은 것을 찾기가 오히려 어려운 일처럼 되었다. 레이싱, 전쟁, 스포츠, 경영 그리고 과거와 미래까지도 모두 게임의 대상이 되었고 이 모든 것을 게임적 보편성으로 매개하는 컨트롤러가 놓여있다.

5)

미국의 군수업체 록히드마틴은 2017년 미 해군의 버지니아급 핵추진 공격 잠수함의 관측 기기 ’포트닉 마스트’의 조종에 콘솔 게임기 xbox의 전용 컨트롤러를 사용하겠다고 밝혔다. 록히드마틴은 다음과 같이 설명한다. “기존의 전용 조이스틱으로는 마스트 조종법을 익힐 때까지 몇 시간 필요했던 반면, 엑스박스 컨트롤러로는 몇 분 만에 직관적으로 마스트를 조종할 수 있게 됐다”6) 뿐만 아니라 시각예술 현장에서 활동하는 미술 작가 안가영은 컨트롤러를 자신의 작업 안에서 주요한 형식적 모티프로 참조하기도 한다. 그가 게임의 물리적 인터페이스를 통해 특히나 관심을 기울이는 부분은 컨트롤러를 사용하는 숙달의 정도에 따라 나타나는 어떤 경험적인 단절이다. 다시 말해 컨트롤러에 대한 숙련도는 곧 이를 통해 허용되는 특정한 감각적 경험을 가리킨다는 것이다. 자동차의 물리적 인터페이스 부분 중 하나인 핸들을 두고서도 유사하게 주장할 수 있다. 이를 아예 조작할 수 없는 무면허자와, 나름 조작할 수 있는 운전자, 그리고 이를 조작하는 감각을 극한까지 갈고 닦은 프로 레이싱 선수 사이에는 분명한 경험적인 단절이 존재한다.

안가영은 그의 작업 <네가 좋으면 나도 좋아>에서 버튼이 하나뿐인 컨트롤러를 가져와 앞서 언급한 인터페이스의 숙련도 차이에 따른 특정한 경험의 단절을 더없이 남루한 모습으로 해소한다. 여기 하나뿐인 버튼을 누르면 그저 앞에 있는 스크린에서 보이는 어떤 익명의 npc가 ‘알라뷰’라고 말하며 조악한 긍정의 제스처를 반복할 뿐이다. 여기서 컨트롤러를 조작하는 일은 그저 하나의 버튼을 누르는 일에 불과하기 때문에 일말의 숙련도의 필요성도, 마찬가지로 그러한 숙련도의 차이에 따른 경험의 단절도 나타나지 않는다. 그저 이같이 남루한 인터페이스로 구획된 오늘날의 지배적인 관계의 풍경이 심히 허접스러울 뿐이다.

그는 오늘날의 지배적인 관계 형식을 풍자적으로 제시하기 위해 컨트롤러를 원 버튼으로 재형식화하는 것뿐만 아니라, 현재의 온전한 컨트롤러의 표준적인 형태를 작업의 형식으로 들여오기도 한다. 그리고 응당 상대해야 할 문제는 이 컨트롤러의 숙련도에 따른 경험의 단절이다. 그러나 이 경험적 단절의 문제는 해당 작업이 놓인 미술관이라는 장소 안에서 관람 경험의 단절과 소외라는 문제로 전환된다. 그러나 작가는 이를 해소해야 할 문제라기보다는 외려 새로운 관람 방식의 가능성으로도 본다. 그는 비교적 게임 컨트롤러에 대한 숙련도가 떨어져 직접 작품을 플레이할 수 없는 관람객이 해당 작품의 온전한 감상으로부터 거부된 것이 아니라, 그 자체로 독특한 메타 플레이 속에 놓이게 된다고 여긴다. 이를테면 컨트롤러에 대한 숙련도가 완숙한 관람객이 작품을 플레이하는 것을 지켜보게 되는 일은 새롭게 규명되어야 할 방식의 플레이 경험을 의미한다는 것이다.

갱신되는 인터페이스로서 VR 게이밍의 사례

오늘날 VR 게이밍의 발전은 흔히 시각적 공간의 현실성, 이른바 공간 컴퓨팅의 진화에 초점이 맞추어지곤 한다. 그러나 VR이 진정으로 흥미로운 지점은 VR 게이밍이 새롭게 창출한 가상 공간보다도 이 새롭게 창출된 가상 공간에 의해 게임적 지각 방식이 변화되었다는 점이다. 이는 게임 매체에 주어진 기존의 물리적 인터페이스를 갱신한다. VR의 표준적인 물리적 인터페이스는 이른바 ‘모션 트래킹’ 혹은 ‘모션 인식’이라고 불리는 기술을 중심으로 발전되고 있다. ‘모션 인식‘이란 말 그대로 현실의 신체가 동작하는 움직임을 포착하고 인식하는 기술을 일컫는다. 이는 환경에서 나타나는 다양한 변수들을 인식하는 복합적인 센서들로 이루어진 기술이다. VR에서 캐릭터(이제는 완전히 내 현실의 신체와 시점상 동기화 된)를 움직이는 방식, 게임 속 사물과 상호작용하는 방식은 이제 기존의 컨트롤러라는 매개를 극복하고 현실의 동작과 일치되고 있다.

우리 현실의 신체에 매달려 있는 팔과 손 또한 일종의 두뇌로부터 내려오는 신경 전달 명령어를 매개하여 기능하는 인터페이스로 볼 수 있다. 우리 의식의 절대적인 경계면, 즉 인터페이스가 있다면 그건 우선 신체인 셈이다. 우리는 어떤 물건을 집는다고 했을 때 우리 신체의 구조와 형태에 따라서 최적화된 집기 동작을 수행한다. 만약 우리의 팔이 지금처럼 다수의 관절과 다섯 개의 손가락을 특징으로 하는 구조가 아니었더라면 우리의 집기 동작은 지금과는 사뭇 다른 모습이 되었을 것이다. 그러나 게임에서 집기는 그저 대응하는 조작키를 한번 누르는 것으로 간단히 행할 수 있다. 현실에서의 집기 동작 또한 언뜻 보기엔 이처럼 간단해 보이기도 하지만, 사실 현실 세계에서의 집기 동작은 무수히 자잘 자잘한 일련의 동작들이 연결된 합으로 수행된다. 이를테면 우선 목표물인 대상으로 몸을 가까이 이동시키기 위해 다리를 구부린다. 그다음 목표물까지 팔을 뻗는다. 목표물의 형태에 맞게 손가락을 쥐고 적당한 압력을 주어 집는다.(이같은 집기 동작의 분절을 묘사하는 일은 지금 작성한 것보다도 훨씬, 거의 무한에 가깝도록 세부적으로 서술될 수도 있다) 물론 우리는 이와 같이 복잡하게 연계되어 있는 세부 동작들의 합을 무의식적으로 손쉽게 수행하곤 한다. 그리고 이렇게 수행되는 집기의 동작은 반복될 때마다 무수히 상이한 형태로 나타난다. 왜냐하면 신체의 움직임은 결코 동일하게 반복될 수 없기 때문이다. 우리 신체의 움직임은 같은 동작을 수행한다고 하더라도 신경 전달의 미세한 차이, 호흡, 관절의 미묘한 떨림 등에 의해 제약된다. 우리의 신체는 그저 어쩔 수 없이 그렇게 되어 있다. 그러나 게임에서는 현실과 같은 동작의 무한함 따위는 없는 것처럼 보인다. 게임의 캐릭터는 호흡하지 않는다. 그들은 뇌가 없다. 그들의 동작은 두뇌에서 내려지는 명령에 의한 신경 전달의 결과로 나타나지 않는다. 게임 속 행위는 그저 버튼 하나에 대응하는 동작 하나로 이어져 있을 뿐이다. 그러나 VR 게이밍의 독특한 점은 현실의 동작이 그 자체로 게임의 동작과 동기화된다는 점이다. 게임 캐릭터의 동작은 컨트롤러 껍데기 위의 달린 몇 개의 버튼들로 추상화되어 매개되는 대신에 현실 신체의 동작과 대응되어 움직여진다.

하지만 VR 게이밍은 아직 PC나 콘솔 게임기만큼 보급되지 않았고, 따라서 그다지 접근성이 좋다고 할 순 없다. VR 게이밍을 체험하는 일은 여전히 드문 경험이다. 그리고 무엇보다 중요한 점은 VR이 현재까지도 물리적 인터페이스의 기술적 구조가 매우 빠르게 갱신되고 있다는 점이다. 그러므로 VR 게이밍은 컨트롤러처럼 표준적인 물리적 인터페이스가 아직 정립되지 않았다. 하지만 앞서 언급한 것과 같이 VR 게이밍은 모션 인식 기술의 심화를 중심으로 물리적 인터페이스를 구성하고 있다. 우리는 이같은 모션 인식의 발달이라는 측면에서 잠재적으로나마 전형적인 VR 게이밍으로 파악될 수 있는 제품을 살펴보고, 모션 인식이 표준적으로 가닿게 될 형태를 상상할 수 있을 뿐이다.

PSVR은 대중적으로 가장 널리 보급된 VR 게이밍 기기 중 하나다. 2016년 출시된 PSVR은 PS4 전용의 VR 기기로낮은 가격대와 준수한 성능을 갖고서 VR치고는 제법 흥행한 편이다. PSVR은 ’VR 헤드셋과 두 개의 무브봉이라고 불리는 물리적 인터페이스 기기를 갖는다또한 하나의 외부 카메라가 설치되어 플레이어의 신체를 관측하게 되는데이는 이른바 모션 인식’ 기술을 위한 장치이다여기서 우리 현실의 신체 자체가 곧 VR 게이밍의 물리적 인터페이스의 연장 속에 놓인다. ‘VR 헤드셋은 플레이어의 머리에 착용 되어 가상 현실의 이미지를 송출하는 시각적 인터페이스의 기능을 하면서 동시에 기기 바깥으로는 발광하는 조명이 부착되어 있다이는 PSVR의 모션인식‘ 기능에서 신체 동작의 좌표를 알려주는 기준점이 된다.

PlayStation Move 모션 컨트롤러, 출처

두 개의 무브봉은 각각 양손으로 쥘 수 있으며, 무브봉을 한 손으로 쥐었을 때 자연스레 엄지손가락이 위치하게 되는 지점에는 그룹화된 네 개의 버튼이 배치되어 있으며, 컨트롤러에서는 전면부에 배치되어 있던 패들과 트리거 또한 그립 방식의 변화에 따라 적절히 배치되어 있다. 그리고 무브봉의 위쪽 끝에는 발광하는 구 형태의 헤드가 부착되어 있는데 이는 헤드셋의 바깥에 부착되어 있는 조명과 마찬가지로 ’모션 인식‘ 기능에서 신체 동작의 중심 좌표를 표시하는 기준점이 된다. (그리고 추가로 컨트롤러에서처럼 옵션 및 쉐어등 게임 플레이 외적인 기능을 담당하는 버튼이 몇 개 더 배치되어 있다.) PSVR의 물리적 인터페이스는 직관적이지만 그만큼 단순화되어 있다. 헤드셋의 외부 조명과 무브봉 두 개의 헤드 조명, 총 세 개뿐인 좌표에 의존하는 제한적인 모션 인식 기술은 VR 게이밍에 잠재된 모션 인식 기술의 가능성이 상당 부분 제약되어 있다.

하지만 이처럼 제약된 신체 동기화로부터 나타나는 모순적인 감각의 측면이 VR 게이밍의 발전 단계 초기에서 나타나는 일시적인 한계가 아니라 오히려 VR 게이밍의 영구적인 한계 자체를 의미하는 것은 아닐까? 2019년 출시된 ’벨브 인덱스 VR 제품‘은 전용 컨트롤러까지 개발하며 도입한 자체적인 ‘핸드 트래킹’ 기술을 통해 손가락 다섯 개의 움직임 전부를 인식할 수 있도록 되어 있다. ‘모션 인식’을 담당하는 외부 카메라도 2개로 늘어, 풀 트래킹에 가깝도록 모션 인식 기술을 구현하였다. 하지만 이 제품에서 또한 VR 게이밍을 플레이하면서 느껴지는 지배적인 신체에 대한 감각인 몸의 휘발감 혹은 부유감은 여전하다.

VR 게이밍의 모션 인식 기술은 현실의 신체와 가상의 신체를 동기화한다. 이는 전신의 움직임 자체가 기반이 된다. 반면 컨트롤러에서 현실의 신체와 가상의 신체는 동기화되기 보다는 추상적으로 매개된다. 평균 42인치 내외의 직사각형으로 제한된 스크린을 통해 전송되는 시각 정보들을 수신하고 손에 쥐어진 컨트롤러를 조작하여 일련의 정보값을 기기에 송출하는 방식이다. 스크린 속에서의 가상 신체가 갖는 전신의 움직임은 컨트롤러를 쥔 현실 신체의 부분적인 열 마디 손가락의 움직임으로 추상화된다. 반면 VR 게이밍에선 현실 신체의 전신 동작이 가상 신체의 전신 동작 그 자체가 된다. 물론 이러한 동기화는 현실의 게임 플레이 환경 안에 설치된 카메라를 통해 관측되는 신체의 동작을 감지하는 방식에 의해 이루어진다. 이같은 신체 움직임의 동기화는 충만한 일치감으로 나타나기보다는 오히려 현실과 가상 사이의 특정한 모순적인 감각을 드러내곤 한다. VR 게이밍을 플레이하는 와중 느껴지는 신체에 대한 지배적인 감각은 다름 아닌 마치 신체가 휘발되는 듯한 부유감이다. 이는 송신과 수신으로 이루어진 피드백의 관계, 게임적 상호작용의 어떤 불일치로부터 연원 한다. VR 게이밍 속에서 우리는 그 이전의 어떤 게임 매체들보다도 구체적으로 게임 세계에 플레이어의 정보값을 송출할 수 있게 되었다. 그러나 게임 세계로부터 플레이어에게로 수신되는 정보값은 그와 비례하지 않는 듯하다. 게임 속의 오브젝트와 상호작용 하는 방식, 이를테면 돌멩이를 하나 줍는 방식은 현실에서 돌멩이를 줍는 방식과 동일하다. 몸을 숙여 대상에 다가간 다음 손을 뻗어 가져댄 후 적당한 압력을 주어 돌멩이를 집는다. 그러나 돌멩이를 쥔 손에 응당 돌아와야 하는 피드백은 돌아오지 않는다.

장영민, <사기의 대결> (2015), 퍼포먼스, 도판: 작가제공, 촬영: 김민해

시각예술 분야에서 활동하는 미술 작가 장영민은 그의 독특한 VR 퍼포먼스 작업 <사기의 대결>(2015)에서 VR을 통해 분기하는 신체성의 두 측면을 교차시킨다. 퍼포먼스를 통해 나타나는 완고한 물성을 가진 신체성과 VR 매체를 경유할 때 감도는 신체의 휘발성 사이를 절묘하게 오가는 <사기의 대결>은 총 두 명의 관람자가 VR 헤드셋을 착용한 상태로 직접 본 작업의 퍼포머가 된다. 두 명의 퍼포머는 VR 헤드셋을 착용한 상태에서 서로 복싱 경기를 펼치게 되는데, 통상 VR을 통해 접속하게 되는 가상 현실에서 신체가 전반적으로 휘발되는 듯한 감각을 느끼게 되는 것과 달리 여기선 대결의 상대가 실제 몸을 갖고 바로 내 앞에 있으며, 그에 따른 일련의 피드백에 의해 VR 속 신체가 마치 실체성을 갖는 것처럼 된다. 나는 실제로 내 신체를 통해 상대방의 신체를 타격할 수 있고, 또 그에게 타격당할 수도 있다. 그러나 그 타격, 신체의 실체감은 또다시 미묘하게 엇갈린다.

퍼포머가 착용한 VR 헤드셋은 다음과 같은 가상 현실 이미지를 출력한다. 착용자의 상대, 즉 관람자가 타격해야 할 대상이자 또 관람자 자신을 타격하고자 하는 상대이다. VR 헤드셋 속에서 출력된 대상은 실제 현실에서 나를 상대하는 또 다른 퍼포머의 신체와 싱크로 되어 있는 듯 하다. 하지만 여기엔 하나의 장치가 더해지는데, VR 헤드셋을 착용하여 복싱 경기를 벌이고 있는 두 명의 퍼포머 외에 또 한 명의 퍼포머가 추가로 존재하는 것이다. 그는 무대에서 오직 홀로 실제 현실에 굳건히 서 있다. 그는 VR 헤드셋을 착용한 채 가상의 무대에서 복싱 대결을 펼치고 있는 두 얼간이와 같은 모습의 퍼포머를 보며 그들이 실제로 상대하고 있는 대상이 무엇인지를 가늠한다. 그는 이어서 그가 상상한 대상을 연기하며, 두 퍼포머를 적절히 타격한다. 정신 나간 3인의 복싱 경기가 이어지는 것이다. 현실의 퍼포머가 가상의 복서를 연기하면서 VR 가상 현실 속에서 허우적대는 두 퍼포머에게 가하는 충격은 가상의 퍼포머가 벌이는 복싱 대결의 실체적인 피드백이 된다. 이 피드백 구조는 변증법적으로 뒤얽힌다. 그리고 다음과 같은 의문을 잇게 한다. VR 가상속의 퍼포머는 대체 누구와 대결하고 있는 걸까? 바로 앞에 서서 함께 VR 헤드셋을 착용한 다른 퍼포머? 혹은 VR 헤드셋에서 출력되고 있는 정체불명의 인물? 아니면 홀로 현실 속에서 가늠하기 어려운 피드백을 가하는 제3의 퍼포머? 이같은 모순적인 구조는 VR이 흔히 실감 나는 가상 현실의 경험을 제공한다고 여겨지는 것과 달리 외려 이 실감 나는 가상 현실의 이면과 현실 사이에 그어진 경계를 드러내며 보다 근본적인 VR 기술의 구조를 상대한다.

소멸하는 인터페이스의 경향 속에서의 경계들

테슬라의 테크노킹 앨런 머스크는 평소 뉴럴 링크 기술에 대한 관심을 밝히곤 했다. 그는 최근 그와 같은 관심의 결과물인 ‘뉴럴 링크로 게임하는 원숭이’ 영상을 공개하며 또다시 세간을 떠들썩하게 만들었다. 뉴럴 링크란 우리가 신체를 움직이기 위해 두뇌로부터 내리는 명령인 신경 신호 그 자체를 입력값으로 삼아 작동되는 기술이다. 여기서 기술의 인터페이스는 더 이상 우리 신체를 경유하지 않아도 작동될 수 있게 된다. 우리 의식의 절대적이며 1차적인 경계면처럼 여겨진 신체조차도 뉴럴 링크 기술 앞에선 뒤편에 놓여있는 것처럼 보인다.

인터페이스 디자인은 해당 기기의 조작이 보다 수월할 수 있도록 고안된다. 그러나 그것이 아무리 직관적이며 쉽게 조작될 수 있도록 만들어지더라도 여기에는 특정한 적응 감각이 요구되기 마련이다. 우리가 나고 자라면서 몸을 움직이고 사용하는 방법을 익혀 나가듯, 특정한 종류의 가상 현실에 접속하기 위해서는 바로 그 가상 현실을 매개하는 특정한 구조의 경계면에 적응하기 위한 훈련의 과정을 거쳐야 한다. 그러나 VR의 독특한 점은 가상과 현실 간의 경계면이 어떻게 되어 있는지 도통 의식하기 어렵다는 점이다. 1인칭 시점상에서의 시각적 동기화 및 모션 인식 기술을 통해 작동하는 VR의 인터페이스는 우리의 신체 동작 및 보기의 방식 그 자체와 호환되고 겹쳐진다. 그리고 “가상과 현실의 경계가 무너진다”는 식의 고리타분한 클리셰적 주장을 반복하고 싶게 만든다. 하지만 VR에서는 오히려 그러한 경계면의 비가시화 자체가 현실과 가상의 구분을 더욱 환기하는 역할을 하는 것이 아닐까? VR을 플레이하는 이용자는 전반적으로 신체가 휘발되는 듯한 감각을 느낀다고 한다. 이는 과거 그 어떤 종류의 게임에서도 찾아볼 수 없던 모순적인 감각이다. 그리고 이다음 단계의 가상 현실 기술중 하나로 상상되는 뉴럴 링크 기술에서는 아예 신체가 패싱되고야 만다. 가상과 현실의 경계는 이를 매개하는 인터페이스의 형태로 나타나지 않으며, 오히려 휘발되는 감각들 사이의 모순으로 나타난다.

 


1) 물론 오늘날 컨트롤러의 ‘표준적 형태‘는 이른바 ‘AAA 게임’으로 불리우는 고자본이 투여되어 생산된 게임을 중심으로 하는 ‘표준적인 게임’을 주요 대상으로 한다. 컨트롤러는 말 그대로 모든 게임을 컨트롤 하진 못할지언정 ‘컨트롤러의 표준적 형태‘는 표준적인, 최소한 이것으로 플레이되는 게임의 장르 모두를 각각 매개할 수 있도록 디자인되어야 한다. 대검 휘두르기, 화염 마법 시전, 관성 드리프트, 드리블, 어퍼컷, 격발, 어택 등등… 게임 안에서 표현될 수 있는 수많은 행위의 목록들이 그저 두 손에 쥘 수 있는 컨트롤러의 매개로 추상화된다.
2) 달리 말하면 오늘날 게임 매체는 현재의 물리적 인터페이스에 의해 고착화 되어있는지도 모른다. 혹자는 이같은 컨트롤러 형태의 고착화가 게임의 새로운 장르적 가능성을 제한한다고 지적하기도 한다. 그것은 정당한 지적일 것이다.
3) 물론 오늘날 이른바 ‘사운드 플레이’라거나 ‘3D 서라운드 게이밍 헤드셋‘ 혹은 ‘4k 게이밍’을 넘어 ‘8k 게이밍’ 등으로 이어지고 있는 게임 문화의 확장은 시청각적 수준에서 ‘해상도’, ‘초당 프레임’, ‘입체적 사운드’ 등과 같이 시청각적 매체 또한 게임의 체험에 직접적으로 관여함을 말하고 있다. 이처럼 시청각적 체험의 강조되는 환경에선 게임을 재생하는 매체 또한 실행하는 매체 못지 않게 게임적 체험에서 중요하게 된다. 하지만 본 글에서 이를 다루진 않는다.
4) 오늘날 대부분의 pc 게임이 키보드의 w, a, s, d 키를 캐릭터 이동 조작키의 표준으로 디자인 한다. 그래서 우리는 다른 새로운 게임을 시작하더라도 이전 게임에서 축적한 캐릭터 이동에 대한 감각을 이전할 수 있다. 물론 모든 게임이 그러한 것은 아니다. 이를테면 포인트 앤 클릭으로 불리는 장르의 게임은 마우스 클릭으로 캐릭터를 이동시킨다. 또한 과거에는 w, a, s, d 키 대신 ←, ↑, ↓, →키가 캐릭터 이동 조작을 담당하는 평균적 디자인이었던 때도 있었다.
5) 이미지 재인용 출처: https://www.asiae.co.kr/article/2017101608511102074
6) https://www.asiae.co.kr/article/2017101608511102074