[AR Design] 컴퓨터는 3차원 공간을 어떻게 이해할까? 증강현실(AR)의 핵심 원리

증강현실(AR)의 궁극적인 목표는 무엇일까요? Akshay Kore는 이를 '컴퓨터가 인식한 공간'과 '인간이 이해하는 현실의 공간'을 완벽하게 포개어 놓는 것(Superimpose)이라고 정의합니다.

우리는 너무나 당연하게 3차원 공간을 걷고, 사물을 만지며 살아갑니다. 하지만 컴퓨터에게 공간이란 전혀 다른 의미를 지닙니다. 완벽한 AR 경험을 설계하기 위해서는 먼저 '기계가 공간을 이해하는 방식'과 '인간이 공간을 인지하는 방식'의 본질적인 차이를 알아야 합니다.

증강현실을 구축하는 가장 기본적이고 핵심적인 공간의 개념들을 정리해 봅니다.

1. 컴퓨터가 이해하는 '공간' (Computer's Space)

흔히 메타버스나 가상현실을 이야기할 때 '초현실(Hyper-reality)'이나 '대체 우주' 같은 복잡하고 SF적인 용어들을 떠올리기 쉽습니다. 하지만 컴퓨터 공학의 관점에서 볼 때 기계가 이해하는 공간은 지극히 건조하고 명확합니다.

컴퓨터에게 공간이란 그저 '객체, 위치, 물질을 수학적으로 정의한 3D 표현'일 뿐입니다. 즉, X, Y, Z 축으로 이루어진 좌표계(Coordinate Systems)가 컴퓨터가 아는 세상의 전부입니다. AR 기기의 카메라와 센서가 현실의 방 안을 스캔할 때, 컴퓨터는 방의 분위기를 느끼는 것이 아니라 수많은 점들의 수학적 위치 데이터를 수집하여 자신만의 가상 공간을 구축합니다. 가상 공간은 곧 인류가 제공한 현실 세계에 대한 컴퓨터의 수학적 이해인 셈입니다.

2. 인간이 인지하는 '공간' (Human's Space)

반면 인간은 본능적인 '공간적 존재(Spatial beings)'입니다. 우리가 환경 속에서 사물의 위치를 인식하는 과정은, 사물에 반사된 빛의 패턴이 망막에 맺히고 뇌가 이를 재구성하는 고도의 인지적 활동입니다.

• 시각적 공간(Visual Space): 컴퓨터 그래픽스에서 '시각적 공간'은 참여자가 경험하고 인지하는 3D 가상 공간의 시각적 장면을 뜻합니다. 단순히 물리적으로 존재하는 '객체 공간(Object Space)'을 넘어, 인간의 눈에 어떻게 보이는지가 더 중요합니다.
• 양안 시차의 과제: 인간은 두 개의 눈을 가지고 있고, 각 눈은 공간을 미세하게 다르게 봅니다. 이것이 스마트 글래스나 양안 가상 기기(Binocular virtual devices)를 설계할 때 겪는 가장 큰 기술적 과제 중 하나입니다. 컴퓨터가 계산한 하나의 3D 좌표를, 양쪽 눈의 시차에 맞게 미세하게 조정하여 디스플레이에 쏘아주어야만 뇌가 비로소 이질감 없는 '입체'로 인식하기 때문입니다.

3. AR/VR을 위한 3대 핵심 공간 설계 요소

이처럼 이질적인 두 존재(컴퓨터와 인간)의 공간을 하나로 합치기 위해, 개발자와 디자이너는 가상 3D 공간에서 다음의 3가지 요소를 완벽하게 통제해야 합니다.

1. 위치와 좌표 (Position and Coordinates): 가상의 사물(예: 둥둥 떠 있는 3D 캐릭터)이 현실 세계의 어디에 위치할 것인가? 이를 위해서는 컴퓨터의 좌표계와 현실의 물리적 환경 사이의 영점 기준이 정확히 일치해야 합니다.
2. 방향과 회전 (Orientation and Rotation): 사용자의 시선(Viewpoint)과 가상 객체가 어느 방향을 향하고 있는지를 정의하는 것입니다. 사용자가 고개를 돌리거나 기울일 때, 3D 객체 역시 그 회전값을 실시간으로 반영하여 자연스럽게 원근과 그림자가 변해야 합니다.
3. 내비게이션 (Navigation): 가상 공간 내에서 길을 찾고 이동하는 방법론입니다. 사용자가 현실 공간을 직접 걸어 다니며(Physical movement) 동기화할 수도 있고, 텔레포트 기능을 통해 원거리를 이동하도록 설계할 수도 있습니다.

---

💡 완벽한 AR은 '수학'과 '인지'의 교차점에서 탄생한다

AR 콘텐츠를 만들다 보면 화려한 3D 모델링의 외형에만 집착하기 쉽습니다. 하지만 이 아티클은 우리에게 가장 본질적인 질문을 던집니다. "당신이 만든 가상 객체가 사용자의 뇌를 완벽하게 속일 수 있도록 정확한 수학적 좌표를 기반으로 배치되어 있는가?"

우리가 현실 허공에 띄운 UI 메뉴나 객체가 진짜처럼 느껴지려면, 컴퓨터가 철저하게 계산한 수학적 수치(좌표계)가 우리의 망막에 맺히는 시각적 공간과 한 치의 오차 없이 맞아떨어져야 합니다.

기술이 마법이 되는 순간은, 바로 이 차갑고 딱딱한 컴퓨터의 숫자들이 인간의 두 눈을 통해 '따뜻하고 만질 수 있는 현실'로 번역되는 찰나가 아닐까요? 증강현실의 설계는 결국 기계의 수학적 공간을 인간의 인지적 공간으로 이식하는 위대한 작업입니다.