[AR Design] 가짜를 진짜처럼 만드는 마법, '조명과 그림자'의 미학 (feat. Jason Marziani)

증강현실(AR)에 대해 이야기할 때, 우리는 흔히 거창한 미래를 상상합니다. "앞으로 모든 쇼핑이 AR로 바뀔 거야", "메타버스 세상이 오면 물리적 공간의 의미가 사라질 거야" 같은 말들 말이죠. 물론 흥미로운 주제입니다. 하지만, Jason Marziani는 그의 아티클을 통해 우리에게 묻습니다.

"다 좋은데, 당신이 만든 그 가상의 사과가 진짜 책상 위에 있는 것처럼 보이나요?"

오늘은 AR의 거창한 미래보다는, 그 미래를 지탱하는 가장 기초적이면서도 핵심적인 기술인 '조명(Lighting)'과 '그림자(Shadows)'에 대해 깊이 있게 파고들어 보려 합니다. 왜 이것이 AR의 성패를 가르는 열쇠가 되는지, 그의 통찰을 빌려 정리해 봅니다.

1. 뇌를 속이는 단서: 한밤중의 물컵 이야기 (Biology of Sight)

우리는 평소에 빛과 그림자에 대해 깊이 생각하지 않습니다. 태어나고 6개월 정도만 지나면 아기들도 거리감과 형태를 인지하게 되니까요. 너무나 당연해서 잊고 사는 이 감각의 중요성을 저자는 아주 재미있는 상황에 비유합니다.

상상해 보세요. 칠흑같이 어두운 한밤중, 목이 말라 잠에서 깹니다. 침대 옆 협탁에 물컵을 뒀다는 사실을 기억하고 손을 뻗습니다. 결과는? 와장창! 물컵을 엎지르고 맙니다.

왜 그랬을까요? 잠이 덜 깨서? 팔 근육이 덜 풀려서? 아닙니다. 가장 큰 이유는 '빛과 그림자가 없어서'입니다. 우리 뇌는 사물의 위치와 거리를 판단할 때, 물체에 맺힌 명암과 바닥에 드리운 그림자를 강력한 단서(Cue)로 사용합니다. 이 시각 정보가 차단된 상태에서는 아무리 뇌가 물컵의 위치를 알고 있어도, 정확한 거리감을 계산해내지 못하는 것입니다.

AR도 마찬가지입니다. 현실 공간에 가상의 물체를 띄웠을 때, 적절한 그림자가 없다면 사용자의 뇌는 본능적으로 이렇게 판단합니다. "이건 가짜야. 공중에 둥둥 떠 있는 스티커일 뿐이야."

2. 리얼리티의 조건: '존재감'을 심어라 (Selling Believability)

AR 아티스트와 개발자의 지상 과제는 '복제(Replication)'입니다. 현실 세계의 조명 환경을 가상 공간에 그대로 복제해 넣는 것이죠.

우리가 벽에 걸린 시계나 책상 위의 화분을 보며 "우와, 저거 진짜 같다!"라고 감탄하지 않듯이, AR로 구현된 가상의 물체도 너무나 자연스러워서 사용자가 의식하지 못할 정도가 되어야 합니다. 디지털 에셋이 물리적 환경의 앰비언스(Ambience, 분위기)에 녹아들 때, 비로소 사용자는 거부감 없이 그 물체를 현실의 일부로 받아들입니다.

이 '자연스러운 공존'을 가능하게 하는 유일한 방법이 바로 정교한 조명과 그림자 처리입니다.

3. 기술적 구현: ARKit과 Unity로 빛을 훔치는 법

그렇다면 기술적으로는 어떻게 구현해야 할까요? 저자는 Unity 엔진과 ARKit(또는 ARCore)를 활용한 구체적인 노하우를 공유합니다.

모바일 AR 프레임워크들은 '광원 추정(Light Estimation)' 기능을 통해 두 가지 핵심 데이터를 제공합니다.

1. 빛의 세기 (Intensity): 주변이 얼마나 밝은가?
2. 색 온도 (Color Tone): 조명이 따뜻한 색(백열등)인가, 차가운 색(형광등)인가?

하지만 이 데이터만으로는 부족합니다. 저자가 제안하는 '현실감을 높이는 팁'은 다음과 같습니다.

• 단일 광원 + 그라디언트: Unity에서 실시간 방향성 광원(Directional Light) 하나를 설정하고, 그 강도를 ARKit에서 받아온 'Intensity' 값에 연동합니다. 그리고 환경광(Environment Lighting)은 단순한 단색보다는 그라디언트(Gradient)로 설정하여, 받아온 '색 온도(Kelvin)' 값을 RGB로 변환해 적용합니다. 이렇게 하면 훨씬 풍부한 환경광 표현이 가능합니다.
• 그림자의 투명도 조절: Unity의 기본 그림자는 모바일에서 너무 진하고 딱딱하게(Hard Shadow) 표현되는 경향이 있습니다. 주변 빛의 세기가 약할 때는 그림자의 투명도(Opacity)도 함께 낮춰줘야 어두운 곳에서도 자연스럽게 블렌딩 됩니다.
• 시간대별 태양의 위치: 아침이나 저녁에는 그림자가 길게 늘어지고, 정오에는 그림자가 짧아집니다. 사용자의 현재 시간 정보를 가져와 광원의 각도(Rotation)를 미세하게 조정해 주는 것만으로도 리얼리티가 획기적으로 살아납니다.

4. 모바일의 한계와 미래 (The Challenge)

물론 모바일 기기에서의 실시간 렌더링은 한계가 명확합니다. PC 콘솔 게임처럼 화려한 그림자를 넣었다가는 배터리가 녹아내리고 프레임이 뚝뚝 끊길 테니까요. Unity 역시 성능 최적화를 위해 카메라에서 일정 거리가 멀어지면 그림자 렌더링을 꺼버리기도 합니다.

하지만 5G와 클라우드 렌더링(Cloud Rendering) 기술이 발전하면서, 무거운 연산은 서버가 처리하고 모바일은 결과만 보여주는 방식이 점차 도입되고 있습니다. Jason Marziani가 언급한 것처럼 Apple, Google, 그리고 RNDR 같은 기업들이 이 분야를 이끌고 있죠. 우리는 머지않아 모바일에서도 영화 CG급의 조명 효과를 실시간으로 보게 될 것입니다.

---

 

이 글은 2018년에 작성되었지만, 그 안에 담긴 통찰은 기술이 아무리 발전해도 변하지 않는 '진리'에 가깝습니다.

최근 애플의 '비전 프로(Vision Pro)'나 메타의 '퀘스트 3' 같은 최신 기기들이 레이 트레이싱(Ray Tracing)이나 공간 매핑(Spatial Mapping) 기술을 자랑하지만, 그 기술들이 지향하는 목표는 결국 하나입니다. "가상의 물체가 현실의 빛을 반사하고, 현실 바닥에 그림자를 드리우게 하는 것."

기획자나 디자이너로서 우리가 명심해야 할 점은, 화려한 이펙트나 복잡한 3D 모델링보다 더 중요한 것이 바로 '빛의 설계'라는 점입니다. 그림자가 없는 공룡은 아무리 정교하게 모델링해도 '스티커'에 불과합니다. 하지만 단순한 큐브라도 현실의 조명을 받아 바닥에 그림자를 드리우면, 그것은 '존재'가 됩니다.

여러분의 AR 콘텐츠는 지금, 현실의 빛을 머금고 있나요?