이머시브 씨어터 문서화 시스템

핵심 개념

이머시브 씨어터 문서화는 근본적인 긴장에 직면한다: 예술적 의도 vs. 기술적 명세. 전통적인 연극 대본(대사 + 무대 지시)은 다음을 담아내지 못한다:

공간적 동시성: 여러 장면이 동시에 진행됨
관객의 행위성: 서사를 통과하는 비선형적 경로
환경적 스토리텔링: 무대 디자인 자체가 서사의 전달자
실시간 적응: 관객의 선택에 대한 퍼포머의 반응
기술적 오케스트레이션: 조명, 음향, 인터랙티브 소품이 공연과 동기화

기존 시스템은 세 가지 범주로 나뉜다:

스프레드시트 기반 추적 (Punchdrunk): 기술적 정밀도는 높으나 예술적 투명성 부족
구조화된 표기 언어 (Experience Notation, ink): 분기 로직은 있으나 공간 표현 제한적
비주얼 프로그래밍 시스템 (adaptor:ex): 실시간 제어 가능하나 학습 곡선 가파름

구조

1. Punchdrunk 스프레드시트 시스템 (Sleep No More, The Burnt City)

구조: 캐릭터 중심 시간 기반 분류

형식:

시간	캐릭터	장면명	위치	다른 캐릭터	비고
0:00	맥베스	도착	메자닌	뱅코	움직임 기반
0:05	맥베스	대면	3층	레이디 맥베스	1:1 가능

규모:

Sleep No More: 약 20명 캐릭터 × 3시간 루프 = 추정 5,000줄 이상의 스프레드시트
추적 항목: 장면명, 위치, 캐릭터 교차점, 타이밍

강점:

운영 명확성: 무대 감독이 “모두 어디 있는가?”를 추적 가능
타이밍 정밀도: 캐릭터 루프가 동기화되도록 보장
리허설 도구: 배우가 자신의 일정을 파악

한계:

예술적 의도 부재: “대면”이라고만 적혀 있어 감정적 아크나 안무적 디테일을 담지 못함
공간 매핑 없음: “3층”이라고만 적혀 있어 방 레이아웃이나 관객 흐름을 보여주지 못함
분기 없음: 고정된 루프를 전제하며, 관객이 촉발하는 변주를 표현할 수 없음
움직임 기반 작업: Punchdrunk는 안무(대사 아님)를 사용하므로, 스프레드시트는 “언제/어디서 무엇이 일어나는가”만 추적하지 “어떻게 수행되는가”는 담지 못함

출처: Reddit r/ImmersiveTheater (2024), Emily Short 블로그 “Worldbuilding in Immersive Theatre” (2018)

문서 샘플 (기술 자료에서 재구성):


Sleep No More - 맥베스 캐릭터 분류
루프 1 (0:00-1:00)

0:00 - 메자닌 도착 - 뱅코와 만남 (안무 시퀀스)
0:05 - 볼룸 - 전체 캐스트 그룹 장면
0:12 - 3층 침실 - 솔로 장면 (관객이 따라올 수 있음)
0:18 - 계단 - 전환 (관객 인터랙션 없음)
0:20 - 헤카테의 가게 - 1:1 기회 (선택된 경우)
0:25 - 연회장 - 레이디 맥베스와 대면
...

2. Experience Notation (DSL)

구조: 인간 경험 모델링을 위한 도메인 특화 언어

형식 (.expn 파일):


Experience: 박물관 방문

Persona: 첫 방문자
  Age: 25-35
  Experience-Level: 초보
  Motivation: 문화 탐색
  Adaptation: 높음 (새로운 경험에 개방적)

Event: 입장
  Step: 티켓 구매
    Action: 매표소 접근
    Conditional: IF (대기열 > 5명) THEN (불만 +1)

  Step: 오리엔테이션 수령
    Action: 직원이 지도 설명
    Metric: 이해도 (0-10)
    Environmental-Factors: 소음 수준, 혼잡도

Event: 갤러리 탐색
  Step: 경로 선택
    Conditional: IF (관심사 = 현대미술) THEN (갤러리-A로 이동) ELSE (갤러리-B로 이동)

  Disruption: 예기치 않은 폐쇄
    Impact: 대안 갤러리로 경로 변경
    Metric: 실망감 (0-10)

강점:

구조화된 문법: EBNF 검증 구문 (기계 판독 가능)
분기 로직: IF/THEN/ELSE로 의사결정 트리 표현
페르소나 모델링: 사용자 속성, 동기, 적응력 파악
메트릭 추적: 정량화 가능한 감정적/행동적 상태
디스럽션 처리: 현실 세계의 마찰을 모델링

한계:

공간 매핑 없음: 물리적 레이아웃이나 동시 진행 장면을 표현할 수 없음
선형 편향: Event/Step이 순차를 암시하여 “자유 탐색”을 모델링하기 어려움
퍼포머 표기 없음: 사용자 여정용으로 설계되었지 연극 공연용이 아님
기술 큐 없음: 조명, 음향, 소품이 문법에 포함되지 않음

활용 사례:

서비스 디자인, UX 리서치, AI 시뮬레이션
연극용으로 설계되지 않았으나 관객 여정 모델링에 적용 가능

출처: experience-notation.com (2024-2025), The Cato Bot Company 개발

문서 샘플:


Experience: 이머시브 씨어터 입장 의식

Persona: 망설이는 관객
  Age: 30-45
  Experience-Level: 첫 이머시브 공연
  Anxiety: 높음 (신체 이미지, 사회적 수행 불안)
  Adaptation: 중간

Event: 의상 교체
  Step: 탈의실 입장
    Environmental-Factors: 프라이버시 수준, 직원 존재, 대기열 길이
    Metric: 편안함 (0-10)

  Step: 의상 수령
    Conditional: IF (사이즈 없음) THEN (불안 +3, 이탈 고려)
    Action: 직원 도움 유무에 따라 의상 착용

  Step: 거울 속 자신 보기
    Metric: 자의식 (0-10)
    Conditional: IF (자의식 > 7) THEN (변신 미완료)

  Disruption: 의상이 맞지 않음
    Impact: 다른 사이즈 요청 OR 경험 포기
    Metric: 당혹감 (0-10)

Event: 공연 공간 진입
  Conditional: IF (변신 완료) THEN (몰입도 높음) ELSE (관찰자 모드)

3. adaptor:ex (비주얼 프로그래밍 시스템)

구조: 라이브 이벤트 제어를 위한 노드 기반 비주얼 로직

형식: 웹 기반 그래픽 인터페이스

노드: 이벤트, 조건, 액션, 타이머, 변수
연결: 노드 간 흐름 화살표
플러그인: HTTP, OSC, MQTT, Telegram, Twilio, Ableton Live, USB Serial

아키텍처:


[트리거: 버튼 누름] → [조건: IF player_count > 3] → [액션: 폭탄 소품에 HTTP 전송]
                                                     ↓
                                             [액션: 사운드 큐 재생]
                                                     ↓
                                             [타이머: 60초]
                                                     ↓
                                             [액션: 다음 장면으로 진행]

운영 기능:

실시간 모니터링: 대시보드에서 모든 변수의 현재 상태 표시
라이브 편집: 리허설/공연 중 로직 조정
다중 사용자 협업: 여러 운영자가 동시에 편집 가능
기기 통합: 하나의 인터페이스에서 조명, 음향, 소품, 챗봇 제어

활용 사례:

게임 씨어터 (machina eX ‘15,000 Gray’ 폭탄 소품 제어)
인터랙티브 설치
방탈출
챗봇 어드벤처

강점:

리허설 유연성: 연출가가 코딩 없이 로직 조정 가능
기술적 오케스트레이션: 다양한 시스템(조명, 음향, 소품, 메시징)을 통합
실시간 제어: 운영자가 라이브 공연 중 트리거/오버라이드 가능
시각적 명확성: 흐름 로직을 한눈에 파악 가능

한계:

규모 한계: 복잡한 공연은 “스파게티 다이어그램”이 됨
내러티브 레이어 없음: 노드가 기술적(HTTP 전송, 사운드 재생)이지 예술적(캐릭터 등장, 긴장 고조)이지 않음
가파른 학습 곡선: 프로토콜(HTTP, OSC), 로직 게이트에 대한 이해 필요
공간 표현 없음: 무대 레이아웃이나 관객 흐름을 시각화할 수 없음

출처: docs.adaptorex.org (2024-2025), Panagiotidis et al. “Devising Experiments with Interactive Environments” (2025)

문서 샘플 (비주얼 노드의 텍스트 표현):


adaptor:ex 플로우: 이머시브 씨어터 장면 전환

[이벤트: 관객이 A실에 입장]
  ↓
[조건: A실의 관객 수 확인]
  IF audience_count >= 5 THEN:
    ↓
    [액션: 조명 시스템에 OSC 전송]
      메시지: /room_a/lights/fade_to_blue
      지속시간: 3000ms
    ↓
    [액션: 오디오 시스템에 HTTP 전송]
      URL: http://192.168.1.10:8000/play
      페이로드: {"track": "ambient_tension", "volume": 0.7}
    ↓
    [타이머: 10초 대기]
    ↓
    [액션: 배우 큐 트리거]
      방식: 퍼포머 전화기에 Telegram 메시지
      메시지: "지금 A실에 입장하세요"
    ↓
    [변수: scene_a_complete = true 설정]

  ELSE:
    ↓
    [타이머: 5초 대기 후 재확인]

[이벤트: 배우 장면 완료]
  ↓
[액션: B실 문 잠금 해제]
  방식: 스마트 잠금장치에 HTTP 전송
  URL: http://192.168.1.15:3000/unlock

4. 학술적 표기 시스템

A. Blocking Notation (Ronfard & Guerraoui, 2023)

목적: 비디오 녹화에서 연극 공연을 주석 처리

구조:

타임라인 기반: 비디오 타임스탬프와 동기화
공간 레이어: 무대 위치를 평면도에 표시
캐릭터 추적: 동선 경로 시각화
주석 유형: 대사, 블로킹, 제스처, 기술 큐

활용 사례: 연출가의 블로킹 시각화, 무대 감독의 기록

한계: 프로시니엄 연극용으로 설계되어 이머시브에는 부적합 (단일 관점을 전제)

출처: HAL archives, Journées d’Informatique Théâtrale (2022)

B. TEI 공연 텍스트 인코딩 (Text Encoding Initiative)

목적: 희곡 텍스트를 위한 XML 기반 마크업

구조:


<div type="act" n="1">
  <div type="scene" n="1">
    <stage>맥베스와 뱅코 등장</stage>
    <sp who="#macbeth">
      <speaker>맥베스</speaker>
      <l>이토록 음산하면서도 좋은 날은 처음이다.</l>
    </sp>
    <stage type="exit">퇴장</stage>
  </div>
</div>

강점: 표준화됨, 기계 판독 가능, 문학적 구조 보존

한계: 텍스트 중심 (대사 + 무대 지시)이라 다음을 표현할 수 없음:

동시 장면
관객 행위성
환경적 스토리텔링
움직임 기반 공연 (대사 없음)

출처: TEI Guidelines P5 Version 4.10.2 (2025)

C. Live Notation for Movement (McLean & Sicchio, 2024)

목적: 로봇/무용 공연을 위한 라이브 코딩 표기

구조: 텍스트 기반 패턴 언어 (라이브 코딩 음악과 유사)


robot: forward(3) . turn(90) . pause(2) . spin(360)
pattern: [forward, turn, pause] * 4

활용 사례: 알고리즘 안무, 인간-로봇 공연

한계: 움직임 전용이라 내러티브/공간/기술 통합 불가

출처: TDR: The Drama Review 68(1) (2024)

D. 멀티모달 비디오 주석 (TKB 프로젝트, Fernandes et al., 2012)

목적: 여러 양식(제스처, 공간, 감정)으로 현대 무용 주석 처리

구조: 비디오 타임라인 + 시맨틱 레이어

제스처 레이어: Laban Movement Analysis 태그
공간 레이어: 무대 위치
감정 레이어: 정서적 특질

활용 사례: 무용 문서화, 안무 분석

한계: 사후 주석 (창작 도구가 아님), 비디오에 의존

출처: Springer “Creative Technologies for Performance Composition” (2012)

비교 분석

각 시스템이 잘 다루는 영역

시스템	타이밍	공간	분기	예술적 의도	기술 큐	실시간 제어
Punchdrunk 스프레드시트	✓✓✓	✗	✗	✗	✗	✗
Experience Notation	✓	✗	✓✓✓	✓ (페르소나)	✗	✗
adaptor:ex	✓✓	✗	✓✓	✗	✓✓✓	✓✓✓
Blocking Notation	✓✓	✓✓✓	✗	✓ (주석)	✓	✗
TEI 공연 텍스트	✓	✗	✗	✓✓ (문학적)	✓	✗
Live Movement Notation	✓✓	✗	✓	✓ (안무적)	✗	✓✓✓

하이브리드 예시: 이머시브 장면 문서화

시나리오: 관객이 방에 들어서면 퍼포머의 입장과 조명 변경이 트리거된다. 관객은 퍼포머를 따라가거나 방을 탐색할 수 있다.

Punchdrunk 스프레드시트:

| 시간 | 캐릭터 | 장면 | 위치 | 비고 | | 0:15 | 퍼포머 A | 방 입장 | 2층 빨간 방 | 관객 존재로 트리거 |

→ 누락: 존재를 어떻게 감지하나? 조명 큐는? 관객이 없으면?

Experience Notation:


Event: 방 발견
  Step: 관객이 빨간 방에 입장
    Environmental-Factors: 조명 (어두움), 음향 (앰비언트 허밍)
    Conditional: IF (관객_존재) THEN (퍼포머_입장_트리거)

  Step: 퍼포머 입장
    Action: 퍼포머 A 문턱 통과
    Metric: 관객 주의력 (0-10)

  Step: 관객 선택
    Conditional: IF (퍼포머_따라감) THEN (내러티브_경로_A) ELSE (방_탐색)

→ 누락: 기술적 구현 (존재를 어떻게 감지하나?), 공간 레이아웃

adaptor:ex:


[센서: 빨간 방 모션 감지기]
  ↓
[조건: IF 동작 감지 AND 퍼포머_가용]
  ↓
[액션: 조명에 OSC 전송]
  메시지: /red_room/lights/fade_up
  ↓
[액션: 퍼포머 A에게 Telegram 전송]
  메시지: "큐: 빨간 방 입장"
  ↓
[타이머: 30초]
  ↓
[조건: 관객 여전히 존재 확인]
  IF 예 → [장면 계속]
  IF 아니오 → [방 상태 초기화]

→ 누락: 예술적 의도 (왜 이 장면인가?), 퍼포머의 감정 아크

이상적인 하이브리드 시스템 (아직 존재하지 않음):


장면: 빨간 방 발견
  예술적 의도: 관객이 관찰자에서 참여자로 전환
  공간 레이아웃: [모션 센서 배치, 퍼포머 입장 지점, 관객 시선축이 표시된 평면도]

  트리거: 모션 센서가 관객 존재 감지
    기술: adaptor:ex 노드 [센서: 문 앞 PIR]

  시퀀스:
    0:00 - 조명 큐: 어둠에서 따뜻한 빛으로 페이드 (3초)
      기술: OSC 메시지 /red_room/lights/fade {target: 0.6, duration: 3000}

    0:03 - 퍼포머 A 큐 수신 (Telegram 알림)
      예술: 퍼포머가 "호기심의 각성"을 구현
      움직임: 무대 좌측에서 천천히 건너오며, 아이 컨택을 위해 멈춤

    0:10 - 분기 지점:
      IF (관객이 퍼포머를 따라감) THEN:
        → 내러티브 경로 A: 1:1 인터랙션
        → 퍼포머가 인접 방으로 안내
      ELSE IF (관객이 방을 탐색) THEN:
        → 내러티브 경로 B: 환경적 스토리텔링
        → 퍼포머 30초 후 퇴장, 방이 숨겨진 오브제 공개
      ELSE IF (0:30에 관객 없음) THEN:
        → 초기화: 조명 어두워짐, 퍼포머 퇴장, 장면 리셋

  메트릭:
    - 관객 몰입도 (체류 시간으로 추적)
    - 경로 선택 분포 (A vs B)

한계 (시스템적 한계)

1. 예술적 의도 vs. 기술 명세의 괴리

Punchdrunk: 기술적 정밀도는 높으나 예술적 투명성 부족
- 스프레드시트에 “대면”이라고 적혀 있지만 감정적 이해관계는 담지 못함
adaptor:ex: 기술적 제어는 가능하나 내러티브 부재
- 노드에 “HTTP 전송”이라고 적혀 있지만 이 순간이 왜 중요한지 설명하지 못함
Experience Notation: 사용자 중심이지 퍼포머 중심이 아님
- 관객 여정은 모델링하지만 퍼포머의 예술적 과정은 담지 못함

2. 공간 표현의 실패

모든 시스템이 다음을 표현하는 데 어려움을 겪음:
- 여러 방에서의 동시 장면
- 관객 흐름 패턴 (사람들이 실제로 어디로 가는가?)
- 시선축과 음향 영역
- 환경적 스토리텔링 (무대 디자인이 곧 내러티브)

3. 분기 복잡도 폭발

Experience Notation: 분기를 모델링할 수 있지만 규모가 커지면 다루기 어려워짐
- 5개 결정 지점 × 2가지 선택 = 32가지 가능 경로
adaptor:ex: 복잡한 조건문에서 시각적 스파게티 발생
Punchdrunk: 분기 모델링을 시도하지 않음 (고정 루프를 전제)

4. 실시간 적응

Punchdrunk/TEI: 정적 문서로, 라이브 변화에 대응 불가
adaptor:ex: 실시간 제어 가능하나 운영자의 전문성 필요
어떤 시스템도 다음을 담아내지 못함: 퍼포머의 즉흥, 관객의 예측 불가능성

5. 움직임 기반 공연

Punchdrunk는 주로 안무 (대사가 아님)
스프레드시트는 움직임의 질을 표기할 수 없음 (“여기서 장면이 일어남”만 가능)
Live Movement Notation은 존재하지만 공간/내러티브/기술 레이어와 통합되어 있지 않음

출처

시스템 문서

Experience Notation: experience-notation.com (2024-2025), The Cato Bot Company
adaptor:ex: docs.adaptorex.org (2024-2025), 튜토리얼 및 용어집
TEI Performance Text: TEI Guidelines P5 Version 4.10.2 (2025), tei-c.org
ink (인터랙티브 내러티브): inkle/ink GitHub 저장소 (2016-2025)

학술 연구

Panagiotidis, P., Spence, J., Jager, N. (2025). “Devising Experiments with Interactive Environments.” arXiv:2511.11229. [이머시브 공연을 위한 비주얼 프로그래밍]
McLean, A., Sicchio, K. (2024). “Live Notation for Patterns of Movement.” TDR: The Drama Review 68(1). [안무를 위한 라이브 코딩]
Ronfard, R., Guerraoui, C. (2023). “Blocking notation: a tool for annotating and directing theater.” Journées d’Informatique Théâtrale, HAL archives. [비디오 기반 공연 주석]
Fernandes, C. et al. (2012). “The TKB Project: Creative Technologies for Performance Composition, Analysis and Documentation.” Springer. [멀티모달 무용 주석]
Polydorou, D. (2024). “Immersive storytelling experiences: a design methodology.” Digital Creativity. [이머시브 내러티브 디자인 프레임워크]
Harper, J. (2022). “Interrupting Immersive Immediacy: Pursuing Reflexive Hypermediacy in the Play of Participatory Performance.” TDR 66(1). [이머시브 씨어터 이론]
Hogarth, S., Bramley, E., Howson-Griffiths, T. (2018). “Immersive worlds: an exploration into how performers facilitate the three worlds in immersive performance.” Theatre, Dance and Performance Training. [이머시브 작업을 위한 퍼포머 훈련]

산업 실무

Reddit r/ImmersiveTheater (2024). “Scripts?” 토론 스레드. [실무자들이 Punchdrunk 스프레드시트 시스템을 설명]
Emily Short (2018). “Worldbuilding in Immersive Theatre, and the Punchdrunk style.” emshort.blog. [디자인 마스터클래스 인사이트]
Punchdrunk Enrichment (2024). “The Immersive Learning Toolkit.” punchdrunkenrichment.org.uk. [교육 프레임워크, 기술 문서가 아님]
MIT Media Lab (2011-2012). “Remote Theatrical Immersion: Extending Sleep No More.” [온라인 동반 플랫폼 연구]

공연 연구 저널

Performance Research 20(6) (2015). “On An/notations” 특별호. [무용/공연 표기 시스템]
TDR: The Drama Review - 이머시브 씨어터, 표기, 문서화에 관한 다수의 호

프레임워크 설계를 위한 핵심 인사이트

이 프로젝트가 배울 수 있는 것:

Punchdrunk 스프레드시트에서:
- ✓ 캐릭터 중심 시간 추적은 운영 명확성에 필수
- ✗ 단, 예술적 의도 레이어로 보완해야 함
Experience Notation에서:
- ✓ 구조화된 문법이 기계 판독성과 검증을 가능하게 함
- ✓ 분기 로직(IF/THEN/ELSE)이 관객 행위성을 모델링
- ✓ 페르소나 + 메트릭이 경험적 특질을 포착
- ✗ 단, 공간 표현과 퍼포머 표기가 필요
adaptor:ex에서:
- ✓ 비주얼 프로그래밍이 비개발자에게도 기술적 오케스트레이션을 가능하게 함
- ✓ 실시간 모니터링/제어는 라이브 공연에 필수
- ✓ 플러그인 아키텍처로 다양한 시스템 통합 가능
- ✗ 단, 기술 큐를 예술적 의도에 연결하는 내러티브 레이어 필요
학술 시스템에서:
- ✓ 비디오 주석(Blocking Notation, TKB)이 사후에 뉘앙스를 포착
- ✓ 움직임 표기(McLean/Sicchio)가 안무적 디테일을 다룸
- ✗ 단, 모두 분석 도구이지 창작 도구가 아님

이 프로젝트가 메워야 할 간극:

기존 어떤 시스템도 다음을 통합하지 못함:

예술적 의도 (왜 이 순간인가?)
공간 표현 (어디서 일어나는가?)
분기 로직 (관객이 다르게 선택하면?)
기술적 오케스트레이션 (조명/음향/소품을 어떻게 트리거하나?)
실시간 적응 (퍼포머가 예측 불가능한 상황에 어떻게 대응하나?)
움직임 표기 (무엇이 일어나는가가 아니라 어떻게 수행되는가?)

Punchdrunk의 5,000줄 이상 스프레드시트는 하나의 증상이다: 문서화 시스템에서 예술적 의도를 표현할 수 없을 때, 운영적 정밀도(타이밍, 위치, 캐릭터 추적)로 보상하고 예술적 지식의 전달은 구전 전통(리허설 과정, 퍼포머의 기억)에 의존하게 된다.

이 프로젝트의 프레임워크는 다층적이어야 한다:

운영 레이어 (Punchdrunk식 타이밍/추적)
예술 레이어 (의도, 감정 아크, 주제적 울림)
공간 레이어 (평면도, 시선축, 관객 흐름)
기술 레이어 (adaptor:ex식 큐 오케스트레이션)
경험 레이어 (Experience Notation식 관객 여정 모델링)

그리고 사람이 읽을 수 있으면서 (연출가가 이해할 수 있고) 동시에 기계가 읽을 수 있어야 한다 (기술 큐 생성, 로직 검증, 관객 경로 시뮬레이션 가능).