[티브이데일리 황서연 기자] 검은 선글라스를 쓰면 눈앞으로 하얀 글자들이 떠오르고, 배우들이 라이브로 노래하고 있는 극장이 순식간에 넷플릭스 화면처럼 바뀌었다. 배우들의 음성을 인식해 실시간으로 배우들의 대사와 노래 가사를 띄워주는, 'AI 자막 안경'의 등장이다.

지난 3일 개막한 EMK뮤지컬컴퍼니(이하 EMK)의 신작인 창작 뮤지컬 '한복 입은 남자', 17일 서울 공연 개막을 앞둔 '킹키부츠'의 공연장 샤롯데씨어터가 AI 기반 자막 안경 서비스를 도입하며 공연계 배리어프리의 새로운 전환점을 만들고 있다. 청각장애인과 외국인 관객 모두가 공연의 대사, 가사, 상황 정보를 실시간으로 확인할 수 있도록 하면서, 기존의 제한된 '특정 회차 배리어프리 공연'을 넘어 상시 접근성 서비스로 확장하는 최초의 사례다.

◆ 장벽을 깨는 'AI 자막 안경'

배리어프리 공연은 장애, 언어, 연령 등의 관람의 장벽을 낮춰 누구나 동일한 조건으로 무대를 즐길 수 있도록 만든 공연 형식이다. 그동안 국내 공연 시장에서도 시각장애인을 위한 음성해설, 청각장애인을 위한 자막 회차, 외국인을 위한 다국어 자막 등 다양한 시도가 이어져 왔지만, 대부분 특정 일자나 한정된 좌석에서만 제공되는 단발성 배리어프리 운영에 머물렀다.

상시 서비스에 앞서, EMK와 협업 중인 배리어프리 전문 서비스 기업 오롯플래닛은 자막 서비스 '유니스텝'을 통해 지난 1년 간 누적 자막 관람객 1000명을 기록했다. 실제로 뮤지컬 '프리다'에서는 자막 좌석만으로 200명 이상 실결제 관객을 유치해 접근성 서비스의 구매 전환 효과를 입증하기도 했다. 하지만 자막 안경을 상시 활용할 수 있도록, 정식으로 상용화하는 것은 이번이 처음이다.

특히 그간 자막 제공 용도로 자주 사용하는 공연장 상단 자막기는 일반 관객들의 시선을 분산시키고 공연 몰입도를 저하한다는 문제가 꾸준히 제기됐다. 그나마 세종문화회관 대극장에는 1층 객석에 각 객석 등받이에 소형 모니터가 장착돼 있지만, 실제 무대를 관람하다가 시선을 내려서 일일이 자막을 확인하기에는 어려움이 있으며, 자막이 필요하지 않은 관객들의 시선을 분산시키는 불편함도 있었다.

이러한 한계 속에서 개발된 AI 자막 안경은 기존 자막기의 단점을 최대한 장비다. '한복 입은 남자', '킹키부츠'가 활용하는 자막 안경은 모두 AI 음성인식 전문기업인 엑스퍼트아이엔씨가 개발한 '아울 자막안경'이다. 엑스퍼트아이엔씨는 공연장 외에도 MICE 통역, 청각장애인 통역안경 등 여러 사업을 통해 쌓아 온 노하우를 기반으로 세계 최초로 공연 전용 AI 음성인식 기술을 개발해 아울 자막안경에 적용했으며 해당 기술은 국제 특허 출원 중이다.

'한복 입은 남자' 제작사인 EMK, '킹키부츠'를 올리는 샤롯데씨어터 측은 "공연장에서 발생하는 언어 장벽과 청각적 제약으로 인한 '놓침'을 최소화하고 기존 고정형 자막기의 몰입 저하 문제를 해결하기 위해 착용형, 몰입형 접근성 운영 방식을 도입하게 됐다"라고 밝혔다. 주요 타깃은 한국어 공연을 온전히 즐기기 어려운 외국인 관객 또는 청각 장애인으로, 언어의 장벽을 허물고 관객 저변을 확대하는 것이 목표다. 특히 EMK는 "시니어 관객은 빠른 대사나 노래 가사 등을 놓칠 수 있으며, 국내 뮤지컬 팬들에게도 기존 대본과 배우마다의 해석을 비교해가면서 볼 수 있는 재미가 생긴다"라며 모두를 위한 뮤지컬 문화를 만들어 가려 했다고 밝혔다.

◆ 허공에 자막 뜨는 안경, 실제로 착용해 보니

기자는 지난 9일 정식 서비스를 시작한 '한복 입은 남자' AI 자막 안경 서비스를 직접 체험해 봤다. 안경과 시스템 연결을 위한 휴대전화, 보조배터리, 설명서가 함께 든 케이스를 받고, 안경다리와 연결된 선을 휴대전화에 꽂으면 사용 준비가 완료된다. 실제 공연이 시작되자 곧바로 자막이 제공됐으며, 배우의 대사 속도에 따라 실제로는 간혹 1~2초 이상의 지연이 일어나기도 했으나 전반적으로 실시간에 가까운 자막 인식 속도를 보였다.

EMK는 "자막 정확도는 98% 수준이며. 자막인식 속도는 0.3초 이내다. 배우의 애드리브는 인식하지 않고 기존 대사를 하면 재인식해 자막을 제공하고, 공연 중단 후 재시작 시에도 알고리즘이 대사를 찾아간다"라고 설명했다. 아직 '킹키부츠' 공연이 시작하지는 않았지만, 샤롯데씨어터 또한 동일한 기술을 사용 중이기에 "정확도를 높이기 위해 AI 대본과 배우의 라이브 멘트 간 싱크를 일치시키는 방법을 활용하고 있다"라고 설명했고, "돌발 상황에서도 수 초 안에 매우 높은 정확도로 대본 위치를 찾아갈 수 있다"라고 밝혔다. 실제로 안경을 오랫동안 벗고 있다가 다시 착용을 할 경우에도 자막 서비스가 비교적 빠르게 재개됐다.

또한 OTT 서비스에서 자막을 조정하듯 글자 크기와 화면 위, 아래 위치까지 세부적으로 조정이 가능했다. 배역 이름까지 동시에 제공돼 극을 관람하는 데 도움이 됐고, 무엇보다도 기존의 자막기와 달리 안경을 통해 시선 이동 없이 무대를 보며 자막을 확인할 수 있어 몰입감 손실이 적었다. 자막 안경 바깥으로는 노출되는 빛이 없어 주변 관객의 집중도가 분산되지 않는다는 장점도 있었다.

다만 안경 위로 별도의 자막 박스가 작게 달려 있는 구조에, 안경다리와 연결된 선까지 감안하면 150분 간의 러닝타임 동안 착용하기에는 체감상 무거웠다. 특히 기존의 일반 안경 위에 겹쳐서 함께 보기에는 자막 안경 자체가 두껍고 무거웠으며, 실제 시야보다 무대가 다소 어두워 보인다는 단점도 존재했다. 엑스퍼트아이엔씨 관계자는 "자막 박스를 없애고 블루투스 기능을 이용한 무선 안경을 1월 중 상용화될 예정이다. 일반 선글라스와 비슷한 외관으로, 훨씬 무게가 가벼워질 것"이라고 설명했다. 대여 가격은 1회에 1만5000원이다.

뮤지컬 한복 입은 남자, 킹키부츠

◆ AI 자막 안경, 기술을 넘어 '관객 경험의 표준'으로

이날 기자 외에도 실제 안경을 착용하고 무대를 관람하는 관객들을 일부 목격할 수 있었다. EMK는 "아직까지는 서비스 초기이다 보니 실제 이용 수가 많지는 않으며 외국인 관객이 대다수다. 하지만 청각장애인 예약자도 일부 있으며, 홍보가 진행되면 예약률이 올라갈 것으로 보인다"라고 밝혔다. 샤롯데씨어터 역시 "일본, 중국 등 외국인 관객들이 주로 예약하며, 내국인 관객들도 일부 예약자가 있다"라고 설명했다.

또한 양 사 모두 "홍보 초기 단계이기 때문에 이용자 수도 낮고 어려움이 존재하는 것은 사실이지만, 시간이 흐르면 점차 자리를 잡을 수 있을 것"이라는 기대감을 내비쳤다. 샤롯데씨어터는 특히 "자막안경 제품이 아직 고가인 만큼, 이용자 수도 그만큼 확보돼야 극장에서 안정적인 운영이 가능한 상황이다. 외국인들의 내한 관광 상품과 민간 상업 공연 간의 유기적인 협업이 보다 많이 이루어진다면, B2B(기업 대 기업) 비즈니스 및 패키지, 맞춤 상품이 활발하게 생겨날 것으로 보고 있다"라고 향후 전망을 예측했다.

EMK는 "공연에 자막 안경을 도입하게 된 이유는 청각장애인 분들의 요청 때문이었다. 2023년 겨울, 시범 테스트 당시 청각장애인 관객 분들에게 '공연의 감동을 처음 느낀다'라는 평을 듣고, 배리어프리는 앞으로 필수로 확대해야 하는 서비스라는 결정을 내렸다"라고 밝혔다. 특히 공연을 기업 협력 사회공헌 프로그램과 접목, 이번 '한복 입은 남자' 공연에는 카카오게임즈의 사회공헌 후원으로 청각장애인 관객 100명 초청 행사가 진행될 예정이라고도 밝혔다. 샤롯데씨어터 역시 '킹키부츠' 개막 후 현장 상황을 살펴본 뒤 계속해 서비스를 개선해 나가겠다는 뜻을 전했다.

뮤지컬 시장에서 AI 자막 안경과 실시간 접근성 서비스 도입은 단기 기술 실험을 넘어선 체질 개선의 신호탄이다. 작품별 대본, 큐 시트 기반으로 운영되기에 대극장을 시작으로 중소극장까지 서비스를 확대할 수 있는 여지가 크며, 다양한 관객층의 공연 접근성을 높이는 효과도 기대된다. 또한 이러한 업계의 노력들을 바탕으로, 배리어프리 공연은 특정 회차의 '이벤트'가 아니라 상시적 관람권 보장의 표준으로 자리 잡아갈 전망이다.

[티브이데일리 황서연 기자 news@tvdaily.co.kr / 사진=DB, EMK뮤지컬컴퍼니, CJ ENM]