기술

AI 더빙 후반작업, 음향 스태프에게 남는 일은 무엇일까

2026-10-01

8분 읽기

어두운 후반작업 스튜디오에서 모니터와 믹싱 콘솔 앞에 앉아 헤드폰으로 소리를 점검하는 음향 엔지니어

AI 더빙 후반작업이라는 말이 올해 들어 부쩍 자주 들리죠. 6월에는 ElevenLabs가 감정과 톤까지 반영한다는 Dubbing v2를 내놓았고, 7월에는 국내 스타트업 딥로딩이 CastVox를, 과기정통부가 K-FAST 성과를 잇달아 발표했습니다. 믹싱이나 사운드 편집, 더빙 쪽에서 일하고 계신다면 "그래서 내 일은 어디까지 남을까?" 하는 생각이 드실 거예요. 성우 일자리 논쟁은 많지만, 이 글에서는 후반작업 스태프의 시선으로 공정별 변화를 나눠 봅니다. 업체의 주장과 확인된 사실은 구분해서 말씀드릴게요.

AI 더빙 후반작업, 지금 어디까지 자동화됐을까

먼저 발표된 내용부터 살펴볼게요. 딥로딩은 자사 CastVox가 더빙 공정의 99%를 자동화하고 비용을 90% 이상 줄인다고 주장합니다(전자신문, 2026-07-06). 어디까지나 회사 측 수치이고, 제3자가 검증한 값은 아니에요. 검증에 참여한 박기양 부산외대 영상학과 교수는 기존 AI 더빙이 영화·드라마에 쓰기엔 부자연스러웠다고 보면서, CastVox는 "조금만 더 보완하면" 현장에 적용할 만한 수준이라고 평가했습니다. 지금 당장 된다는 뜻이 아니라 조건부 평가인 셈이죠.

ElevenLabs는 원본의 감정과 톤을 분석해 90개 이상 언어로 더빙한다고 발표했고(ZDNet Korea, 2026-06-16), 이 역시 업체 발표입니다.

정부 쪽 소식도 있습니다. 과기정통부와 한국정보통신진흥협회(KAIT)의 'AI 더빙 특화 K-FAST 확산 사업'은 약 1,200편(1,400시간)을 영어·스페인어·포르투갈어로 현지화해 20개 FAST 채널, 22개국으로 송출했고, 정부 발표 기준 누적 시청자는 약 1억 명(2026년 4월 말 기준)이라고 밝혔습니다(디지털데일리, 2026-07-09). 다만 이 사업은 허드슨에이아이, 이스트소프트, 언에이아이 같은 기업·컨소시엄 중심으로 진행됐어요. 보도에는 더빙 과정에서 사람 검수가 어떻게 이뤄졌는지도 나오지 않습니다. 그래서 이 사례는 "물량과 도달 범위의 성과 발표" 정도로 읽는 게 좋겠어요.

이런 발표들을 공정별로 나눠 정리하면 대략 아래 표와 같은 모습이에요. 자동화 정도는 정량이 아니라 정성적으로만 적었습니다.

공정	AI 자동화 정도	사람의 역할
번역	빠르게 진행	용어·톤 확인, 대본 대조
음성 생성·변환	빠르게 진행	발음·호흡·감정 청취 검수
립싱크 초벌	일부 도구 존재	입모양·발화 길이 보정
감정·뉘앙스 검수	도구가 시도 중이나 판단은 별개	작품 의도에 맞는지 최종 판단
대사·효과·음악 믹싱	완전 자동화 확인 안 됨	균형 조정, 대사 교체 믹싱
납품 규격 마감	일부 단계만 도구 존재	라우드니스 등 규격 확인
권리 확인	해당 없음	동의·계약 범위 확인

여러 개의 오디오 파형 화면과 믹싱 콘솔이 놓인 후반작업 작업대 위에서 음성 트랙을 다루는 손

사람이 남는 자리: AI 더빙 검수와 최종 사운드 마감

AI가 만든 결과물을 "납품 가능한 품질"로 끌어올리는 일은 아직 사람의 몫으로 보입니다. 품질이 무너지면 시청자에게 곧바로 드러나기 때문이에요. Amazon Prime Video는 2025년 말 일부 애니메이션의 영어 AI 더빙이 감정 없고 부자연스럽다는 혹평을 받자 해당 기능을 내렸습니다(Engadget, 2025-12-03). 검수가 약하면 결과가 그대로 노출된다는 사례죠.

사람 검수를 전면에 내세운 서비스도 나왔어요. 보이스루가 9월 17일 출시한 '폴리타'는 AI가 생성한 더빙을 사람이 번역·발음·감정·싱크 기준으로 최대 5차까지 검수하고, 마지막 단계는 사운드 엔지니어 출신 PM이 맡는다고 회사 측이 설명합니다(벤처스퀘어). 검수 단계의 직무가 이렇게 언급되기 시작했다는 점은 눈여겨볼 만해요. 다만 이런 직무가 실제로 늘고 있다는 통계는 아직 확인되지 않습니다.

Netflix 파트너용 더빙 가이드(Dubbing Guiding Principles)도 싱크, 대본 정확성, 원본 톤에 맞는 연기를 요구하고 있어요.

그렇다면 믹싱과 마스터링은 어떨까요? 음악 분야에는 자동 마스터링 도구가 이미 쓰이고 있습니다. 하지만 영화·드라마의 대사, 효과, 음악 균형을 맞추고 납품 규격까지 마감하는 과정을 AI가 완전히 대체했다는 신뢰할 만한 근거는 이번 조사에서 찾지 못했어요. 반대로 대체하지 못한다는 강한 근거도 없고요. 노이즈 제거나 레벨 초벌 같은 일부 단계는 자동화될 수 있다 정도로 보는 것이 균형 잡힌 시각일 것 같습니다. 국내 후반작업 음향 스튜디오의 AI 대응 동향도 공개된 자료가 부족합니다.

헤드폰을 쓰고 스튜디오 모니터 스피커와 믹서 앞에서 대사 음성을 집중해 듣고 점검하는 사운드 검수 담당자

제도와 계약이 바꾸는 판: 품질 기준과 목소리 권리

조악한 AI 더빙에 제동을 거는 움직임도 있습니다. 네이트 뉴스 보도(2026-09-03)에 따르면 2026년 PP 평가 기준에서 생성형 AI로 조악한 더빙이나 자막을 붙여 부자연스럽게 재가공한 프로그램은 신작으로 인정하지 않는다고 해요. AI 더빙을 전면 금지한다는 뜻은 아니고, 품질이 낮은 재가공물을 걸러내겠다는 취지입니다. 이런 기준이 생기면 납품 전 검수 수요가 생길 수는 있겠지만, 곧바로 일자리 증가로 이어진다고 단정할 근거는 없어요.

목소리 권리 논의도 함께 움직이고 있습니다. 문체부는 성우 표준녹음계약서를 추진 중이고, AI 학습·활용을 위해 복제·가공·저장할 때의 합의 기준을 담을 예정이라고 합니다(미디어오늘, 2026-02-14). 한국방송연기자노동조합과 KDDC는 9월 10일 얼굴·목소리 등 디지털 권리 보호를 위한 업무협약을 체결했어요(일간스포츠, 2026-09-11). Netflix 생성형 AI 가이드라인(2025-08)도 실존 배우의 목소리와 초상을 문서화된 동의 없이 복제하지 말라고 규정하고 있습니다.

성우 중심의 논의지만, 후반작업 스태프에게도 남의 일은 아닌 것 같아요. 개인적인 의견이지만, 음원이나 더빙 데이터를 납품할 때 계약서에 AI 학습 사용 조항이나 작업물 재사용 범위가 있는지 한 번쯤 확인해 두시면 좋겠습니다.

후반작업 음향 스태프가 준비해 볼 만한 기술

아래는 확인된 직무 요건이 아니라, 지금까지의 흐름을 바탕으로 한 "준비해 볼 만한" 목록이에요.

AI 더빙 결과물 청취 검수: 감정, 호흡, 발음, 립싱크 이탈을 구분해서 짚어내는 귀와 이를 말로 전하는 능력이 기본이 됩니다.
대본과 번역 대조, 용어·톤 가이드 관리: 현지화 품질은 결국 일관성에서 갈리거든요.
다국어 M&E(음악·효과) 스템 관리와 대사 교체 믹싱, 납품 규격 이해: 라우드니스 같은 규격은 도구가 바뀌어도 남는 기본기입니다.
AI 도구 직접 써보기: 노이즈 제거, 보이스 클로닝, AI 더빙 도구를 써보면 기계음이나 끊김 같은 아티팩트를 어떻게 정리할지 감이 와요.
계약서의 AI 학습·재사용 조항 읽기: 앞서 말씀드린 이유 때문입니다.
검수 리포트 작성: 감독, 현지 언어 전문가, PM이 이해할 수 있게 문제 지점을 정리하는 글쓰기도 하나의 기술이죠.

체크리스트를 확인하며 후반작업 팀원들과 의견을 나누는 사운드 스태프들의 회의 장면

마무리: 만드는 속도는 바뀌고, 책임지는 일은 남는다

정리하면 AI는 더빙을 "만드는 속도"를 바꾸고 있고, 사람의 일은 품질을 책임지는 쪽으로 옮겨가는 중으로 보입니다. 다만 일자리가 늘었다거나 줄었다는 통계는 아직 없어서, 과장된 기대도 막연한 공포도 경계하는 편이 좋겠어요.

당장 해볼 수 있는 일은 세 가지예요. AI 더빙 도구를 하나 직접 써보는 것, 포트폴리오에 "AI 결과물을 검수하고 보정한 전후 사례"를 담아보는 것, 그리고 계약서의 AI 조항을 확인하는 습관을 들이는 것입니다. 후반작업과 음향 분야의 구인 정보는 스태핑브릿지(StaffingBridge)에서 확인해 보시고, 변화하는 현장에서 내 강점을 보여줄 기회를 찾아보세요.

이 글은 스태핑브릿지(StaffingBridge)에서 제공하는 영화/영상 업계 인사이트입니다.