쇼츠 자막 자동 생성: 방송 클립에서 인식률을 끌어올리는 순서
자동 자막은 켜 두면 되는 기능이지만 방송 클립에서는 유독 많이 틀립니다. 유튜브가 밝힌 자동 자막의 한계부터, 겹친 소리와 고유명사 때문에 인식이 깨지는 지점, 오디오 트랙 분리로 인식률을 올리는 방법, 세로 화면 자막 위치와 교정 순서까지 정리했습니다.
ClipSpray 팀
ClipSpray핵심 요약
- 유튜브는 자동 자막을 90개 이상 언어로 제공하지만, 머신러닝으로 만들기 때문에 자막마다 품질이 다를 수 있다고 직접 밝히고 있습니다. 검토와 수정은 크리에이터 몫입니다.
- 방송 클립에서 자동 자막이 깨지는 자리는 정해져 있습니다. 배경 음악과 겹친 말, 합방처럼 동시에 말하는 구간, 효과음과 알림음이 터지는 순간, 그리고 사전에 없는 고유명사입니다.
- 인식률을 올리는 가장 확실한 손질은 편집이 아니라 녹음입니다. OBS에서 마이크와 게임 소리, 음악을 다른 트랙에 담아 두면 음성 인식에 목소리만 넣을 수 있습니다.
- 쇼츠 자막은 위아래와 오른쪽을 앱 UI가 덮습니다. 공식 안전 영역 규격은 공개되어 있지 않으므로 실제 UI가 가리는 자리를 기준으로 가운데 띠 안에 넣어야 합니다.
- 교정은 순서가 중요합니다. 반복해서 틀리는 고유명사를 목록으로 만들어 한 번에 치환하고, 그다음에 끊는 자리를 맞추고, 마지막에 자막 파일로 남겨 재사용합니다.
자동 자막은 이제 버튼 하나로 끝나는 기능인데, 방송 클립에 붙이면 유독 많이 틀립니다. 원인은 대체로 음성 인식 성능이 아니라 인식에 넣어 준 오디오 쪽에 있습니다. 이 글은 유튜브가 밝힌 자동 자막의 한계를 먼저 확인하고, 방송 오디오에서 인식이 깨지는 지점과 그것을 줄이는 순서를 정리합니다.
자동 자막은 어디까지 자동인가요?
유튜브는 자동 자막을 90개 이상 언어로 제공하지만, 품질이 자막마다 다를 수 있으니 검토하고 고치라고 직접 안내합니다. 자동 자막 사용 문서에 "자동 자막은 머신러닝 알고리즘에 의해 생성되므로 자막마다 품질이 다를 수 있습니다"라고 적혀 있고, 잘못된 발음과 억양, 방언, 배경 소음 때문에 실제 발화와 다르게 표시될 수 있다는 설명이 이어집니다.
같은 문서는 자동 자막이 아예 만들어지지 않는 조건도 나열합니다.
- 오디오 처리가 아직 진행 중인 경우
- 음질이 나쁘거나 음성을 알아들을 수 없는 경우
- 동영상 시작 부분에 무음이 긴 경우
- 여러 사람이 동시에 말하거나 여러 언어가 섞인 경우
- 동영상 길이가 지나치게 긴 경우
목록을 다시 읽어 보면 방송 다시보기의 특징이 거의 그대로 들어 있습니다. 게임 소리가 깔린 오디오, 인사 없이 시작되는 앞부분, 합방으로 겹치는 목소리, 몇 시간짜리 길이. 자동 자막이 방송 클립에서 힘을 못 쓰는 이유가 여기서 대부분 설명됩니다.
방송 클립에서 자막이 깨지는 자리는 어디인가요?
BGM과 겹친 말, 동시에 말하는 구간, 효과음이 터지는 순간, 그리고 고유명사입니다. 네 가지가 전체 오류의 대부분을 차지하고, 그래서 손볼 곳도 정해져 있습니다.
| 깨지는 자리 | 무슨 일이 벌어지나 | 결과 |
|---|---|---|
| 배경 음악과 겹친 말 | 음성과 반주가 한 신호로 섞여 들어가고, 가사가 말로 인식되기도 한다 | 말이 통째로 빠짐 |
| 동시에 말하는 구간 | 합방 상대나 디스코드 음성이 같은 트랙에 있어 화자가 구분되지 않는다 | 문장이 뒤섞임 |
| 게임 소리와 알림음 | 총성이나 후원 알림이 말과 같은 순간에 터진다 | 그 구간만 누락 |
| 고유명사 | 사전에 없는 말이 소리가 비슷한 일반 단어로 바뀐다 | 엉뚱한 단어로 치환 |
앞의 세 가지는 성격이 같습니다. 소리가 겹쳐서 생기는 문제라 편집 단계에서는 고칠 방법이 사실상 없습니다. 이미 하나로 섞인 파일에서 목소리만 되살릴 수는 없기 때문입니다. 네 번째 고유명사만 사후 교정으로 해결되는 문제인데, 대신 이건 반복해서 틀리기 때문에 한 번에 처리할 수 있습니다.
인식률을 올리는 가장 확실한 방법은 무엇인가요?
음성 인식에 내 목소리만 넣어 주는 것입니다. 그러려면 편집이 아니라 녹음 단계에서 트랙을 나눠야 합니다.
OBS는 마이크와 게임 소리, 음악, 알림음을 각각 다른 트랙에 담을 수 있습니다. 이렇게 녹화해 두면 자막을 만들 때 마이크 트랙만 따로 꺼내 인식에 넣을 수 있고, 겹침 때문에 생기던 누락이 사라집니다. 설정 순서는 OBS 오디오 분리 방법에 정리해 두었습니다.
트랙 분리는 자막 말고도 두 가지를 같이 해결합니다.
- 음악 구간을 빼기 쉬워집니다: 유튜브에 올릴 때 문제가 되는 음원을 트랙 단위로 뺄 수 있습니다. 왜 이게 중요한지는 방송 다시보기 저작권에서 다뤘습니다.
- 합방 편집이 쉬워집니다: 상대 목소리가 따로 있으면 화자별 자막을 만들 수도 있고, 상대가 원하지 않는 구간을 빼기도 쉽습니다.
이미 한 트랙으로 녹음한 파일뿐이라면, 인식 결과를 고치는 쪽으로 가되 다음 방송부터는 트랙을 나누는 것이 시간을 가장 크게 아끼는 선택입니다.
자막은 어디서 만드는 것이 좋나요?
어디서 만들든 원문은 같은 음성 인식에서 나옵니다. 차이는 교정하기 편한가와, 자막을 파일로 남길 수 있는가에서 갈립니다.
| 경로 | 어떤 상황에 맞나 | 감안할 점 |
|---|---|---|
| 유튜브 자동 자막 | 롱폼을 이미 올렸고 자막을 켜고 끌 수 있게만 두면 될 때 | 화면에 구워지지 않으므로 소리를 끄고 보는 시청자에게는 보이지 않는다 |
| 유튜브 자막 파일 업로드 | 이미 만든 자막이 있을 때 | 자동 동기화는 한 시간이 넘는 영상이나 음질이 나쁜 경우에 적합하지 않다고 명시되어 있다 |
| 편집 도구에서 생성 | 세로 쇼츠를 만들면서 자막을 화면에 굽고 싶을 때 | 도구마다 인식 엔진과 교정 화면이 다르므로 고유명사 처리 방식을 먼저 확인한다 |
유튜브는 자막을 넣는 방법으로 파일 업로드와 자동 동기화, 직접 입력 세 가지를 안내합니다. 방송 클립처럼 긴 원본에서 잘라 낸 소재라면, 원본 전체를 자동 동기화에 맡기는 것보다 쇼츠 길이로 자른 뒤에 처리하는 편이 결과가 낫습니다.
쇼츠 자막은 화면 어디에 놓아야 하나요?
위아래와 오른쪽은 앱 UI가 덮습니다. 편집 화면에서 잘 보이던 자막이 실제 재생에서 가려지는 이유가 이것입니다.
가려지는 자리는 세 곳입니다. 위쪽은 상태 표시줄과 상단 아이콘, 오른쪽은 좋아요와 댓글, 공유, 음원 버튼이 세로로 쌓이는 구간, 아래쪽은 채널명과 제목, 설명, 진행 막대가 차례로 올라오는 영역입니다. 자막을 가장 자주 삼키는 곳은 아래쪽입니다. 습관적으로 화면 하단에 자막을 두던 가로 영상 감각이 그대로 넘어오기 때문입니다.
플랫폼이 안전 영역 수치를 문서로 공개하지는 않습니다. 그래서 현실적인 기준은 하나뿐입니다. 가운데 띠 안에 넣고, 올리기 전에 비공개로 두어 실제 기기에서 한 번 확인하는 것. UI 배치는 앱 버전과 기기에 따라 조금씩 달라집니다.
여기에 한 가지를 더 잡아 두면 흔들리지 않습니다. 한 화면에 들어갈 줄 수의 상한입니다. 두 줄까지로 정해 두면 문장이 길어졌을 때 자막이 아래로 밀려 UI 영역을 침범하는 일이 없습니다. 플랫폼별 사양과 업로드 순서는 쇼츠 업로드 전략에 따로 정리했습니다.
교정은 어떤 순서로 하나요?
반복해서 틀리는 것부터 한 번에 잡고, 문장 다듬기는 나중으로 미루는 것이 순서입니다. 처음부터 문장을 손보기 시작하면 클립 하나에 한 시간이 사라집니다.
1️⃣ 반복 오인식 목록 만들기: 매번 똑같이 틀리는 말을 모읍니다. 채널명과 별명, 자주 오는 시청자 닉네임, 주력 게임의 용어와 아이템 이름, 자주 쓰는 밈입니다. 한 번 만들면 다음 클립에도 계속 씁니다.
2️⃣ 일괄 치환으로 한 번에 고치기: 목록을 찾기와 바꾸기로 훑습니다. 이 단계에서는 뜻이 바뀌는 것만 고치고 말투나 문장을 다듬지 않습니다.
3️⃣ 끊는 자리 맞추기: 말이 끊기는 지점과 자막이 바뀌는 지점을 맞춥니다. 숨 쉬는 자리에서 끊고, 줄바꿈은 조사 뒤에서 하면 읽기가 훨씬 편합니다.
4️⃣ 자막 파일로 남기기: 완성한 자막을 영상에 굽기 전에 파일로 저장합니다. 같은 원본에서 다른 쇼츠를 뽑을 때 그대로 재사용됩니다.
순서를 지키면 두 번째 클립부터 속도가 눈에 띄게 달라집니다. 1번에서 만든 목록이 그대로 자산이 되기 때문입니다.
자막 파일을 따로 남기면 무엇이 좋나요?
같은 원본에서 여러 편을 만들 때 인식을 다시 돌리지 않아도 되고, 롱폼에 올릴 자막이 공짜로 생깁니다.
방송 하나에서 쇼츠를 서너 편 뽑는 것은 흔한 일입니다. 그때마다 자막을 새로 만들면 같은 고유명사를 매번 다시 고치게 됩니다. 원본 기준의 자막 파일을 한 번 만들어 두면, 쇼츠마다 필요한 구간만 잘라 쓰면 됩니다.
롱폼 쪽에서도 그대로 쓰입니다. 방송 다시보기를 편집해 유튜브에 올릴 때 자막 파일을 함께 올리면 자동 자막을 대체할 수 있고, 유튜브도 크리에이터가 직접 만든 자막을 우선하도록 안내합니다. 방송 한 번을 롱폼과 쇼츠로 나눠 굴리는 구조는 스트리머 유튜브 운영법에서 다뤘습니다.
자막 작업을 더 줄일 방법은 없나요?
자막을 빨리 만드는 것보다, 자막을 붙일 구간을 빨리 고르는 쪽이 대개 더 큰 병목입니다. 6시간짜리 다시보기에서 쇼츠 후보 다섯 개를 찾는 데 걸리는 시간이 자막 교정보다 오래 걸리는 경우가 많습니다.
순서를 정리하면 이렇습니다. 트랙을 나눠 녹음해 인식 조건을 미리 좋게 만들고, 후보 구간을 먼저 고른 다음, 그 구간에만 자막을 붙입니다. 전체에 자막을 깔아 놓고 쓸 구간을 찾는 방식은 대부분 버려지는 작업이 됩니다.
ClipSpray는 다시보기에서 후보 구간과 그 근거를 함께 뽑아 주기 때문에, 자막 작업을 어디에 넣을지 정하는 단계를 짧게 만들 수 있습니다. 후보를 고르는 기준 자체가 궁금하다면 쇼츠 자동 편집 AI에서 따로 다뤘습니다.
자주 묻는 질문
유튜브 자동 자막은 한국어를 지원하나요?
지원합니다. 유튜브는 음성 인식 기술로 90개 이상의 언어에 자동 자막을 제공하고 한국어도 포함됩니다. 다만 유튜브 스스로 자동 자막은 머신러닝 알고리즘으로 생성되므로 자막마다 품질이 다를 수 있다고 안내하고, 크리에이터가 검토하고 수정할 것을 권합니다.
자동 자막이 아예 생성되지 않는 경우도 있나요?
있습니다. 유튜브는 오디오 처리가 진행 중이거나, 음질이 나빠 음성을 알아들을 수 없거나, 동영상 시작 부분에 무음이 길거나, 여러 사람이 동시에 말하거나, 여러 언어가 섞인 경우를 자동 자막이 만들어지지 않는 원인으로 안내합니다.
방송 클립에서 자막이 유독 많이 틀리는 이유가 뭔가요?
방송 오디오는 한 트랙에 마이크와 게임 소리, 음악, 알림음이 섞여 있기 때문입니다. 유튜브도 배경 소음과 발음, 억양, 방언을 자동 자막이 실제 발화와 달라지는 원인으로 듭니다. 여기에 시청자 닉네임과 게임 용어처럼 사전에 없는 말이 더해집니다.
자막 위치는 어디에 두는 것이 안전한가요?
화면 위쪽에는 상단 아이콘과 상태 표시줄, 오른쪽에는 좋아요와 댓글, 공유 버튼, 아래쪽에는 채널명과 제목, 설명, 진행 막대가 겹칩니다. 플랫폼이 안전 영역 수치를 문서로 공개하지는 않으므로 가운데 띠 안에 넣고 실제 기기에서 한 번 확인하는 편이 확실합니다.
자막을 영상에 굽는 것과 자막 파일로 올리는 것 중 무엇이 낫나요?
쇼츠는 소리를 끄고 보는 경우가 많아 화면에 보이는 자막이 필요하므로 굽는 쪽이 일반적입니다. 다만 자막 파일도 함께 남겨 두면 같은 원본으로 다른 쇼츠를 만들거나 롱폼에 올릴 때 그대로 재사용할 수 있습니다.
유튜브에 자막 파일을 직접 올릴 수도 있나요?
가능합니다. 유튜브는 자막을 넣는 방법으로 파일 업로드와 자동 동기화, 직접 입력을 안내합니다. 다만 자동 동기화는 한 시간이 넘는 동영상이나 음질이 나쁜 경우에는 적합하지 않다고 명시합니다.
합방 영상은 어떻게 처리하나요?
상대 목소리가 같은 트랙에 있으면 화자 구분이 되지 않아 문장이 엉킵니다. 방송 단계에서 합방과 디스코드 음성을 별도 트랙으로 분리해 두면 화자별로 인식을 돌릴 수 있어 교정량이 크게 줄어듭니다.
출처
내 방송의 터진 순간도 놓치지 마세요
다시보기 링크만 넣으면 채팅과 후원 반응을 분석해 쇼츠로 만들 장면을 찾아드려요.
내 방송으로 무료로 해보기가입 즉시 이용권 10개 · 카드 등록 없음
이 글 공유하기
