ショート動画の字幕を自動生成する：配信クリップの認識精度を高める手順
自動字幕はオンにするだけの機能ですが、配信クリップでは特に誤りが多くなります。YouTubeが示す自動字幕の限界から、重なった音声や固有名詞によって認識が崩れる箇所、音声トラックを分けて認識精度を高める方法、縦型画面での字幕位置と修正の順番までまとめました。
ClipSpray Team
ClipSpray要点
- YouTubeは90以上の言語で自動字幕を提供していますが、機械学習で作成されるため、字幕ごとに品質が異なる場合があると明示しています。確認と修正はクリエイターの責任です。
- 配信クリップで自動字幕が崩れやすい箇所は決まっています。BGMと重なった発話、コラボ配信のように同時に話す区間、効果音や通知音が鳴り響く瞬間、そして辞書にない固有名詞です。
- 認識精度を高める最も確実な対策は、編集ではなく録音です。OBSでマイク、ゲーム音、音楽を別のトラックに収録しておけば、音声認識には声だけを入力できます。
- ショート動画の字幕は、アプリのUIによって上下と右側が覆われます。公式のセーフエリア規格は公開されていないため、実際にUIが隠す場所を基準に、中央の帯の中へ配置する必要があります。
- 修正は順番が重要です。何度も誤認識される固有名詞をリスト化して一括置換し、次に区切り位置を整え、最後に字幕ファイルとして保存して再利用します。
自動字幕は今やボタン1つで使える機能ですが、配信クリップに付けると特に誤りが多くなります。**原因はたいてい、音声認識の性能ではなく、認識に入力した音声側にあります。**この記事では、まずYouTubeが示す自動字幕の限界を確認し、配信音声で認識が崩れる箇所と、それを減らす順番を整理します。
自動字幕はどこまで自動ですか？
YouTubeは90以上の言語で自動字幕を提供していますが、字幕ごとに品質が異なる場合があるため、確認して修正するよう案内しています。自動字幕の使用に関するドキュメントには「自動字幕は機械学習アルゴリズムによって生成されるため、字幕ごとに品質が異なる場合があります」と記載されており、誤った発音やイントネーション、方言、背景ノイズによって実際の発話と異なる表示になる可能性があると説明されています。
同じドキュメントには、自動字幕がまったく生成されない条件も列挙されています。
- 音声の処理がまだ進行中の場合
- 音質が悪い、または音声を聞き取れない場合
- 動画の冒頭に長い無音部分がある場合
- 複数人が同時に話している、または複数の言語が混在している場合
- 動画の長さが長すぎる場合
リストをもう一度読むと、配信アーカイブの特徴がほぼそのまま当てはまります。 ゲーム音が混ざった音声、あいさつなしで始まる冒頭、コラボ配信で重なる声、数時間に及ぶ長さ。自動字幕が配信クリップで力を発揮できない理由の大半は、ここで説明できます。
配信クリップで字幕が崩れるのはどこですか？
BGMと重なる発話、同時に話している区間、効果音が鳴る瞬間、そして固有名詞です。 この4つで全体のエラーの大半を占めるため、直すべき箇所も決まっています。
| 崩れる箇所 | 起きていること | 結果 |
|---|---|---|
| BGMと重なる発話 | 音声と伴奏が1つの信号に混ざり、歌詞が言葉として認識されることもある | 発話が丸ごと抜ける |
| 同時に話している区間 | コラボ相手やDiscordの音声が同じトラックにあるため、話者を区別できない | 文が混ざる |
| ゲーム音や通知音 | 銃声や投げ銭の通知音が発話と同じ瞬間に鳴る | その区間だけ抜ける |
| 固有名詞 | 辞書にない言葉が、音の似た一般的な単語に置き換わる | 間違った単語に置換される |
最初の3つは性質が同じです。音が重なって起きる問題なので、編集段階で直す方法はほぼありません。 すでに1つに混ざったファイルから、声だけを復元することはできないからです。4つ目の固有名詞だけは後から修正できますが、同じ間違いを繰り返すため、一括で処理できます。
認識精度を上げる最も確実な方法は何ですか？
音声認識に自分の声だけを入れることです。そのためには、編集ではなく録音の段階でトラックを分ける必要があります。
OBSでは、マイク、ゲーム音、音楽、通知音をそれぞれ別のトラックに保存できます。このように録画しておけば、字幕を作るときにマイクのトラックだけを取り出して認識にかけられるため、重なりによる抜けがなくなります。設定手順はOBSで音声を分離する方法にまとめています。
トラック分離は、字幕以外にも2つの問題を同時に解決します。
- 音楽区間を取り除きやすくなる：YouTubeにアップロードするとき、問題になる音源をトラック単位で削除できます。これが重要な理由は配信アーカイブの著作権で解説しています。
- コラボ編集が簡単になる：相手の声が別になっていれば、話者ごとの字幕を作れますし、相手が望まない区間も簡単に削除できます。
すでに1つのトラックで録音したファイルしかない場合は、認識結果を修正しましょう。ただし、次の配信からトラックを分けることが、最も大きな時間短縮になります。
字幕はどこで作るのがよいですか？
どこで作っても、元のテキストは同じ音声認識から生成されます。違いが出るのは、校正しやすいか、字幕をファイルとして残せるかです。
| 方法 | どんな状況に合うか | 考慮点 |
|---|---|---|
| YouTubeの自動字幕 | 長尺動画をすでにアップロードしていて、字幕をオン・オフできればよい場合 | 画面に焼き付けられないため、音を消して見る視聴者には表示されない |
| YouTubeへの字幕ファイルのアップロード | 作成済みの字幕がある場合 | 自動同期は、1時間を超える動画や音質が悪い場合には適していないと明記されている |
| 編集ツールで作成 | 縦型のショート動画を作りながら、字幕を画面に焼き付けたい場合 | ツールごとに認識エンジンと校正画面が異なるため、固有名詞の処理方法を先に確認する |
YouTubeは字幕を追加する方法として、ファイルのアップロード、自動同期、直接入力の3つを案内しています。配信クリップのように長い元動画から切り出した素材なら、元動画全体を自動同期にかけるより、ショート動画の長さに切ってから処理したほうがよい結果になります。
ショート動画の字幕は画面のどこに置けばよいですか？
上下と右側はアプリのUIに覆われます。編集画面ではよく見えていた字幕が、実際の再生では隠れるのはこのためです。
隠れる場所は3つです。上側はステータスバーと上部アイコン、右側は「いいね」「コメント」「共有」「音源」ボタンが縦に並ぶ区間、下側はチャンネル名、タイトル、説明、プログレスバーが順に表示される領域です。字幕が最も頻繁に隠れるのは下側です。 これは、横長動画で画面下部に字幕を置いていた感覚をそのまま持ち込んでしまうためです。
プラットフォームは安全領域の数値を文書で公開していません。そのため、現実的な基準は1つだけです。中央の帯の中に入れ、アップロード前に非公開にして実際の端末で一度確認することです。 UIの配置はアプリのバージョンや端末によって少しずつ異なります。
ここでもう1つ決めておくと、配置がぶれません。1画面に収める行数の上限です。2行までと決めておけば、文が長くなったときに字幕が下へ押し出されてUI領域に入り込むことがありません。プラットフォームごとの仕様とアップロード手順はショート動画のアップロード戦略にまとめています。
どの順番で校正しますか？
繰り返し間違うものからまとめて直し、文章の手直しは後回しにするのが基本です。 最初から文章を整え始めると、クリップ1本で1時間が消えてしまいます。
1️⃣ 繰り返し誤認識される語句のリストを作る：毎回同じように間違われる言葉を集めます。チャンネル名やニックネーム、よく来る視聴者の名前、主力ゲームの用語やアイテム名、よく使うミームなどです。一度作れば、次のクリップでも使い続けられます。
2️⃣ 一括置換でまとめて直す：リストを検索と置換で確認します。この段階では意味が変わるものだけを直し、話し方や文章は整えません。
3️⃣ 区切る位置を合わせる：話が途切れる位置と字幕が切り替わる位置を合わせます。息継ぎの位置で区切り、助詞の後で改行すると、ずっと読みやすくなります。
4️⃣ 字幕ファイルとして保存する：完成した字幕を動画に焼き付ける前にファイルとして保存します。同じ元動画から別のショート動画を切り出すときにも、そのまま再利用できます。
順番を守れば、2本目のクリップから速度がはっきり変わります。1番で作ったリストが、そのまま資産になるからです。
字幕ファイルを別に残すと何がよいですか？
同じ元動画から複数本を作るときに認識をやり直す必要がなく、長尺動画にアップロードする字幕も無料で用意できます。
1回の配信からショート動画を3～4本切り出すのはよくあることです。そのたびに字幕を作り直すと、同じ固有名詞を毎回修正することになります。元動画を基準にした字幕ファイルを一度作っておけば、ショート動画ごとに必要な区間だけ切り出して使えます。
長尺動画でもそのまま使えます。配信アーカイブを編集してYouTubeにアップロードするとき、字幕ファイルも一緒にアップロードすれば自動字幕を置き換えられます。YouTubeも、クリエイターが作成した字幕を優先するよう案内しています。1回の配信を長尺動画とショート動画に分けて活用する方法は配信者向けYouTube運用法で解説しています。
字幕作業をさらに減らす方法はありませんか？
字幕を素早く作ることより、字幕を付ける区間を素早く選ぶことのほうが、たいてい大きなボトルネックになります。 6時間のアーカイブからショート動画の候補を5つ見つけるほうが、字幕の校正より時間がかかることは珍しくありません。
順番を整理するとこうなります。トラックを分けて録音し、あらかじめ認識しやすい条件を作る。次に候補区間を選び、その区間だけに字幕を付ける。全体に字幕を付けてから使う区間を探す方法は、ほとんどが無駄な作業になります。
ClipSprayはアーカイブから候補区間とその根拠を一緒に抽出するため、字幕作業をどこに入れるか決める工程を短縮できます。候補を選ぶ基準自体を知りたい場合は、ショート動画自動編集AIで詳しく解説しています。
よくある質問
YouTubeの自動字幕は韓国語に対応していますか？
対応しています。YouTubeは音声認識技術により、90以上の言語で自動字幕を提供しており、韓国語も含まれます。ただしYouTube自身も、自動字幕は機械学習アルゴリズムで生成されるため字幕ごとに品質が異なる場合があると案内し、クリエイターによる確認と修正を推奨しています。
自動字幕がまったく生成されない場合もありますか？
あります。YouTubeは、音声の処理中である場合、音質が悪く音声を聞き取れない場合、動画の冒頭に長い無音部分がある場合、複数人が同時に話している場合、複数の言語が混在している場合などを、自動字幕が生成されない原因として案内しています。
配信クリップでは、なぜ字幕が特に間違いやすいのですか？
配信音声では、マイク、ゲーム音、音楽、通知音が1つのトラックに混ざっているためです。YouTubeも、背景ノイズ、発音、イントネーション、方言を、自動字幕が実際の発話と異なる原因として挙げています。さらに、視聴者のニックネームやゲーム用語のように、辞書にない言葉も加わります。
字幕はどこに配置すると安全ですか？
画面上部には上部アイコンやステータスバー、右側には「高評価」「コメント」「共有」ボタン、下部にはチャンネル名、タイトル、説明、再生バーが重なります。プラットフォームはセーフエリアの数値を文書で公開していないため、中央の帯の中に配置し、実際の端末で一度確認するのが確実です。
字幕を動画に焼き込むのと、字幕ファイルとしてアップロードするのでは、どちらがよいですか？
ショート動画は音を消して視聴されることが多く、画面上に見える字幕が必要なため、焼き込むのが一般的です。ただし字幕ファイルも残しておけば、同じ素材で別のショート動画を作ったり、長尺動画に投稿したりするときに、そのまま再利用できます。
YouTubeに字幕ファイルを直接アップロードできますか？
できます。YouTubeでは、字幕を追加する方法としてファイルのアップロード、自動同期、直接入力を案内しています。ただし、自動同期は1時間を超える動画や音質が悪い場合には適していないと明記されています。
コラボ配信の動画はどう処理しますか？
相手の声が同じトラックに入っていると話者を区別できず、文章が混ざってしまいます。配信の段階でコラボ相手の声とDiscordの音声を別トラックに分けておけば、話者ごとに認識できるため、修正量を大幅に減らせます。
出典
私の配信で盛り上がった瞬間を見逃さないでください
アーカイブのリンクを入力するだけで、チャットや投げ銭の反応を分析し、ショート動画にする場面を 見つけます。
私の配信で無料で試す新規登録ですぐに10クレジット · カード登録不要
この記事を共有する
