話者分離はどう動くのか、そしてどこで外すのか

モデルが実際に聴いているもの

文字起こしのモデルは音を言葉に変えます。話者分離が答えるのは別の問いです。どの瞬間に誰が話していたか。システムは音声を短い区間に切り、それぞれを声の数値的な指紋に変換し、似た指紋どうしをまとめます。まとまりのひとつひとつが話者ラベルになります。この過程のどこにも人の名前は現れません。分かるのは「この声はあの声ではない」ということだけです。

どこで外すのか

誤りの大半は三つの状況から生まれます。

• 重なり。 二人が同時に話すと、その区間は二つの声を含み、より似ている側のまとまりに入ります。
• 短い発話。 一語の「はい」は指紋を取るには材料が乏しく、短い相づちが最初に取り違えられます。
• 似た声。 年齢も性別もなまりも近い二人を同じマイクで録ると、ひとつのラベルに潰れることがあります。

録音条件はモデル以上に効きます。反響する部屋でノートパソコンのマイク一本で録った会議は、参加者ごとに別チャンネルで録った同じ会議よりずっと難しい対象です。

どうするか

あとからラベルを直すほうが、録音と格闘するより速く終わります。WhoScribe では話者の名前を一度変えれば、その発言行すべてが新しい名前になります。

最初の一分をよく読んでください。あいさつと自己紹介の場面はラベルが入れ替わりやすく、そこを早めに直せば残りの文字起こしは正しく読めます。

部屋に何人いるか分かっているなら、指定してください。三人だと伝えられたモデルは、背景の雑音から四人目を作り出したりしません。