音声クローニングのリファレンス長をテストする方法

「音声クローニングのリファレンスは何秒が最適か」は、1つの数字で答えられそうに見えます。しかしdurationはrecording qualityの1要素にすぎません。

きれいな10秒のspeechが、BGM、複数話者、mic distanceの変化、複数の強いemotionを含む30秒より役立つことは十分あります。長いreferenceは話者情報を増やせますが、conflicting informationが入る機会も増えます。

IndexTTS Onlineでは約3〜30秒のshort referenceを受け付けます。この範囲ではmaximum durationを自動的に選ぶのではなく、controlled testでprojectに合う長さを決める方が信頼できます。

durationを調べるなら、最初は別recording同士を比べない

lengthの影響を見たいなら、1つのclean master recordingから始めます。

同じspeaker、same room、same microphone、stable deliveryで30秒録音し、そこから：

• 5秒
• 10秒
• 20秒
• 30秒

のexcerptを作ります。

すべてcomplete speechを含み、自然なboundaryで始まり終わるようにします。5秒版だけがawkward pauseを含み、10秒版だけがperfect sentenceになるような切り方ではfair comparisonになりません。

recording conditionが近いほど、聞こえた差をdurationへ帰属しやすくなります。

target textは全条件で同一にする

すべてのreferenceで同じgeneration textを使います。

適したtargetは：

• ordinary connected speech
• short/long wordの自然な混在
• 2文以上
• obscure nameや難しいnumberを避ける
• すでに安定しているpunctuation

です。

reference lengthをtestしているのに、同時にpronunciation stress testまで入れると別variableが増えます。

ここではidentityとstabilityの差を聞きやすくすることが目的です。

modelとcontrolを固定する

modelがrunごとに変われば、lengthだけをisolatedできません。

固定するもの：

• model
• target language
• target text
• emotion mode
• pace
• account / product path

IndexTTS2とIndexTTS 2.5を比較したいなら、length testとは別experimentにします。1 experiment = 1 questionを守ります。

「好き」だけでなく評価項目を分ける

Speaker identity

output全体でauthorized reference speakerらしさが維持されるか。最初の数語だけで判断しません。

Pronunciation clarity

consonantやword boundaryが明瞭か。単語の誤読がduration由来とは限りませんが、bad referenceは全体のstabilityを下げます。

Prosody

rhythmは自然か、unexpectedly rushed / flat / strainedではないか。

Artifacts

buzzing、metallic texture、duplicated sound、odd breath、source roomのようなbackground characterが入っていないか。

Stability across repeats

重要候補はrepeatします。1回だけexcellentで他が不安定なreferenceより、毎回安定するreferenceの方がproductionには向くことがあります。

internal scoringをstandardized MOSと呼ばない

project内部でIdentity、Clarity、Stability、Notesをtable化するのは有用です。

ただし、それはsubjective production noteであり、defined protocolと複数listenerを用いたstudyをしていない限りMean Opinion Scoreではありません。

1〜5の数字を使っただけでscientific MOSとしてpublishしないでください。

shortest usable referenceの利点

短いreferenceはinspection、trim、storage、repeat uploadが容易で、accidental noiseやsecond speakerが入る機会も少なくなります。

clean short referenceですでにstable identityとnatural outputが得られるなら、duration追加にmeaningful valueがない可能性があります。

ただしshorter is not automatically better。短い候補もtestに含める価値がある、という意味です。

longer clean referenceが役立つ理由

長くてもcleanなら、speakerのvowel、consonant、pitch range、normal rhythmのexampleが増えます。

5秒が1つの短phraseしか含まない場合、speakerをrepresentする情報が少ないことがあります。

ただし追加部分にmusic、laughter、another speaker、mic changeが入るなら、それはfree informationではなくconflicting evidenceです。

file lengthではなくeffective speech contentを見る

10秒fileのうち5秒がsilenceなら、10秒のuseful speechではありません。

excessive silenceを除き、実際のclear speech量を比較します。同じ短語を繰り返す20秒より、自然な10秒sentenceの方がvarietyを持つ場合もあります。

metadata上のsecondsだけでなくrepresentative speechを見ます。

delivery styleをreference内で固定する

calm narrationからshoutingへ急変するclipはmixed style evidenceを与えます。

neutral narrationを作るならreferenceもreasonable neutralに保ちます。expressive deliveryを調べるなら別experimentにします。

lengthとemotional varietyを同時に変えないでください。

異なるenvironmentのclipを連結しない

複数recordingをつないで長くすると：

• room
• microphone
• gain
• compression
• speaking style

まで変わる可能性があります。

pure duration testでは1つのcontinuous recordingを使います。どうしてもcombineするなら、それは「combined reference strategy」として別に評価し、単純length testとは呼ばない方が正確です。

4条件のpractical experiment

1. clean 30-second masterをrecordする
2. 5 / 10 / 20 / 30秒をexportする
3. 1つのfixed target paragraphを使う
4. modelとall controlsを固定する
5. 各referenceで1 output生成する
6. 可能ならrandom / blind orderで聞く
7. identity、clarity、artifacts、stabilityを記録する
8. top 2 candidatesをもう1回repeatする
9. project要求をreliably満たす最短候補をsaveする

これならdecisionの根拠を説明・再現できます。

winnerをsecond scriptでもvalidationする

1 target sentenceだけ偶然相性がよい可能性があります。

project baselineにする前に、語彙とsentence rhythmが異なるsecond scriptで再確認します。

同じreferenceがstableならconfidenceが上がります。崩れた場合、automaticにreferenceを長くするのではなく、text pronunciationやmodel behaviorも診断します。

いつtestingを止めるか

durationを増やしてもmeaningful production improvementが出なくなったらstopします。

目的はmathematical perfect durationではなく、clean、stable、reusableなreferenceです。

複数ordinary scriptで安定したcandidateが見つかったらsource fileを固定します。referenceを常に変更すると、その後のmodel / script / pace comparisonがすべて解釈しにくくなります。

Voice Lab / model A/Bとは分ける

Voice LabでIndexTTS2とIndexTTS 2.5をfairに比べる場合、referenceを先に決め、両側でexactly same referenceとtarget textを使います。

modelとreference lengthを同時に変えると、audible differenceの原因を分離できません。

そのためlength testはmodel A/Bより前、または独立experimentとして行います。

最終原則

「30秒が常にbest」「5秒で全員十分」というuniversal claimは信頼できません。

より良いruleは：最もcleanでrepresentativeで、対象projectでstable resultを出すreferenceを選び、その選択をcontrolled testで確認する。

magic numberほど単純ではありませんが、productionで本当に使える情報になります。