音声入力の誤変換検出の学習の推移

modernbert-ja-130m の誤変換検出器と同音語の採点役を、音声認識の聞き違い(「誤変換」→「5変換」)で学ばせた過程と、最後に一度だけ測った最終評価です。数字はすべて件数と指標で、音声や文は含みません。

1 · 最終評価

同音の取り違えの再現率は 22.0% から 66.3% に上がった

再現率は、本物の誤りのうち印が重なった割合です。適合率は、誤りのある書き起こしに付けた印のうち、本物の誤りに重なった割合です。正しい書き起こしに付けた印は、適合率とは別に「誤った印 / 1,000 字」で示します。

目標は「誤った印 1,000 字に約 1 個で、同音の取り違え 60%」でした。試験の前に書いた判定(誤った印 1.00 以下)は 0.05 超えています。別の音声認識(ReazonSpeech)と書き言葉の文(FLEURS)では 42.9% で、伸びは持ち越せますが水準は下がります。

2 · 候補ごとの再現率

試した候補の、本物の音声入力の同音の取り違えの再現率

塗りつぶしは、誤った印の上限と通常の誤字の下限をすべて守った点、白抜きは守れなかった点です。10/22 に評価を作り直したので、それより前は検証用の話者全体、後は話者を 2 つに分けた片方で閾値を選んだ点の値です。物差しが違うので、比べるのは同じ期間の中だけにしてください。どれも選択に使った値なので、最終評価より少し良く見えている可能性があります。

3 · 採点役の版

2 つの半分で互いに閾値を選んで測った成績

検証用の話者を 2 つに分け、片方で選んだ閾値をもう片方に当てた値(566 件)です。「0.85 倍」は誤った印の上限を #98 の前の版の 0.85 倍にした条件で、採否はこの値と基準の版(q7)との対の検定で決めました。線は、候補を採点に回す検出器の確率の下限です。

4 · 採点役の学習

学習ごとの損失と、取り分けた組での正解率

順位の損失は、話された語を書かれた語より上に置く組の損失、穴埋めの損失は、日本語のモデルであることを保つための損失です。取り分けた例は学習ごとに違うので、学習どうしでなく、同じ学習の最初と最後を比べてください。

5 · 候補の一覧

試した候補ごとの製品の指標

表を開く( 行)

誤った印は 1,000 字あたり。「Kotobae の文」は校正アプリ Kotobae の正しい文 60 本(非公開)、「音声」は Common Voice の正しい書き起こしです。「macOS の声」は学習に macOS の読み上げを使った候補で、規約上公開できないため採用していません。