BLEURT 70は人間の64.6を超えたのか──DeepMind SL2Tが座標だけを送る設計と、ASL→英語だけという現在地
何が起きたのか Google DeepMindが2026年8月12日、手話をテキストへ翻訳するモデル「SL2T」(sign-language-to-text)を公開し、Pixel 11のGboardとLive Transcribeに搭載すると発表しました（Google DeepMind公式ブログ）。Pixel 11は同日に予約受付が始まり、出荷開始は2026年8月20日のため、実際に手元で使えるのは出荷以降になります（Engadget 2026-08-12）。公式は「massively multilingual sign-language-to-text translation」モデルと位置づけ、学習データは50を超える手話言語・10万時間超、うち約25%がアメリカ手話(ASL)だとしています。 評価については、手話翻訳のベンチマークであるFLEURS-ASLのsd-testでzero-shot BLEURT 70を記録し、公式ブログはこれを「significantly higher than any previously reported score」と表現しています。製品側の提供範囲は現時点でASL→英語のみで、対応デバイスもPixel 11が先行、他機種は今後という段階です（SiliconANGLE 2026-08-12）。公式ブログは提供形態について「You can experience SL2T in Gboard and Live Transcribe first on Pixel 11, with more devices coming soon — all at no additional cost」と書いています。 BLEURT 70という数字をどう読むか BLEURTは、参照訳と生成訳の対を人間の評価スコアに回帰するよう学習された評価指標です。BLEUのように一致n-gramを数える設計ではないため、絶対値の解釈はチェックポイント依存で、本来はモデル間の相対比較に使うのが素直な使い方です。 それでも70という値を評価する足場はあります。FLEURS-ASLを提案した論文（arXiv:2408.13585, 2024-08-24、NAACL 2025）は、ASL→英語のcaption-levelベースライン(先行モデル)をBLEURT 33.6・38.6・40.3(zero-shot・signer-independent finetuning・signer-dependent finetuning)として報告しており、同論文自身の提案モデルはさらに高いBLEURT 37.2〜43.4を記録しています。機械側の数字を単一の範囲として一括りにはできませんが、SL2Tが主張する70はこれらのどの数字よりも高い水準です。同じ論文は「別の人間による翻訳」を参照訳と突き合わせた場合のスコアを64.6 BLEURTとして併記しており、70はこの人間側の目安も数値上は上回っています。 ここで注意が要ります。64.6という数字は「人間の翻訳能力の上限」ではなく、論文自身がモデル結果と単純に比較できる値だとも位置づけていません。FLEURS-ASLのASL動画はCertified Deaf Interpreter 5名が英語原文をASLへ訳して収録したもので、64.6 BLEURTは、DPAN経由で募集した「手話教育の専門的訓練・経験を持つネイティブのろう者ASL話者」1名が、その5名のsigner-dependent test setから各8記事・1文ずつ抽出した計40文のASLクリップを英語へ訳し戻し、その訳文をFLEURSの元の英語原文に対して採点した値です（arXiv:2408.13585）。論文のTable 2脚注は「the human baseline scores are not perfectly comparable…because they are for a subset of the data that is not necessarily representative due to the sampling method and small size」と明記しており、抽出法と40文という標本の小ささを理由に、人間ベースラインをモデル結果と完全に比較できるとはしていません。70が64.6を数値上は上回ること自体は事実ですが、この注記がある以上「人間を超えた」と結論づけることはできません。手話から英語への翻訳は言い換えの自由度が大きいことに加え、双方向の翻訳誤りや視覚的な曖昧性も差を生み得るため、人間対人間でもスコアは頭打ちになります。BLEURTで人間の数字を上回ったことは、学習済みモデルが参照文との意味的な適合度を高く評価したことを意味するのであって、通訳者と同等の理解に到達したことを意味しません。 ...