何が起きたのか

Google DeepMindが2026年8月12日、手話をテキストへ翻訳するモデル「SL2T」(sign-language-to-text)を公開し、Pixel 11のGboardとLive Transcribeに搭載すると発表しました（Google DeepMind公式ブログ）。Pixel 11は同日に予約受付が始まり、出荷開始は2026年8月20日のため、実際に手元で使えるのは出荷以降になります（Engadget 2026-08-12）。公式は「massively multilingual sign-language-to-text translation」モデルと位置づけ、学習データは50を超える手話言語・10万時間超、うち約25%がアメリカ手話(ASL)だとしています。

評価については、手話翻訳のベンチマークであるFLEURS-ASLのsd-testでzero-shot BLEURT 70を記録し、公式ブログはこれを「significantly higher than any previously reported score」と表現しています。製品側の提供範囲は現時点でASL→英語のみで、対応デバイスもPixel 11が先行、他機種は今後という段階です（SiliconANGLE 2026-08-12）。公式ブログは提供形態について「You can experience SL2T in Gboard and Live Transcribe first on Pixel 11, with more devices coming soon — all at no additional cost」と書いています。

BLEURT 70という数字をどう読むか

BLEURTは、参照訳と生成訳の対を人間の評価スコアに回帰するよう学習された評価指標です。BLEUのように一致n-gramを数える設計ではないため、絶対値の解釈はチェックポイント依存で、本来はモデル間の相対比較に使うのが素直な使い方です。

それでも70という値を評価する足場はあります。FLEURS-ASLを提案した論文（arXiv:2408.13585, 2024-08-24、NAACL 2025）は、ASL→英語のcaption-levelベースライン(先行モデル)をBLEURT 33.6・38.6・40.3(zero-shot・signer-independent finetuning・signer-dependent finetuning)として報告しており、同論文自身の提案モデルはさらに高いBLEURT 37.2〜43.4を記録しています。機械側の数字を単一の範囲として一括りにはできませんが、SL2Tが主張する70はこれらのどの数字よりも高い水準です。同じ論文は「別の人間による翻訳」を参照訳と突き合わせた場合のスコアを64.6 BLEURTとして併記しており、70はこの人間側の目安も数値上は上回っています。

ここで注意が要ります。64.6という数字は「人間の翻訳能力の上限」ではなく、論文自身がモデル結果と単純に比較できる値だとも位置づけていません。FLEURS-ASLのASL動画はCertified Deaf Interpreter 5名が英語原文をASLへ訳して収録したもので、64.6 BLEURTは、DPAN経由で募集した「手話教育の専門的訓練・経験を持つネイティブのろう者ASL話者」1名が、その5名のsigner-dependent test setから各8記事・1文ずつ抽出した計40文のASLクリップを英語へ訳し戻し、その訳文をFLEURSの元の英語原文に対して採点した値です（arXiv:2408.13585）。論文のTable 2脚注は「the human baseline scores are not perfectly comparable…because they are for a subset of the data that is not necessarily representative due to the sampling method and small size」と明記しており、抽出法と40文という標本の小ささを理由に、人間ベースラインをモデル結果と完全に比較できるとはしていません。70が64.6を数値上は上回ること自体は事実ですが、この注記がある以上「人間を超えた」と結論づけることはできません。手話から英語への翻訳は言い換えの自由度が大きいことに加え、双方向の翻訳誤りや視覚的な曖昧性も差を生み得るため、人間対人間でもスコアは頭打ちになります。BLEURTで人間の数字を上回ったことは、学習済みモデルが参照文との意味的な適合度を高く評価したことを意味するのであって、通訳者と同等の理解に到達したことを意味しません。

同じ論文は、当時のマルチモーダル最前線モデルについて「multimodal frontier models have virtually no understanding of ASL」(最前線のマルチモーダルモデルはASLを事実上まったく理解していない)と結論していました。2024年時点のその状態から2年で製品搭載まで来た、という進み方の速さのほうが、70という単独の数値より情報量があります。

glossを経由しない設計

従来の手話翻訳研究は、映像をいったんgloss(手話の各サインに対応する単語列の中間表記)へ変換し、そこからテキストへ翻訳する二段構成が主流でした。SL2Tはこれを踏まず、座標列から直接テキストへ翻訳します。公式ブログは理由をこう説明しています。「Glosses fail to capture rich, non-linear aspects of sign languages such as non-manual markers and spatial constructions」。

手話は手の形だけで意味が決まりません。眉の上下や首の振り、視線といった非手指要素(non-manual markers)が疑問・否定・条件を担い、空間上のどこに何を置いたかという配置が指示対象や文法関係を担います。glossは基本的に手指の語彙を線形に並べる表記なので、この非線形な情報が変換の時点で落ちます。中間表記を挟まない設計は、その損失を回避するための選択だと読めます。

生映像ではなく座標だけを送る、という二段構成

プライバシー面の設計も公式が明記しています。「To protect user privacy, SL2T sees sign language as a sequence of pose landmark locations rather than a raw camera feed. An on-device model (MediaPipe Holistic) tracks the location of points on the signer, and only these geometric coordinates are sent to the server for translation, allowing the original video to be discarded immediately」。

端末上のMediaPipe Holisticが顔・手・腕・胴のランドマーク座標を抽出し、サーバへ送るのはその幾何座標だけ、元映像は即座に破棄する、という構成です。カメラ映像がそのままクラウドへ渡るわけではない点は、常時カメラを向ける用途としては実務的に重要です。

ただしトレードオフは残ります。翻訳本体はサーバ側であり、完全なオンデバイス処理ではありません。座標列は生映像ではないものの、体格や動作の癖といった個人性を含む生体情報でもあり、「映像を送っていない」ことと「個人を特定できない」ことは別の問題です。ブログ本文には座標列そのものが生体情報でありうるという踏み込みはありません。ただし同時公開のAISLAC共同影響評価レポートは、ランドマーク表現が容姿情報や環境情報を抽象的な幾何座標に置き換える点をプライバシー上の利点として挙げ、あわせてこのパイプラインが手話話者(signer)の同定には対応しないと明記しています（AISLAC Joint Impact Report for SL2T 1.0）。

10万時間の言語別内訳は公開されていない

公式ブログが示す学習データの規模は、総量が10万時間を超えること、対象が50を超える手話言語であること、そのうちASLが約4分の1(roughly a quarter)を占めることの3点です。いずれも概数または下限として示されており、正確な総時間・言語数・言語別の配分は公開されていません。したがってASL以外の1言語あたりの平均時間や中央値は、公表値からは計算できません。

製品としての提供がASL→英語のみで始まったことは、ASLの比率が最も高いという公表内容と矛盾しませんが、Googleが最初の対応言語をどのような理由で選んだかは公式には説明されていません。日本手話(JSL)が学習データに含まれているかどうか、含まれていた場合に何時間規模なのかも、公式ブログ・プレス双方に記載がなく、日本語圏で使える形になるまでに何が足りないかは現時点では外から測れません。

公式が認める限界と、コミュニティ側の関与

公式ブログは限界を短く、しかし具体的に列挙しています。「Occasional errors remain in rare signs, rapid fingerspelling, passive constructions, classifier depictions, and tense without context」。稀なサイン、速い指文字、受動構文、classifier(手の形で対象の大きさや動きを描写する構文)、そして文脈のない時制です。

この5つの原因は一様ではありません。稀なサインは学習データ中の出現頻度、速い指文字はフレーム間の時間解像度、classifierと文脈なしの時制は空間配置や談話全体の文脈への依存、受動構文は翻訳モデル側の課題も関係し得ます。座標表現そのものの制約として同時公開のAISLAC共同影響評価レポートが挙げているのは、舌の動きのランドマーク欠落、周辺環境情報の欠落、深度順序の欠落といった別の項目です（AISLAC Joint Impact Report for SL2T 1.0）。誤りが出る場所を製品発表と同じ文書に書いている点は、評価してよい部分です。

体制面では、Deaf団体と専門家からなるAI Sign Language Advisory Committee(AISLAC)を設置し、能力と限界をまとめた共同のimpact reportを公開しています（PDF）。SiliconANGLEは、Googleの見解として業界がこれまで手話利用者を「completely ignored(完全に無視されてきた)」対象として扱ってきたと報じています（SiliconANGLE 2026-08-12）。

なお、Googleが手話モデルに触れるのはこれが最初ではありません。2025年5月のGoogle I/Oで、ASLを英語テキストへ翻訳するモデルとして「SignGemma」が予告されていました。公式のI/O 2025発表まとめは「SignGemma is an upcoming open model that translates sign language into spoken language text, (best at American Sign Language to English)」と紹介しています（Google I/O 2025公式まとめ）。公式ブログ本文はSignGemmaに触れていませんが、同時公開のAISLAC共同影響評価レポートは、SL2T 1.0のオープンウェイト公開の選択肢として「such as SignGemma」と言及しています（AISLAC Joint Impact Report for SL2T 1.0）。ただしSL2TがSignGemmaの後継・系譜にあたるという説明は、どちらの文書にもありません。

残された不確実性

  • BLEURT 70の再現条件が公開されていない: sd-testという分割名は示されていますが、SL2T側の資料はBLEURTチェックポイント・前処理・評価スクリプトを再掲していません(FLEURS-ASL論文自体はsentence-level翻訳の標準プロトコルとしてBLEURT-20の使用を明記しています)。SL2Tの70がこのプロトコルどおりに計測されたかは資料からは確認できず、第三者が同条件で追試できる状態にはなっていません。
  • 製品上の精度は不明: ベンチマークは撮影条件の整った映像に対する数字です。手持ちのスマートフォンを片手で構えた状態、屋外の逆光、背景に人がいる状況での実効精度は、公式からも独立検証からも出ていません。
  • 座標データの取り扱い: ブログ本文には保持期間の記載がありませんが、同時公開のAISLAC共同影響評価レポートは「ユーザー入力・システム出力のログはGoogle側に保持しない。例外はユーザーが明示的に許諾したモデル評価研究の場合のみ」と明記しています（AISLAC Joint Impact Report for SL2T 1.0）。ただし具体的な保持期間の数値や匿名化手法までは示されていません。
  • 他の手話言語の時期: 50超の言語で学習しているとされますが、ASL以外がいつ製品に載るかの具体的な日程は示されていません。JSLの扱いも同様です。
  • 逆方向は未提供: テキストから手話を生成する方向(sign-generating)は今後の計画として言及されるにとどまり、公開されていません。手話利用者が読む側の課題は、このモデルでは解けません。

まとめ

SL2Tで確認できる事実は、10万時間超・50超手話言語での学習、FLEURS-ASL sd-testのzero-shot BLEURT 70、MediaPipe Holisticによる端末側ランドマーク抽出と座標のみの送信、gloss非経由の直接翻訳、そしてPixel 11のGboard/Live Transcribeに追加費用なしで先行搭載されること、以上が公式ブログに書かれた範囲です（Pixel 11自体の出荷開始は2026年8月20日）（Engadget 2026-08-12）。

数字の読み方としては、BLEURT 70はFLEURS-ASL論文が置いた人間側の目安64.6を数値上は上回ります。ただしその64.6は、抽出法と40文という標本の小ささのためモデル結果とは完全には比較できないと論文自身が注記した値であり、参照文はCertified Deaf Interpreterの訳ではなくFLEURS/FLORES由来の元の英語文です。この注記がある以上、「人間を超えた」あるいは通訳者の代替が成立したという読み方はできません。むしろ2024年に「frontier modelはASLを事実上理解していない」と書かれた地点から2年で消費者向け製品まで到達した速度と、公式自身が稀なサイン・速い指文字・classifier・文脈なしの時制を誤ると明記した誠実さの両方が、この発表の実質です。

日本語圏から見た現在地は、ASL→英語のみ・Pixel 11先行という一点に尽きます。学習データの言語別内訳が非公開である以上、JSLが製品に載る時期を見積もる材料は、まだ公開されていません。

主要出典

関連する過去記事