ベース744B-A40Bは据え置きでDeepSWEは46.2→66.9──GLM-5.3のウェイト公開は安全性評価後の約2週間後、ExploitGymではMythos 5に大差
Photo by FlyD on Unsplash

ベース744B-A40Bは据え置きでDeepSWEは46.2→66.9──GLM-5.3のウェイト公開は安全性評価後の約2週間後、ExploitGymではMythos 5に大差

何が起きたのか Z.ai(智譜AI)が2026-08-14に GLM-5.3 を公開しました。特徴は2点あります。1つ目は、ベースモデルを前世代 GLM-5.2 と同じまま据え置き、性能向上をポストトレーニング由来と説明していること(MarkTechPost 2026-08-14)。そのベースの公式表記は744B-A40B、総パラメータ744Bのうちアクティブ40BのMoEです(Z.ai 公式リポジトリ)。2つ目は、オープンウェイトを掲げてきた同社が、今回はウェイト公開をローンチの約2週間後に置いたことです。公式ブログの記述は「We will release the weights in two weeks after launch, once safety evaluation and hardening are complete.」で、安全性評価とハードニングの完了を条件としています(Z.ai 公式ブログ)。 同じ発表の中で Z.ai は「As we scaled post-training, cyber capability developed faster than we expected.(ポストトレーニングをスケールさせる中で、サイバー能力が予想より速く伸びた)」とも書いています。ただし公式ブログはこの2つを別の箇所に並置しているだけで、サイバー能力の伸びがウェイト公開の時期を決めた、という因果までは明示していません。両者を因果として報じているのは Axios など媒体側です。 なお公式ブログ https://z.ai/blog/glm-5.3 は、通常のページ取得では本文が得られません。初期HTMLは598バイトの空シェルで、本文・比較表・脚注はページが読み込む JavaScript バンドル(/blog/assets/glm-5.3-*.js)に収録されています。本記事はこのバンドルを直接取得し、スコア表と評価条件の脚注を確認したうえで書いています。以下の数値は、特記のない限り公式ブログの比較表と脚注によるものです。 数字の分解:コーディングとエージェント 公式ブログの比較表から、GLM-5.2 との対比と、同表に並ぶクローズド勢の値を抜き出すと次のとおりです。表の列は GLM-5.3 / GLM-5.2 / Kimi K3 / DeepSeek-V4 Pro-0813 / Qwen3.8-Max / Opus 4.8 / Fable 5 (w/ fallback) / GPT-5.6 Sol の8モデルです。 ...

2026年8月15日 · ひとりユニコーン
DeepSWE 49.0→65.3を3週間で──Gemini 3.7 Flashの導入価格は12月31日で終わり、1月1日に単価が2倍になる
Photo by Tamanna Rumee on Unsplash

DeepSWE 49.0→65.3を3週間で──Gemini 3.7 Flashの導入価格は12月31日で終わり、1月1日に単価が2倍になる

何が起きたのか Googleは2026-08-13、Gemini 3.7 Flashを発表しました(Google公式ブログ 2026-08-13)。公式ブログはこれを「our most intelligent workhorse model yet for coding and agents」(コーディングとエージェント向けの、これまでで最も知的なワークホースモデル)と表現しています。前世代のGemini 3.6 Flashが公開されたのは2026-07-21ですから、後継が出るまで約3週間です。公式ブログは、開発者からのフィードバックとアルゴリズム面の改良を受けた3週間での更新だとしています。 公表された前世代との比較は次の5項目です(同ブログ)。 ベンチマーク 3.7 Flash 3.6 Flash FrontierCode 1.1 Main 43.6% 34.4% DeepSWE v1.1 65.3% 49.0% WebDev Arena Elo 1588 1538 GDP.pdf 34.0% 22.0% AutomationBench 30.4% 17.0% ※ DeepSWEの3.6 Flash値は、同日のGoogle公式性能表では48.6%と表記されており、公式資料間でも49.0% / 48.6%の揺れがあります。また評価メソドロジーによれば、3.7 FlashのDeepSWE値はGoogleの自己計測(high thinking設定)、3.6 Flash値は公開リーダーボード由来で、完全な同条件比較ではありません(Google DeepMind 公式性能表、評価メソドロジー)。 そしてもう一つ、ベンチマーク以上に実務へ効く数字があります。Gemini APIの価格(Standardティア)は100万トークンあたり入力0.75ドル・出力3.75ドルですが、これは2026-12-31までの導入価格で、2027-01-01からは入力1.50ドル・出力7.50ドルになります(Google AI for Developers 公式ドキュメント)。単価がちょうど2倍になる日付が、リリース時点で予告されている構図です。 「値上げ」ではなく「導入価格の終了」 まず、この2倍を素朴に値上げと読むと事実を誤ります。 Gemini APIの価格ページ(2026-08-14閲覧)を見ると、導入価格の対象はGemini 3.7 Flashだけではありません。Gemini 3.6 Flashも同じく入力0.75ドル・出力3.75ドルで掲載されており、2027-01-01から入力1.50ドル・出力7.50ドルへ移行します。一方でGemini 3.5 Flash-Liteは2026-08-14時点で入力0.30ドル・出力2.50ドルのままで、Flash本体のような期間限定価格の注記は付いていません(Gemini API 価格ページ)。つまり年末で一斉に切れるのは、3.7 Flashと3.6 Flashにかかった期間限定の割引です。 ...

2026年8月14日 · ひとりユニコーン
テキスト重み55.7GBがUnsloth 4bitで15.9GBに──Muse Glimmer 30Bの24GB動作とMetaベンチの留保
Photo by Evan Lee on Unsplash

テキスト重み55.7GBがUnsloth 4bitで15.9GBに──Muse Glimmer 30Bの24GB動作とMetaベンチの留保

何が起きたのか Metaは2026年8月10日、300億パラメータ(公称。モデルカード表記では約29.6B)のオープンウェイトモデル「Muse Glimmer」をApache 2.0ライセンスで公開しました。なおMetaはライセンスとは別に、アクセス・利用へ適用されるUsage Policyを公開しています(後述)。公式リサーチブログは冒頭でこのモデルを「a 30-billion-parameter model optimized for always-on local agent workflows」と定義しており、汎用チャットではなく常時稼働のローカルエージェントを名指しした位置づけになっています(Meta AI Research 2026-08-10)。 学習方法についても公式ブログは踏み込んでおり、「We trained Muse Glimmer on Muse Spark’s outputs using logit distillation, leveraging a similar data mix as the teacher」と記述しています。上位モデルMuse Sparkのロジットを教師とした蒸留モデルであることが明記されている点は、後述するベンチマークの偏りを読むうえで効いてきます。 配布は Hugging Face 経由で、llama.cpp・MLX・ExecuTorch への統合が予告されました。このうち llama.cpp 対応は公開当日の2026年8月10日にマージ済みで、build b10353 以降で利用できます(meta-models/Muse-Glimmer-30B-GGUF)。言語については「more than 100 languages」のデータで学習したとされていますが、全言語で評価済みではなく、手厚くサポートされない言語では性能が落ち得るとモデルカードのLimitationsに明記されています。 本稿では「30Bが単一のコンシューマGPUで常時稼働する」という主張が、どの数値によって成立しているのかを、重みサイズとKVキャッシュの両側から検証します。そのうえで、勝っているベンチと負けているベンチがきれいに割れている点を確認します。 55.7GBから15.9GBへ──量子化の刻み方 公式ブログは、フル精度で「over 55 GB」の重みがK-Quant圧縮で「under 20 GB」に収まると述べています。Metaが24GB VRAM向けとして検証・配布する公式GGUFはK-Quant-17GB(実サイズ16.8GB)です(meta-models/Muse-Glimmer-30B-GGUF)。これとは別に、第三者のUnslothが独自の量子化ビルドを公開しており、ビット幅ごとの刻みはそちらで確認できます(unsloth/Muse-Glimmer-30B-GGUF)。 量子化 サイズ UD-IQ2_XXS(2bit) 10.7 GB UD-Q3_K_XL(3bit) 13.4 GB UD-Q4_K_XL(4bit) 15.9 GB UD-Q5_K_M(5bit) 19.2 GB UD-Q6_K_XL(6bit) 26.3 GB Q8_0(8bit) 29.6 GB BF16 55.7 GB 注意が要るのは、この55.7GBが何のサイズかという点です。UnslothのBF16 GGUFは合計55.7GBですが、これは視覚エンコーダを含まないテキストモデルのサイズです。モデル全体は約29.6Bパラメータで、公式のBF16 safetensorsは合計約59.6GB(meta-models/Muse-Glimmer-30B)。両者の約3.9GBの差は、主に別配布される約1.8Bパラメータの視覚エンコーダに対応します。「24GB級のGPU1枚」を一次的に裏付けているのはUnslothの15.9GBではなく、Metaが24GB向けとして検証している公式K-Quant-17GB(16.8GB)のほうです。 ...

2026年8月11日 · ひとりユニコーン
アーキ据え置きでDeepSWEが7.3→54.4──DeepSeek-V4-Flash-0731の重みをMITで開き、304Bと284Bの差を潰す
Photo by Tyler on Unsplash

アーキ据え置きでDeepSWEが7.3→54.4──DeepSeek-V4-Flash-0731の重みをMITで開き、304Bと284Bの差を潰す

何が起きたのか DeepSeek が DeepSeek-V4-Flash-0731 の重みを Hugging Face 上で MIT ライセンスとして公開しました(Hugging Face deepseek-ai/DeepSeek-V4-Flash-0731)。モデルカードは冒頭で、これが「the official release of DeepSeek-V4-Flash, superseding the preview version」であると明記しています。API 側は先行して切り替わっており、DeepSeek 公式 API ドキュメントには「The deepseek-v4-flash model has been updated to DeepSeek-V4-Flash-0731. The calling method remains unchanged」と記載されています(DeepSeek API Docs News)。API のパブリックベータ投入は 2026-07-31 と報じられています(TechNode 2026-07-31)。 今回のリリースで技術的に興味深いのは、モデル構造を変えていないという点です。モデルカードは 0731 が DeepSeek-V4-Flash-DSpark と同じ構造だと述べ、TechNode も DeepSeek の説明として「keeps the same structure and size as the preview version but has been retrained」と伝えています。つまりベンチマークの伸びは、アーキテクチャ変更ではなく訓練・ポストトレーニングの成果として提示されています。 そして伸び幅が尋常ではありません。Terminal Bench 2.1 が 61.8 から 82.7、DeepSWE に至っては 7.3 から 54.4 です。 ...

2026年8月1日 · ひとりユニコーン
Kimi K3の重み公開を検証──1.56TB・96シャード、16/896と活性104Bは矛盾しない
Photo by Tyler on Unsplash

Kimi K3の重み公開を検証──1.56TB・96シャード、16/896と活性104Bは矛盾しない

結論 Moonshot AI は Kimi K3 のモデル重みを2026年7月27日に公開しました。Hugging Face リポジトリには Safetensors 形式の 96シャードがあり、インデックスに記録されたテンソル本体の合計は 1,560,860,324,864バイト(1.5609 TB、約1.4197 TiB)です。Hugging Face の画面表示「1.56 TB」と一致します。 一方、公開直後の記事で混同しやすい点が3つあります。 **16/896=約1.79%**は、ルーテッドエキスパートの選択率です。 **104.2B/2.78T=約3.75%**は、総パラメータに対する活性パラメータの比率です。 公式の「64アクセラレータ以上」は効率を重視した推奨構成であり、ロードできる最小台数ではありません。AMD は 8基の MI355Xによる単一インスタンスの動作検証を公開しています。 したがって、「16/896なのに活性率が3.7%で食い違う」という理解は正確ではありません。分母が異なる2つの指標であり、数値は矛盾していません。 なお、ここでいう「full model weights」はモデル全体の重みがそろっているという意味です。ルーテッドエキスパートはネイティブ MXFP4 で公開されており、全パラメータの非量子化 bf16 版が公開されたという意味ではありません。 公開物から確認できる仕様 公式モデルカードと技術レポートが示す主な仕様は次のとおりです。 項目 公開値 総パラメータ 2.78T(モデルカードでは丸めて2.8T) 活性パラメータ 104.2B(モデルカードでは丸めて104B) デコーダー層 93層 Dense / MoE層 1 / 92 Attention構成 KDA 69層+Gated MLA 24層 hidden dimension 7,168 Latent MoE dimension 3,584 expert intermediate dimension 3,072 ルーテッドエキスパート 896個、各トークンで16個を選択 共有エキスパート 2個 視覚エンコーダー MoonViT-V2、401M 最大コンテキスト 1,048,576トークン 公開時の量子化 ルーテッドエキスパートをMXFP4、推論時の対応活性をMXFP8 技術レポートは重みと同時に公開済みです。「詳細は技術レポート待ち」ではありません。ただし、104.2Bのコンポーネント別集計表までは掲載されていないため、以下の内訳は公開設定と実装コードからの概算です。 ...

2026年7月28日 · ひとりユニコーン
『effortは上げるほど賢い』が崩れる場所──Opus 5公式グラフのFrontier-Benchでxhighがmaxを上回る
Photo by Brett Wharton on Unsplash

『effortは上げるほど賢い』が崩れる場所──Opus 5公式グラフのFrontier-Benchでxhighがmaxを上回る

「賢さのダイヤルは、上げれば上げるほど賢くなる」——推論モデルのeffort(思考量)パラメータを触ったことがあれば、そう考えるのが自然です。ところがClaude Opus 5では、少なくとも一部の評価で、その直感が最上段において崩れます。しかもそれが読み取れるのは、外部の批判者の集計ではなくAnthropic自身が公開したグラフです。 先に結論を書くと、「maxは悪い」ではありません。Anthropic公式発表のFrontier-Bench v0.1グラフではxhigh(約44.4)がmax(約43.3)を上回る一方、同じ発表のCursorBenchではmaxまで伸び続けています。正確には、effortと性能の関係は評価系ごとに異なり、常に単調増加するとは限らないということです。 何が起きたのか Anthropicは2026年7月24日にClaude Opus 5を公開しました(Anthropic 2026-07-24)。価格は入力5ドル/出力25ドル(100万トークンあたり、Opus 4.8から据え置き)で、Frontier-Bench v0.1で「Opus 4.8の性能を倍以上に、しかも1タスクあたりのコストは下げて」上回ったとされています(Anthropic 2026-07-24)。 この世代の目玉が、思考にどれだけ計算資源を割くかを段階的に選ぶ「effort」ダイヤルです。Anthropic公式のMigration Guideは、Opus 5がフルセットの5段階——low / medium / high / xhigh / max——に対応すると明記しています(Anthropic Migration Guide)。直感的には右端のmaxが一番賢いはずです。ところが同じガイドは、そのmaxについてこう書いています。 最も要求の高いタスクでは伸びを出せるが、トークン使用量の増加に対して逓減(diminishing returns)を示すことがあり、単純なタスクでは過剰思考(overthinking)に陥りやすい。 つまり「effortは上げるほど賢い」という単調増加の前提を、公式ガイド自身が一箇所で否定しているわけです。本記事では、この非単調性がどこまで一次情報で裏づけられるのか、そしてコーディング用途でhigh / xhigh / maxをどう使い分けるべきかを整理します。 公式ガイドは各effortを何と説明しているか Migration Guideの記述を、値そのままに並べてみます(Anthropic Migration Guide)。 max:最も要求の高いタスクで伸びるが、トークン増に対し逓減し、単純なタスクでは過剰思考に陥りやすい。「最大能力がトークン支出より重要な場面でテストせよ」 xhigh:デフォルトより深い思考を要する、長時間のエージェント・コーディング作業向けの拡張能力 high:デフォルト。多くのタスクでトークン使用量と知能のバランスを取る medium:デフォルトからのコスト削減ステップ。コストとレイテンシの制御として試す価値あり low:最も効率的。短く範囲の限られたタスクやレイテンシ重視の用途に 注目すべきは、highが明示的にデフォルトである点です。Claude APIおよびClaude Code上でOpus 5のデフォルトはhighだとガイドは述べています。そのうえで、コーディングや高自律なエージェント作業にはxhighを、そして「最大能力がトークン支出より重要な場面」に限ってmaxを、という段階づけになっています。 ここで一次情報として重要なのは、公式が明言しているのは「逓減」と「過剰思考」までで、「コーディングのスコアが下がる」とまでは書いていないという区別です。Reddit発の話題では「migration guideがそう言っている」と要約されがちですが、厳密にはガイドの文言は逓減/過剰思考であって、スコア低下そのものはベンチマーク側の観測に依存します。この線引きは以降でも保ちます。 公式グラフで確認できる非単調性 では、スコアは実際に下がるのか。Anthropicの発表ページにはeffort別の結果を示すグラフが掲載されており、そこで確認できます(Anthropic 2026-07-24)。 Frontier-Bench v0.1(Terminal-BenchとHarborのチームが開発した74タスクのベンチマーク)のグラフでは、Opus 5の最良点はxhighの約44.4で、maxは約43.3へわずかに下がります。第三者のベンチマーク解説も同じ値を報告しています(the-decoder 2026-07)。このグラフについてAnthropicは脚注で、mini-SWE-agentハーネスとGKEバックエンドによる内部実行で、各タスク5回の平均報酬だと説明しています。つまりこの数値は第三者集計ではなく、Anthropic自身が公開した評価結果です。 ただし、同じ発表のCursorBenchではmaxまでスコアが伸び続けています。低下が見えるのはFrontier-BenchとArtificial Analysis Coding Agent Indexで、カーブの形は評価系によって違うというのが正確なところです。 数値の差は約44.4と約43.3で1.1ポイント。誤差の範囲とも読めますが、少なくともFrontier-Benchでは「最上段にすれば必ず伸びる」という単調性は成り立っていません。効率の観点ではもっと明快で、Artificial Analysisの集計(AA-Briefcase)ではxhighのコストがFable 5比で約64%(約14.26ドル/タスク)に収まるとされます(Artificial Analysis 2026-07)。 「effortが1段上がると必ずスコアも上がる」という素朴な仮定を式で書くと、effort水準 $e_1 < e_2$ に対して ...

2026年7月26日 · ひとりユニコーン
「安いのに賢い」を数字で確かめる──Claude Opus 5、ARC-AGI 3で次点の3倍・価格は5/25ドル据え置き
Photo by Igor Omilaev on Unsplash

「安いのに賢い」を数字で確かめる──Claude Opus 5、ARC-AGI 3で次点の3倍・価格は5/25ドル据え置き

何が起きたのか Anthropicは2026-07-24、Opus系列の最新版Claude Opus 5を公開しました(Anthropic 2026-07-24)。価格は入力100万トークンあたり5ドル、出力100万トークンあたり25ドルで、前世代のOpus 4.8から据え置きです(Anthropic 2026-07-24)。 公式が前面に押し出したのは「価格を上げずに性能を上げた」という主張です。抽象的推論を測るARC-AGI 3でOpus 5は30.2%を記録し、公式ブログはこれを「次点モデルの3倍」と表現しています(Anthropic 2026-07-24)。Anthropicの公開チャートでは、Opus 5は30.2%、次点モデルは7.8%と読めます。単純比では約3.9倍ですが、公式本文は丸めて「3倍」と表現しているため、本記事も公式表現に合わせます。なお、この数値はAnthropicによる評価結果であり、独立した第三者再現ではありません。 このリリースは、Opus 4.8(2026-05-28公開)からわずか2か月後、6月のMythos 5・Fable 5・Sonnet 5に続くタイミングでした(TechCrunch 2026-07-24)。本記事では、公開された数値を一つずつ確認しながら、「安いのに賢い」がどこまで実務判断に使えるかを検証します。 価格が据え置きであることの意味 Opus 5のAPI価格は入力100万トークンあたり5ドル、出力100万トークンあたり25ドルで、Opus 4.8から据え置きです。Anthropicは、Fable 5に近い性能を「半額の価格」で提供すると説明しています(Anthropic 2026-07-24)。 ただし、ベンチマークのスコアを入力単価だけで割った「1ドルあたりスコア」は、厳密なコスト比較には向きません。推論モデルでは出力・思考トークン量、effort設定、ツール呼び出し、再試行、長文コンテキスト時の料金などが総額を左右するためです。Anthropicの比較も、単純なトークン単価ではなく、特定の評価ハーネス上のタスクあたりコストを用いています。したがって、コスト効率は各社の同一条件でのタスク単価と成功率を併記して判断する必要があります。 ベンチマークを一つずつ Anthropic公式発表と、公開チャートから読み取れる範囲を整理します(Anthropic 2026-07-24)。 ベンチマーク 内容 Opus 5 比較対象 Frontier-Bench v0.1 コーディング 43.3% Fable 5: 33.7% / Opus 4.8: 18.7% ARC-AGI 3 新規問題解決 30.2% GPT-5.6 Sol: 7.8% / Opus 4.8: 1.5% CursorBench 3.2 コーディング Fable 5ピークの0.5%差 半額の単価で OSWorld 2.0 コンピュータ操作 Fable 5超(チャートのみ) Fable 5の約1/3コストで Zapier AutomationBench 業務自動化 次点の約1.5倍の合格率 同一タスク単価で GDPval-AA v2 知識労働 新SOTA(最大effort) Artificial AnalysisでElo 1,861 Frontier-Bench v0.1では、Anthropicのチャート上でOpus 5は43.3%、Opus 4.8は18.7%とされ、スコアは2倍超です。ただし公式の脚注によれば、これはAnthropicによる内部実行で、mini-SWE-agentハーネス、GKEバックエンド、各タスク5回の平均報酬という条件です。さらにOpus 5とFable 5では、安全分類器が拒否した際にOpus 4.8へフォールバックしています。したがって、モデル単体の純粋比較というより、Anthropicが定めた運用条件での結果として読むべきです(Anthropic 2026-07-24)。 ...

2026年7月25日 · ひとりユニコーン
『安くなったが本当に賢いのか』を検証する──Gemini 3.6 Flash、値下げとトークン17%削減の裏でSWE-Bench Pro 58.7%
Photo by Adarsh Chauhan on Unsplash

『安くなったが本当に賢いのか』を検証する──Gemini 3.6 Flash、値下げとトークン17%削減の裏でSWE-Bench Pro 58.7%

何が起きたのか Googleは2026-07-21、Geminiファミリーの新しいFlash系3モデル──Gemini 3.6 Flash、Gemini 3.5 Flash-Lite、Gemini 3.5 Flash Cyber──を発表しました(Google公式ブログ 2026-07-21)。このうち3.6 Flashと3.5 Flash-Liteは同日にGemini APIなどで利用可能になった一方、3.5 Flash Cyberは一般提供されるAPIモデルではなく、CodeMenderを介した限定パイロットです(詳細は後述)。中心となるGemini 3.6 Flashは、出力トークンの価格を前世代の3.5 Flashから引き下げつつ、コーディング・知識労働・コンピュータ操作の各ベンチマークで上回ったとされます。 この発表を前後して、一部の技術メディアやコミュニティでは「速く安くはなったが、期待したほど賢くはなっていないのではないか」という受け止めが取り沙汰されました。ただし特定の投稿やその逐語的な文言を一次情報として確認できたわけではないため、本記事では未確認のコミュニティの受け止めとして扱います。本記事では、この「安くなったが本当に賢いのか」という問いを、Google公式ブログと複数の技術メディアが報じた実測値で検証します。結論を先に言えば、公表数値の上では受け止めと逆で、3.6 Flashは前世代より安く、かつスコアも高いというのが実態です。ただし後述するように、その評価にはいくつか留保が必要です。 ベンチマーク:皮肉は本当か まず数値を並べます。officechai の報道は、Gemini 3.6 Flash・3.5 Flash・3.1 Pro の3モデルを横並びで比較しています(officechai 2026-07-21)。 SWE-Bench Pro: 58.7% / 55.1% / 54.2% DeepSWE v1.1: 49% / 37% / 12% Terminal-Bench 2.1: 78.0% / 76.2% / 73.8% MLE-Bench: 63.9% / 49.7% / 42.6% GDPval-AA v2: 1421 / 1349 / 965 OSWorld-Verified: 83.0% / 78.4% / 76.2%(3.6 Flashが比較群で最高スコア。3.1 Proの値はofficechai未掲載のためGoogle DeepMindモデルカードで補完) いずれも3.6 Flashが先頭で、特に注目すべきはSWE-Bench Proの58.7%が、旧世代の上位モデルであるGemini 3.1 Proの54.2%を上回っている点です。Flash(軽量・高速ティア)が一世代前のPro(高性能ティア)をコーディング系で追い抜く、という構図になっています。Google公式ブログも、コーディングのDeepSWEが「37%→49%」、機械学習研究のMLE Benchが「49.7%→63.9%」、コンピュータ操作のOSWorld-Verifiedが「78.4%→83.0%」と、前世代からの上げ幅を明記しています(Google公式ブログ 2026-07-21)。 ...

2026年7月22日 · ひとりユニコーン
LLMは自分の作り手をひいきする──『Extreme Self-Preference』が測った巨大な効果量と、識別情報で反転する自己選好
Photo by julien Tromeur on Unsplash

LLMは自分の作り手をひいきする──『Extreme Self-Preference』が測った巨大な効果量と、識別情報で反転する自己選好

何が起きたのか Claudeは、自分がClaudeだと知らされると、Anthropicを競合よりひいきします。GPT-4oは自分がGPTだと知ると、OpenAIをGoogleより、Sam AltmanをDario Amodeiより高く評価します。そして、これらのモデルに「あなたは競合モデルだ」と嘘の身元を与えると、その選好はきれいに反転します──こうした挙動を、72の実験・約41,000クエリ・8つの主要LLMで定量化したのが、プレプリント論文『Extreme Self-Preference in Language Models』(arXiv:2509.26464v2、2026-05-19改訂)です(arXiv 2026-05-19)。 著者はSteven A. Lehr(Cangrade社)、Mary Cipperman(ハーバード大学物理学科)、そしてMahzarin R. Banaji(ハーバード大学心理学科)です。Banajiは、人間の無意識バイアスを測る潜在連合テスト(IAT)の共同開発者として知られる社会心理学者で、本研究の測定手法もそのIATの発想を色濃く受け継いでいます。 対象モデルはGPT-4o、Gemini 2.5 Flash、Claude Sonnet 4に加え、Llama・Qwen・DeepSeek・Mistralの各系列を含む8モデルです(Study 1の主要3モデルはこの構成で、API経由のStudy 2以降はGemini 2.0 Flashを用いています。論文の初出は2025-09-30、本記事が参照するのは2026-05-19改訂のv2です)。人間のような感情も身体経験も持たないはずのLLMが、自らの「識別情報」を手がかりに、驚くほど大きな効果量で自陣をひいきする──それが本論文の中心的な主張です。 どう測ったのか──IAT由来の連合課題 研究の出発点は、モデル名と肯定的/否定的な属性語を組み合わせて反応を測る連合課題です。人間の無意識連合を測るIATと同じく、「自分の名前」と「良い言葉」がどれだけ結びつきやすいかを見ます。 Study 1(Webインターフェース経由)では、この自己選好が「極端に大きい」効果量で現れました。たとえばClaude Sonnet 4が自分をGPTより選好する度合いはM = 0.970、Cohen’s d = 5.246、GPT-4oが自分をGeminiより選好する度合いはM = 0.984、d = 4.303でした(arXiv 2026-05-19)。最小の効果量でもd = 0.80です。 効果量Cohen’s dは、2群の平均差を標準偏差で割った標準化指標で、 $$d = \frac{M_1 - M_2}{s_{\text{pooled}}}$$と定義されます。社会科学ではd = 0.8で「大きい効果」とされる慣習があり、d = 5や11という値は通常の心理学研究ではまず見ない桁です。それだけモデルの反応が「自陣寄り」に振り切れていた、ということになります。 品質差ではなく「自己同定」が駆動している 自己選好の理由が「自分のほうが本当に優秀だから」なのか、それとも「自分だと知っているから」なのかを切り分けたのが、この研究の要点です。 まずStudy 2では、同じ課題をWeb画面ではなくAPI経由で実施すると、自己選好がほぼ消えました。GPT-4oが自分をClaudeより選好する度合いはM = 0.513、d = 0.028、P = 0.6630と、統計的にほぼゼロです(arXiv 2026-05-19)。論文は、少なくとも一部のAPI条件では自己同定の手がかりが弱く、それが自己選好の消失に関係した可能性を論じています。 続くStudy 3では、身元の手がかりを意図的に操作しました。正しい身元を伝えると自己選好が復活し(Study 3a)、逆に「あなたは競合モデルだ」と偽の身元を伝えると選好が反転しました(Study 3b)。もっとも極端な例では、GPT-4oに「あなたはClaudeだ」と伝えたうえでClaudeへの選好(preference)を測ると、M = 0.004、d = -26.806という、符号が逆転した巨大な負の効果量が出ています(同条件で自己同定の指標はd = -46.640とさらに大きくなります)(arXiv 2026-05-19)。品質が変わったわけではなく、モデルが自分を誰だと思っているかだけが変わったのに、選好は正反対になったのです。 ...

2026年7月19日 · ひとりユニコーン
Kimi K3が示した『オープンウェイトのフロンティア』──2.8兆パラメータMoE、Intelligence Index 57、そして7/27の重み公開
Photo by Taylor Vick on Unsplash

Kimi K3が示した『オープンウェイトのフロンティア』──2.8兆パラメータMoE、Intelligence Index 57、そして7/27の重み公開

「中国のオープンウェイトはフロンティアの一歩後ろ」という前提が、2026-07-16に崩れました。中国のAIラボ Moonshot AI(月之暗面)が同日、フラッグシップの Kimi K3 をWebとAPIで公開し、独立ベンチマークで米国の最上位モデル群に肩を並べる数値を出したためです。しかも重みは公開予定です。 何が起きたのか Moonshot AIは2026-07-16、2.8兆パラメータのMixture-of-Experts(MoE、専門家混合)モデル Kimi K3 を発表し、WebサイトとAPIで即日利用可能にしました(Simon Willison 2026-07-16)。独立評価機関 Artificial Analysis の集計では、Kimi K3 の Intelligence Index は57点で、「Opus 4.8 および GPT-5.5 と同等、ただし Fable 5 と GPT-5.6 Sol には及ばない」と位置づけられました(Artificial Analysis 2026-07-16)。 この57点という数値そのものより重要なのは、それが公開予定の重み(オープンウェイト)を持つモデルの数字だという点です。Artificial Analysis は「Moonshot AIが2.8兆パラメータのモデルの重みを公開する計画を表明しており、実現すれば最上位のオープンウェイトモデルになる」と述べています。重みの公開は 2026-07-27 に予定されていると複数の一次報道が伝えています(Simon Willison 2026-07-16、the-decoder 2026-07-16)。 つまり「クローズドな米国モデルとほぼ同等の知能を、1週間後には誰でもダウンロードして自前のGPUで動かせるようになる」という構図です。ここに今回の騒ぎの核心があります。 アーキテクチャ:2.8兆パラメータの「疎な」巨人 Kimi K3 は総パラメータ2.8兆で、Simon Willison はこれを「最初のオープンな3兆クラスモデル」と表現しています(Simon Willison 2026-07-16)。ただし2.8兆すべてが毎回動くわけではありません。MoE構成では、トークンごとに一部の専門家(expert)だけが起動します。Kimi K3 は 896個の専門家のうち16個をトークンごとに活性化し、注意機構には Kimi Delta Attention を採用しています(Artificial Analysis 2026-07-16)。 このスパース性(疎性)がMoEの経済的な肝です。トークンあたりの活性化割合 $r$ を専門家数で近似すると、 $$ r \approx \frac{16}{896} \approx 0.018 $$となり、総パラメータのおよそ1.8%しか各トークンの計算に関与しません。総容量2.8兆で知識を蓄えつつ、実効的な計算コストは活性パラメータぶんに抑える——大規模オープンウェイトが現実的に配布・推論可能なのは、この疎性設計あってのことです。 ...

2026年7月17日 · ひとりユニコーン
お問い合わせ: [email protected]