マルチモーダル

何が起きたのか DeepSeekが2026年8月21日、APIプラットフォーム上で実験版のマルチモーダルモデル deepseek-v4-flash-vision-exp を公開しました（DeepSeek API Docs Change Log 2026-08-21）。公式のリリースノートは、このモデルについて「テキスト能力はDeepSeek-V4-Flashと同等で、マルチモーダルのエージェントベンチマークではOpus-4.8に迫る」という位置づけを示しています（DeepSeek API Docs 2026-08-21）。 同時に公開されたのは、画像を1度アップロードして file_id で参照できる無料のFiles API、そして本モデルをそのまま扱えるDeepSeek Harness 0.1.1です（DeepSeek API Docs 2026-08-21）。料金表を見ると、deepseek-v4-flash-vision-exp の単価は deepseek-v4-flash とまったく同じ行に並んでいます（DeepSeek API Docs 料金ページ）。 ただし、Hugging Faceの deepseek-ai オーガナイゼーションを確認しても、2026年8月22日時点でvision版に対応するウェイトリポジトリは見当たりません。V4系で公開されているのは DeepSeek-V4-Flash-0731、DeepSeek-V4-Pro-0813 などテキストモデルのみです（Hugging Face deepseek-ai）。今回はAPI限定の実験公開、というのが現在地です。 「テキストは同等」の中身──7項目中6項目が上、幅は−1.4〜+5.6 まず引っかかるのは、公式が「テキストは同等」と言いながら、自ら並べたテキスト系エージェント評価7項目のうち6項目で、既存のV4-Flash-0731より高い値が出ていることです。上回っているのは6項目、下回っているのはCybergymの1項目だけで、差の幅は−1.4から+5.6に収まります。 公式リリースのベンチマーク表（画像）から、テキスト系エージェント評価の7項目を並べると次のようになります。 ベンチマーク V4-Flash-Vision-Exp V4-Flash-0731 差 Terminal Bench 2.1 83.9 82.7 +1.2 NL2Repo 57.7 54.2 +3.5 Cybergym 75.3 76.7 −1.4 DeepSWE 59.3 54.4 +4.9 Toolathlon-Verified 75.9 70.3 +5.6 DSBench-Hard 63.6 59.6 +4.0 AutomationBench (Public) 25.7 25.1 +0.6 （DeepSeek API Docs 公式ベンチマーク表より。なおChange Logの本文に載っているのは9項目で、CybergymとToolathlon-Verifiedは本文にはなく、この画像にだけ出てきます） ...

何が起きたのか MiniMax が動画生成モデル MiniMax-H3 の重みを Hugging Face で公開しました。日付は 3 つに分けて読む必要があります。H3 というモデル自体は 2026 年 7 月 31 日に MiniMax プラットフォームの API と Hailuo アプリで先行してローンチされており、ライセンス文書に記載された日付は 8 月 2 日、そして 8 月 3 日に公開されたのが「オープンウェイト」です。公式モデルカード（Hugging Face MiniMaxAI/MiniMax-H3）によると、H3 は 33B パラメータの dense・単一ストリーム Transformer で、テキスト・画像・動画・音声を入力に取り、4〜15 秒・最大 2K・24FPS の映像と 32kHz ステレオ音声を同時に生成します。推論精度は BF16 です。 ただし、この「最大 2K」はシステム全体の仕様です。今回ローカルに降りてきた中核の H3-Base について、モデルカードは「Generates audio and video based on the H3-Context-IR output, producing results at 768p resolution」と書いています。2K 化を担う H3-Regenerate-2K については「Due to the complexity of the system, this module is not yet open-sourced. We will release it once it is ready」と明記されており、今回のオープンウェイト公開には含まれていません。公式品質の 2K を得る経路は、現時点では MiniMax の API 側に残っています。 ...

何が起きたのか Black Forest Labs（BFL）が2026年7月23日、新しいマルチモーダル基盤モデル「FLUX 3」を公式ブログで発表しました（Black Forest Labs 2026-07-23）。公式ブログの書き出しは「FLUX 3 is our new multimodal foundation model. It jointly learns from images, videos, and audio within a unified architecture.」であり、画像・動画・音声を単一アーキテクチャで同時に学習したモデルだと説明されています。 発表の中で数値として明示されているのは、単一生成で最大20秒の動画をネイティブ音声付きで作れること、そして人手による選好評価の勝率です。同ブログは、Luma Ray 3.2 に対して93%、Runway Gen-4.5 に対して77%、Grok Imagine Video に対して最大69%、Kling v3 Pro に対して60%の比較で好まれたとしています。この評価は「10-second text-to-video clips in 720p with audio」を対象とした予備的なもので、公式自身が「Evaluations are early and we expect further improvements」と留保を付けています。 ただし、この発表で最も引っかかるのはベンチマークの数字ではありません。画像生成モデルで知られる会社が、同じモデルの中に 行動予測（action prediction）を入れてきた点です。公式ブログはFLUX 3を「a checkpoint on our mission to develop real-world visual intelligence: models that perceive, predict, and act across physical and digital environments」と位置づけています。画像を作るモデルと、ロボットを動かすモデルを、同じ土台に載せるという宣言です。 ...

2026-10-11 追記。 質問の多い「使い方」「無料で何枚まで」「サイズと透過背景」「商用利用」について、まとめの前に4つの節と「よくある質問」を追記しました。本文中の「2026-10-11確認」はその日の確認です。この日の時点で、OpenAI の API ドキュメントでは新規開発向けの画像モデルが GPT Image 2.5（gpt-image-2.5-sunburst と gpt-image-2.5-flare）に替わっています。本記事の gpt-image-2（表記は GPT Image 2）は「Earlier GPT Image models」の扱いですが、モデル名は変わっておらず、今も API で指定できます。本文の「最大解像度2,000px」は発表時の報道に基づく数字で、現在のドキュメントでは長辺の上限は3,840pxです。DALL-E 2/3 は、API リファレンスで「retired on May 12, 2026」と記載されています。 何が起きたのか 2026年4月21日、OpenAIは画像生成機能を刷新した「ChatGPT Images 2.0」を発表した（OpenAI公式ブログ 2026年4月21日）。APIモデルIDは gpt-image-2。ChatGPT・Codex・APIの全チャネルで即日提供が始まり、従来の gpt-image-1 を置き換えた。 今回の改訂で最も注目すべき点は「推論との統合」だ。OpenAIによれば、gpt-image-2は画像生成モデルとして初めて思考（thinking）機能を持ち、生成前にレイアウトや構成を計画する能力を備えた。これは画像生成を「プロンプトへの反応」から「目的に向けた計画実行」へと転換するアーキテクチャ上の変化だ。 モデルの主要変更点 解像度・アスペクト比の大幅拡張 gpt-image-1 は最大1,024ピクセルの正方形画像が中心だったが、gpt-image-2 では長辺2,000ピクセルまで対応し、アスペクト比も7種類（1:1・3:2・2:3・16:9・9:16・3:1・1:3）に拡大した。バナー・スライド・モバイルUI・縦長ポスターを1モデルでカバーできる。 比較項目 gpt-image-1 gpt-image-2 最大解像度 1,024px 2,000px アスペクト比 3種類（1:1・3:2・2:3） 7種類（3:1〜1:3） バッチ生成 1枚 最大8〜10枚 推論統合 なし あり（thinking tiers: low/medium/high） 多言語テキスト 英語中心 CJK・ヒンディー語・ベンガル語など 多言語テキストレンダリング 従来モデルが苦手としていた非ラテン文字の組み込みが大幅に改善された。日本語・韓国語・中国語（CJK）・ヒンディー語・ベンガル語に対応し、ポスター・図解・コミックの中に文字をデザイン要素として配置できる。小さなタイポグラフィ・アイコン・密なUIレイアウトを含む複雑なプロンプトにも対応する（OpenAI公式発表・PetaPixel 2026年4月21日）。 バッチ生成とキャラクター一貫性 1プロンプトで最大8〜10枚のコヒーレントな画像を一括生成できる。キャラクターや物体の外見を複数コマにわたって維持する機能により、ストーリーボードや多フォーマットキャンペーン素材の制作ワークフローに実用的な変化をもたらす。 推論統合の意味：「考えてから描く」 gpt-image-2の最大の技術的変化は推論エンジンとの統合だ（The New Stack 2026年4月21日）。 ...

2026年3月、OpenAIはChatGPTに「数学や科学の概念をインタラクティブ（対話的）に可視化する」新機能を導入しました。 従来のChatGPTでもPythonコード実行（Code Interpreter）による静的なグラフ生成は可能でしたが、今回のアップデートでは、ユーザー自身がスライダーを動かしてグラフや図形をリアルタイムに変化させられる専用のインタラクティブUIが追加されました。 本記事では、この新機能の仕組みと、学生から社会人まで今すぐ使える具体的な活用法を解説します。 1. ChatGPTの「インタラクティブ可視化」とは？ 静的な説明から「体験型学習」への進化 従来のChatGPTでは、例えば「ピタゴラスの定理」について質問すると、$a^2 + b^2 = c^2$ という数式と、固定された三角形の画像が提示されるのみでした。 しかし新機能では、チャット画面上に動的な図形モジュールが生成されます。ユーザーが画面上のスライダーを使って辺 $a$ や $b$ の長さを変更すると、それに合わせて斜辺 $c$ の長さや三角形の形がリアルタイムで変形します。 この「操作して発見する」プロセスにより、抽象的な数式を直感的な感覚に結びつけることが可能になりました。 対応テーマ：70以上の数学・科学概念をカバー この機能は、リリース時点で高校数学から大学初年度レベルの物理・化学まで、70以上の特定テーマに対応しています（任意の数学的概念を自由に可視化できるわけではなく、OpenAIが事前に用意したトピックが対象です）。なお、対応トピックは今後拡大予定とされています。 代表的な対応テーマ例： 数学: 円の面積（$A = \pi r^2$）、三角関数のグラフ（$y = \sin x$）、微積分の概念図 物理: フックの法則（$F = -kx$）、クーロンの法則（$F = k \frac{q_1 q_2}{r^2}$） 化学: シャルルの法則（$\frac{V_1}{T_1} = \frac{V_2}{T_2}$ ※$T$は絶対温度） 単なる「公式の暗記」ではなく、変数同士がどう影響し合うかを動的図形で体感できる点が最大の特徴です。 2. 現場で使える！ChatGPTで数学を学ぶ3つの活用法 この機能を最大限に活かすための、具体的なプロンプト（指示文）と活用ステップを紹介します。 ① 関数のパラメータ変化を視覚的に理解する 高校数学でつまずきやすい「三角関数のグラフの移動」なども、この機能を使えば直感的に理解できます。 プロンプト例： 「$y = A \sin(Bx + C)$ のグラフをインタラクティブに可視化してください。A、B、Cの値をスライダーで動かせるようにして、それぞれがグラフの波形にどう影響するか解説して。」 このようなプロンプトを入力すると、多くの場合、振幅や周期、位相がどのように変化するかを、スライダーを動かしながら視覚的に確認できるUIが生成されます（LLMの性質上、毎回同一のUIが出るとは限りません）。 ② 物理の法則をシミュレーションする 数式だけではイメージしづらい物理現象も、シミュレーターとして活用できます。 プロンプト例： 「クーロンの法則について、2つの電荷の距離 $r$ を変えたときに、働く力 $F$ がどう変化するかをインタラクティブなグラフで示して。」 ...

1. Yann LeCunの独立と「AMI Labs」10.3億ドルの衝撃 2026年初頭、AI業界に激震が走りました。チューリング賞受賞者であり、MetaのチーフAIサイエンティストとして広く知られるYann LeCun氏が、AIスタートアップ「Advanced Machine Intelligence Labs（AMI Labs）」を共同設立し、シードラウンドで10億3,000万ドル（約1,500億円）というヨーロッパのシードラウンドとしては史上最大の資金調達を実施したのです。 ラウンドはCathay Innovation、Greycroft、Hiro Capital、HV Capital、Bezos Expeditionsの5社が共同リードし、NVIDIA、Samsung、Toyota Ventures、Temasekなどの戦略的投資家に加え、マーク・キューバン、エリック・シュミットといった個人投資家も参加。企業評価額はプレマネーで35億ドルに達しました。LeCun氏は執行会長（Executive Chairman）として技術戦略を統括し、CEOにはNabla創業者のAlexandre LeBrun氏が就任しています。 LeCun氏がMetaでの地位を離れてまで挑むテーマ、それはLeCun氏自身が「現在のLLM（大規模言語モデル）の根本的な限界」と主張する課題を乗り越える次世代AIアーキテクチャ「世界モデル（World Models）」の開発です。なお、報道によればMetaとの関係は敵対的な決別ではなく、独立したスタートアップとしての出発とされています。 2. 世界モデルとは？LLMとの違い 言語パターンの模倣から「物理法則の理解」へ 現在のChatGPTやClaudeなどのLLMは、膨大なテキストデータから「次にどの単語が来る確率が高いか」を統計的に予測しています。LeCun氏は、LLMが「重力」や「因果関係」といった物理的な現実世界のルールを本質的に理解していない点を長年批判しており、これがもっともらしい誤りを生成する「ハルシネーション」（幻覚）の一因になっていると主張しています。ただし、ハルシネーションには学習データの偏りやデコーディング戦略など複数の要因があり、AI研究コミュニティではLLMの拡張（マルチモーダル化、推論強化など）で対処できるとする立場も有力です。 一方、世界モデルは「現実のダイナミクス（状態の変化）」を直接学習するAIです。 テキストだけでなく、動画やセンサーデータから「物体が落ちればどうなるか」「車が急ブレーキを踏めばどう動くか」といった物理法則や因果関係に相当する抽象的な構造を学習し、未来の状態をシミュレーション（予測）する能力を持ちます。 デジタルツインや従来のシミュレーションとの違い 従来のシミュレーターは、人間が物理法則（重力加速度など）を数式としてプログラミングする必要がありました。しかし世界モデルは、与えられた観測データからAI自らが物理法則やルールの抽象的な表現（表現学習）を獲得し、未知の環境でも「こう動けばこうなる」という予測と計画（プランニング）を行うことができます。 3. 世界モデルの核心：JEPAアーキテクチャの仕組み AMI Labsが開発の基盤とするのが、LeCun氏が提唱してきたJEPA（Joint Embedding Predictive Architecture）です。 潜在変数を用いた予測学習 従来の生成モデルは、画像のピクセル一つ一つやテキストのトークンすべてを完璧に再構築しようとするため、予測不可能な細部（風で揺れる木の葉の動きなど）に計算リソースを浪費していました。 JEPAは、入力データ（$x$）と未来の状態（$y$）をそれぞれ抽象的な「潜在表現」に圧縮し、その潜在空間上で予測を行います。コンテキストエンコーダ $f_\theta$ が $x$ の表現を生成し、予測モジュール $P_\psi$ が潜在変数 $z$ を用いて未来の表現を予測します。ターゲットエンコーダ $\bar{g}_\phi$（EMA更新、勾配停止）が生成する $y$ の表現と比較することで、以下のような損失関数で学習が進みます。 $$ \mathcal{L}_{\text{JEPA}} = \mathbb{E}_{x, y} \left[ \min_{z} \| P_\psi(f_\theta(x), z) - \overline{g_\phi(y)} \|^2 \right] $$この非対称なアーキテクチャにより、無駄なピクセルの予測を省き、物体の動きや意味的な変化といった「本質」だけを効率的に学習することが期待されています。ただし、JEPAはまだ研究段階のアーキテクチャであり、大規模な商用プロダクトでの実証はこれからです。 4. なぜ今、世界モデルなのか？（応用分野とNVIDIAの狙い） 自動運転とロボティクスへの革命 Toyota VenturesやNVIDIAがAMI Labsに巨額投資を行った理由は明確です。自動運転車や汎用ロボットが現実世界で安全に動くためには、「テキストを理解するAI」ではなく「物理世界を予測できるAI」が不可欠だからです。 ...

2026年3月5日、動画生成AI「Dream Machine」で知られるLuma AIが、クリエイティブワークフローを根本から変革する「Luma Agents」を発表しました。 これまで私たちは、「画像はMidjourneyで出し、動画はSoraやRunwayで動かし、音声はElevenLabsで付ける」といった具合に、複数のAIツールをパッチワークのように組み合わせて作品を作ってきました。しかし、Luma Agentsを支える新アーキテクチャ「Unified Intelligence（統合知能）」は、この分断を解消しようとしています。 本記事では、映像クリエイターやマーケター必見の「Luma Agents」の革新性と、実際のビジネス現場でどのように使われ始めているのかを解説します。 1. Luma Agentsとは？「プロンプト」から「対話型ワークフロー」へ 複数モダリティをひとつの脳で処理する「Uni-1」モデル Luma Agentsの頭脳となるのが、新たに開発された「Uni-1」モデルです。 従来のマルチモーダルAIは、テキスト用、画像用、音声用と別々のモデルを裏側で繋ぎ合わせていたため、「画像に合わせた完璧なタイミングの音」や「テキストの意図を正確に汲んだ動画の演出」にズレが生じがちでした。 技術的には、Uni-1はdecoder-onlyの自己回帰型Transformerで、テキストと画像のトークンをひとつの共有トークン空間で扱います。テキスト、画像、動画、音声、空間的推論を最初からひとつの潜在空間で統合的に学習しています。Lumaはこれを「統合知能（Unified Intelligence）」と呼んでいます。 ただし、Luma AgentsはUni-1だけで完結するわけではありません。エージェント層がGoogleのVeo 3、ElevenLabsの音声モデル、ByteDanceのSeedreamなど外部の専門AIモデルもオーケストレーションして活用します。つまり「単一の万能AI」ではなく、「統合的に思考できるコアモデル＋専門AIの協調」というアーキテクチャです。この点はGPT-4VやGeminiなど既存のマルチモーダルモデルと方向性は共通しており、Luma独自の新発明というよりは、エージェント化によるワークフロー統合に強みがあります。 「自己評価」しながら自律的に改善するエージェント Luma Agentsの最大の特徴は、単なる「生成ツール」ではなく、自律的に動く「エージェント」である点です。 ユーザーが「この製品をヨーロッパ市場向けの広告にリデザインして」と大まかな指示（ブリーフ）を与えると、エージェントは自ら計画を立て、複数のバリエーションを生成します。 さらに画期的なのは、生成した結果をAI自身が「自己批判（セルフクリティーク）」し、ユーザーの意図に沿うまで内部で修正を繰り返す点です。人間が何度もプロンプトを打ち直す手間が省け、ディレクターと優秀なアシスタントが対話しながら作品を洗練させていくようなワークフローが実現します。 2. 広告・マーケティング業界での初期導入事例 Luma Agentsの発表と同時に、世界的なブランドや広告代理店が初期パートナーとして名を連ねています。以下はLuma AI側が公式発表した事例であり、独立した第三者による検証は現時点では限定的です。 ① Publicis Groupe ＆ Serviceplan：数週間の作業を数日に短縮 世界的な広告代理店であるPublicis GroupeやServiceplanは、Luma Agentsを活用してクライアントのキャンペーン制作プロセスを再構築しています。 テキストの企画書をインプットするだけで、Luma Agentsが絵コンテ（ストーリーボード）、仮の動画、ナレーションを一貫したコンテキストを保ったまま自動生成します。これにより、従来は各専門クリエイター間のやり取りで数週間かかっていたプロトタイピングが、わずか数日でクライアントに提示できるクオリティに達しています。 ② グローバルブランドの導入：驚異的なローカライズと一貫性 グローバルブランドにとって「ブランドガイドラインを守りつつ、各国の文化に合わせた素材を作る（ローカライズ）」のは膨大なコストでした。 Luma Agentsのライブデモでは、あるグローバルブランドの年間1,500万ドル規模のキャンペーンを、わずか40時間・2万ドル未満で複数カ国向けにローカライズしたとLuma側が発表しています。ただし、これはLuma自身のデモンストレーションでの数字であり、独立した検証による実績ではない点に留意が必要です。初期パートナーにはAdidasやMazdaなどが名を連ねています。 Mazdaに関しては、南アフリカの20人未満のブティック代理店が、Mazda MX-5が80年代・90年代・2000年代と進化していく映像をLuma Agentsで制作した事例が紹介されています。ヴィンテージ車両の手配や複数ロケ地での撮影が不要になり、小規模チームでも大規模キャンペーン品質のクリエイティブが実現可能であることを示しました。 3. Luma Agentsがもたらす「クリエイターとAIの新しい関係」 ブラックボックス化する倫理と著作権への課題 Luma Agentsは自社モデル（Uni-1、Ray 3.14）だけでなく、GoogleのVeo 3やElevenLabsなど外部モデルも統合してオーケストレーションします。この構造には新たな課題も伴います。 「出力された素晴らしい動画が、最終的にどのデータセットの影響を強く受けて生成されたのか？」というプロセスがブラックボックス化しやすくなります。ディープフェイクの防止や、学習データの透明性確保といったAI倫理の課題は、エージェントが自律的になるほど複雑化するため、Luma社もアクセスを段階的に制限しながら慎重にデプロイを進めています。 人間は「オペレーター」から「ディレクター」へ Luma Agentsの登場は、「プロンプトを上手く書くスキル（プロンプトエンジニアリング）」の価値が相対的に下がることを意味します。AIが勝手に行間を読み、自己修正してくれるからです。 今後のクリエイターに求められるのは、AIの出力結果を見て「ブランドのメッセージに合っているか」「人の心を動かすか」を判断するディレクション能力（審美眼）です。Luma Agentsが目指しているのは、誰もが「専属のクリエイティブチームを持つ監督」になれる世界です。ただし、現時点ではまだ初期段階であり、本格的な業界変革にはさらなる実績の蓄積が必要でしょう。 よくある質問 (FAQ) Q: Luma Agentsは一般ユーザーもすぐに使えますか？ A: 2026年3月時点で、Luma AgentsはAPI経由で公開されており、2025年12月から100社以上でベータテストが行われています。ただし、プラットフォームの安定性維持のため段階的にアクセスが拡大されている段階です。主な対象は広告代理店、マーケティングチーム、スタジオ、エンタープライズ組織で、基盤となる「Uni-1」モデルの恩恵は今後のLumaの一般向け製品にも順次反映されていく見込みです。 ...