オープンなLLMを同じ1台のDGX Sparkに載せて、精度と速度を実測しています。 正規化も推定も一切なく、全てこの机の上の箱で出た数字です。
全モデルを同一の条件で測っています — 同じ問題、同じ思考トークン予算、同じ1台。 精度スイートは複数リクエストを並列で流して測っており（バッチ処理は答えの 中身を変えません）、速度は単一ストリームで別に測っています。
| # | モデル | 平均 | GSM8K | MMLU | MMLU 日本語 | HumanEval | 長時間タスク | Decode | メモリ |
|---|---|---|---|---|---|---|---|---|---|
| 1 | DeepSeek-V4-Flash-0731 | 94.7 | 97.5 0 | 92.5 0 | 84.5 ! | 98.8 0 | 100.0 0 | 17.0 tok/s | 86.5 GiB |
| 2 | Qwen3.8-27B | 93.5 | 98.3 ! | 86.5 ! | 85.0 ! | 97.6 ! | 100.0 0 | 11.1 tok/s | 32.9 GiB |
| 3 | Qwen3.6-27B | 92.6 | 94.2 ! | 91.0 ! | — | — | — | 10.9 tok/s | 32.9 GiB |
数値は正答した問題の割合です。! は一部の問題がエラーになったか、思考トークンが尽きて答えに到達しなかったスイートを示します （件数はホバーで表示）。Decodeは短いプロンプトでの単一ストリーム実測値です。 列をクリックすると並べ替えできます。
実行待ち: Gemma 4 31B、Muse Glimmer 30B、Nemotron 3.5 Lightning 30B-A3B。 結果が出た分だけ随時追加されます。推定値は一切載せません。
全ベンチマークの平均スコアと、単一ストリームのdecode速度。円の面積は 121.7 GiB のプール上での実測ピークメモリです。右上が良く、小さいほど安上がり。
縦軸は0%ではなく85%から始まります。全モデルがこれを上回っており、 0起点にすると意味のある差が潰れるためです。
GB10のメモリはCPUとGPUで1つのプールを共有します。収まるか、動かないかの二択です。 色の付いた部分が重み、濃い部分がKVキャッシュと実行時のオーバーヘッド（実測ピーク）。
prefillとdecodeは桁が違うので別々に描いています。decodeは返答を読んでいる間の速さ、 prefillは最初の一文字が出るまでの待ち時間を決めます。
プロンプト長に対するトークン毎秒。高いほど良い。
プロンプト長に対するトークン毎秒。高いほど良い。
単発の問題を採点するベンチマークでは、長い作業を通して破綻しないかは分かりません。 ここでは2つ測っています。1つ目は演算を連ねて最終値を答えさせるもので、長さを変えて 追跡が崩れる地点を可視化します。2つ目は鍵と部屋の環境に放り込み、1ターン1コマンドで 自力で探索させるものです。ヒントは与えません。
| モデル | 20手 | 60手 | 150手 | エージェント |
|---|---|---|---|---|
| Qwen3.8-27B | 追跡成功 587 tok | 追跡成功 2,526 tok | 追跡成功 8,904 tok | 到達 12 / 25 ターン |
| DeepSeek-V4-Flash-0731 | 追跡成功 472 tok | 追跡成功 1,847 tok | 追跡成功 4,390 tok | 到達 11 / 25 ターン |
全ての数値が1台のマシンで、1度に1モデルずつ、llama.cppのOpenAI互換サーバー経由で 得たものです。時間はクライアント側で計測しているので、TTFTはこの箱に対して リクエストを投げた人が実際に待つ時間そのものです。ハードウェア間の正規化も、 モデルカードからの引用も一切していません。
データセット全体から等間隔に抽出しています。MMLUのtestスプリットは科目順に 並んでいるため、先頭から200問取ると57科目のうち2科目しか入りません。 等間隔抽出なら全科目が出現数に比例して入り、決定論的なので再現もできます。 HumanEvalは164問全てを使います。
DeepSeek-V4-Flashは2bit量子化での測定です。1台に載せる唯一の方法であり、 APIで叩けるものとは別物です。また思考トークンが予算内に収まらず答えに 到達しなかった項目は、正答率上は不正解としつつ ! で区別して表示しています。 精度スイートの同時実行数は途中で4から8に上げました。1モデル13時間を 縮めるためで、各結果ファイルにその時の値を記録してあります。 decodeとprefillの数値は同時実行数に関わらず単一ストリームでの実測です。