オープンなLLMを同じ1台のDGX Sparkに載せて、精度と速度を実測しています。 正規化も推定も一切なく、全てこの机の上の箱で出た数字です。
全モデルを同一の条件で測っています — 同じ問題、同じ思考トークン予算、同じ1台。 精度スイートは複数リクエストを並列で流して測っており（バッチ処理は答えの 中身を変えません）、速度は単一ストリームで別に測っています。
| # | モデル | 平均 | GSM8K | MMLU | MMLU 日本語 | HumanEval | 長時間タスク | Decode | メモリ |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Gemma 4 31B | 94.9 | 98.3 0 | 91.0 0 | 86.0 0 | 99.4 0 | 100.0 0 | 10.9 tok/s | 51.0 GiB |
| 2 | DeepSeek-V4-Flash-0731 | 94.7 | 97.5 0 | 92.5 0 | 84.5 ! | 98.8 0 | 100.0 0 | 17.0 tok/s | 86.5 GiB |
| 3 | Qwen3.8-27B | 93.5 | 98.3 ! | 86.5 ! | 85.0 ! | 97.6 ! | 100.0 0 | 11.1 tok/s | 32.9 GiB |
| 4 | Muse Glimmer 30B | 88.9 3/5 | 95.8 0 | 90.0 0 | 81.0 0 | — | — | 13.4 tok/s | 29.5 GiB |
| 5 | Ornith-1.5-35B-A3B | 87.5 | 98.3 0 | 87.5 ! | 82.0 ! | 94.5 ! | 75.0 0 | 79.3 tok/s | 40.9 GiB |
| 6 | Qwen3.6-27B | 84.1 | 94.2 ! | 91.0 ! | 87.0 ! | 98.2 0 | 50.0 ! | 10.9 tok/s | 49.5 GiB |
数値は正答した問題の割合です。! は一部の問題がエラーになったか、思考トークンが尽きて答えに到達しなかったスイートを示します （件数はホバーで表示）。Decodeは短いプロンプトでの単一ストリーム実測値です。 列をクリックすると並べ替えできます。
実行待ち: Nemotron 3.5 Lightning 30B-A3B。 結果が出た分だけ随時追加されます。推定値は一切載せません。
全ベンチマークの平均スコアと、単一ストリームのdecode速度。円の面積は 121.7 GiB のプール上での実測ピークメモリです。右上が良く、小さいほど安上がり。
縦軸は0%ではなく80%から始まります。全モデルがこれを上回っており、 0起点にすると意味のある差が潰れるためです。
GB10のメモリはCPUとGPUで1つのプールを共有します。収まるか、動かないかの二択です。 色の付いた部分が重み、濃い部分がKVキャッシュと実行時のオーバーヘッド（実測ピーク）。
prefillとdecodeは桁が違うので別々に描いています。decodeは返答を読んでいる間の速さ、 prefillは最初の一文字が出るまでの待ち時間を決めます。
プロンプト長に対するトークン毎秒。高いほど良い。
プロンプト長に対するトークン毎秒。高いほど良い。
リクエストを同時に何本流すと合計スループットが最大になるかを、モデルごとに 測っています。1本あたりの速度は必ず落ちますが、合計で勝てばスイープは 早く終わります。精度スイートはここで選ばれた本数で実行しています。
| 同時実行 | 合計 | 1本あたり | |
|---|---|---|---|
| 1 | 10.1 | 10.4 | |
| 2 | 19.3 | 10.0 | |
| 4 | 36.7 | 9.6 | |
| 8 | 60.3 | 7.8 | |
| 16 | 108.3 | 7.2 |
| 同時実行 | 合計 | 1本あたり | |
|---|---|---|---|
| 1 | 13.1 | 13.4 | |
| 2 | 25.5 | 13.1 | |
| 4 | 47.8 | 12.6 | |
| 8 | 78.3 | 10.5 | |
| 16 | 157.3 | 10.6 |
| 同時実行 | 合計 | 1本あたり | |
|---|---|---|---|
| 1 | 75.7 | 79.1 | |
| 2 | 106.9 | 58.5 | |
| 4 | 179.5 | 47.2 | |
| 8 | 232.6 | 32.8 | |
| 16 | 296.2 | 19.6 |
単位は tok/s。プロンプトは2行、生成は256トークン固定で、思考は切って測っています — スケジューリングの測定なので、モデルが考え込む長さの差が混ざらないようにしています。
単発の問題を採点するベンチマークでは、長い作業を通して破綻しないかは分かりません。 ここでは2つ測っています。1つ目は演算を連ねて最終値を答えさせるもので、長さを変えて 追跡が崩れる地点を可視化します。2つ目は鍵と部屋の環境に放り込み、1ターン1コマンドで 自力で探索させるものです。ヒントは与えません。
| モデル | 20手 | 60手 | 150手 | エージェント |
|---|---|---|---|---|
| Qwen3.8-27B | 追跡成功 587 tok | 追跡成功 2,526 tok | 追跡成功 8,904 tok | 到達 12 / 25 ターン |
| DeepSeek-V4-Flash-0731 | 追跡成功 472 tok | 追跡成功 1,847 tok | 追跡成功 4,390 tok | 到達 11 / 25 ターン |
| Qwen3.6-27B | 追跡成功 3,554 tok | 追跡失敗 16,384 tok | 追跡失敗 16,384 tok | 到達 12 / 25 ターン |
| Gemma 4 31B | 追跡成功 2,769 tok | 追跡成功 4,810 tok | 追跡成功 12,541 tok | 到達 12 / 25 ターン |
| Ornith-1.5-35B-A3B | 追跡成功 803 tok | 追跡成功 2,920 tok | 追跡成功 6,508 tok | 未到達 22 / 25 ターン |
全ての数値が1台のマシンで、1度に1モデルずつ、llama.cppのOpenAI互換サーバー経由で 得たものです。時間はクライアント側で計測しているので、TTFTはこの箱に対して リクエストを投げた人が実際に待つ時間そのものです。ハードウェア間の正規化も、 モデルカードからの引用も一切していません。
データセット全体から等間隔に抽出しています。MMLUのtestスプリットは科目順に 並んでいるため、先頭から200問取ると57科目のうち2科目しか入りません。 等間隔抽出なら全科目が出現数に比例して入り、決定論的なので再現もできます。 HumanEvalは164問全てを使います。
DeepSeek-V4-Flashは2bit量子化での測定です。1台に載せる唯一の方法であり、 APIで叩けるものとは別物です。また思考トークンが予算内に収まらず答えに 到達しなかった項目は、正答率上は不正解としつつ ! で区別して表示しています。 精度スイートの同時実行数は途中で4から8に上げました。1モデル13時間を 縮めるためで、各結果ファイルにその時の値を記録してあります。 decodeとprefillの数値は同時実行数に関わらず単一ストリームでの実測です。