Spark LLM Leaderboard — オープンモデルを1台のDGX Sparkで実測

リーダーボード

全モデルを同一の条件で測っています — 同じ問題、同じ思考トークン予算、同じサーバー設定、同じ1台。

#	モデル	平均	GSM8K	MMLU	MMLU 日本語	HumanEval	長時間タスク	Decode	メモリ
1	DeepSeek-V4-Flash-0731 UD-IQ2_M · 284B (13B active)	94.7	97.5 0	92.5 0	84.5 !	98.8 0	100.0 0	17.0 tok/s	86.5 GiB
2	Qwen3.8-27B UD-Q4_K_XL · 27B	93.5	98.3 !	86.5 !	85.0 !	97.6 !	100.0 0	11.1 tok/s	32.9 GiB
3	Qwen3.6-27B UD-Q4_K_XL · 27B	—	—	—	—	—	—	10.9 tok/s	32.9 GiB

数値は正答した問題の割合です。! は一部の問題がエラーになったか、思考トークンが尽きて答えに到達しなかったスイートを示します（件数はホバーで表示）。Decodeは短いプロンプトでの単一ストリーム実測値です。列をクリックすると並べ替えできます。

実行待ち: Gemma 4 31B、Muse Glimmer 30B、Nemotron 3.5 Lightning 30B-A3B。結果が出た分だけ随時追加されます。推定値は一切載せません。

全ベンチマークの平均スコアと、単一ストリームのdecode速度。円の面積は 121.7 GiB のプール上での実測ピークメモリです。右上が良く、小さいほど安上がり。

縦軸は0%ではなく85%から始まります。全モデルがこれを上回っており、 0起点にすると意味のある差が潰れるためです。

GB10のメモリはCPUとGPUで1つのプールを共有します。収まるか、動かないかの二択です。色の付いた部分が重み、濃い部分がKVキャッシュと実行時のオーバーヘッド（実測ピーク）。

統合メモリ · 121.7 GiB · CPUとGPUで共有

Qwen3.8-27B UD-Q4_K_XL · 27B total / 27B active

32.9 GiB 残り 88.8 GiB

DeepSeek-V4-Flash-0731 UD-IQ2_M · 284B total / 13B active

86.5 GiB 残り 35.2 GiB

Qwen3.6-27B UD-Q4_K_XL · 27B total / 27B active

32.9 GiB 残り 88.8 GiB

prefillとdecodeは桁が違うので別々に描いています。decodeは返答を読んでいる間の速さ、 prefillは最初の一文字が出るまでの待ち時間を決めます。

プロンプト長に対するトークン毎秒。高いほど良い。

プロンプト長に対するトークン毎秒。高いほど良い。

単発の問題を採点するベンチマークでは、長い作業を通して破綻しないかは分かりません。ここでは2つ測っています。1つ目は演算を連ねて最終値を答えさせるもので、長さを変えて追跡が崩れる地点を可視化します。2つ目は鍵と部屋の環境に放り込み、1ターン1コマンドで自力で探索させるものです。ヒントは与えません。

モデル	20手	60手	150手	エージェント
Qwen3.8-27B	追跡成功 587 tok	追跡成功 2,526 tok	追跡成功 8,904 tok	到達 12 / 25 ターン
DeepSeek-V4-Flash-0731	追跡成功 472 tok	追跡成功 1,847 tok	追跡成功 4,390 tok	到達 11 / 25 ターン

全ての数値が1台のマシンで、1度に1モデルずつ、llama.cppのOpenAI互換サーバー経由で得たものです。時間はクライアント側で計測しているので、TTFTはこの箱に対してリクエストを投げた人が実際に待つ時間そのものです。ハードウェア間の正規化も、モデルカードからの引用も一切していません。

データセット全体から等間隔に抽出しています。MMLUのtestスプリットは科目順に並んでいるため、先頭から200問取ると57科目のうち2科目しか入りません。等間隔抽出なら全科目が出現数に比例して入り、決定論的なので再現もできます。 HumanEvalは164問全てを使います。

DeepSeek-V4-Flashは2bit量子化での測定です。1台に載せる唯一の方法であり、 APIで叩けるものとは別物です。また思考トークンが予算内に収まらず答えに到達しなかった項目は、正答率上は不正解としつつ ! で区別して表示しています。