Apple M2 Ultra (76-core GPU)

14measured results

109best gen tok/s*

192 GBreported memory

*Headline excludes tiny/test models (under 0.6B params or TinyStories-style). Open in rig checker →

llama.cpp

Model	Quant	Gen tok/s	Prompt tok/s	Source	Context tested	Build
Llama 2 7B	Q4_0	109	1,412	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Llama 2 7B	Q4_0	109	1,392	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Llama 2 7B	Q4_0	94.3	1,238	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Llama 2 7B	Q4_0	94.3	1,238	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Llama 2 7B	Q8_0	73.3	1,387	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Llama 2 7B	Q8_0	73.1	1,368	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Llama 2 7B	Q8_0	66.6	1,249	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Llama 2 7B	Q8_0	66.6	1,249	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Llama 2 7B	F16	43.2	1,561	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Llama 2 7B	F16	43.1	1,526	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Llama 2 7B	F16	41.0	1,402	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Llama 2 7B	F16	41.0	1,402	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Qwen2.5 14B Instruct	Q4_K - Medium	36.6	471	LocalScore ↗	512+128	llamafile 0.9.2	Details →
Qwen2.5 14B Instruct	Q4_K - Medium	36.5	469	LocalScore ↗	4,352	llamafile 0.9.2	Details →

Ollama

No measured Ollama results yet. Submit yours →

MLX

No measured MLX results yet. Submit yours →

Includes results from LocalScore, a Mozilla Builders project by cjpais, mirrored in the cn0303/local-llm-speed-benchmarks dataset. LocalScore runs use llamafile, which is built on llama.cpp.