Llama 2 7B

423results

181devices

6.74Bparams

300fastest gen tok/s

llama.cpp

Hardware	Quant	Gen tok/s	Prompt tok/s	Source	Context tested	Build
RTX 5090	Q4_0	300	14,970	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @8cf6b42	Details →
RTX 5090	Q4_0	290	14,073	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @8cf6b42	Details →
RTX PRO 6000 Blackwell	Q4_0	281	16,619	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @5143fa8	Details →
H100 80 GB	Q4_0	281	11,263	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @5143fa8	Details →
RTX PRO 6000 Blackwell	Q4_0	274	14,855	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @79c1160	Details →
RTX 5090	Q4_0	274	11,796	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @ca71fb9 — coopmat2	Details →
H100 80 GB	Q4_0	268	9,918	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @5143fa8	Details →
RTX 5090	Q4_0	264	10,382	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @ca71fb9 — coopmat2	Details →
A100 80 GB	Q4_0	201	5,286	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @5143fa8	Details →
Apple M2 Ultra	Q4_0	199	199	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @dbb852b — Asahi Linux	Details →
AMD Radeon RX 7900 XTX	Q4_0	195	3,333	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @2f0c2db	Details →
RTX 5080	Q4_0	192	8,055	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @f6b533d — coopmat2	Details →
RTX 4090 D	Q4_0	192	12,507	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @79c1160	Details →
AMD Radeon RX 7900 XTX	Q4_0	191	3,532	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @2f0c2db	Details →
A100 80 GB	Q4_0	191	4,850	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @5143fa8	Details →
RTX 4090	Q4_0	190	10,830	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4ae88d0 — coopmat2	Details →
RTX 4090 D	Q4_0	189	10,294	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @79c1160	Details →
RTX 4090	Q4_0	189	14,771	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @2241453	Details →
RTX 4090	Q4_0	188	9,452	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4ae88d0 — coopmat2	Details →
RTX 4090	Q4_0	186	11,993	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @2241453	Details →
RTX 5080	Q4_0	185	7,445	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @f6b533d — coopmat2	Details →
RTX 5080	Q4_0	185	9,488	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @8a4280c	Details →
RTX 5070 Ti	Q4_0	182	8,420	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @933414c	Details →
RTX 5080	Q4_0	182	8,297	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @8a4280c	Details →
RTX 6000 Ada	Q4_0	179	10,577	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @b8e09f0	Details →
RTX 5070 Ti	Q4_0	177	6,952	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @933414c	Details →
RTX 5070 Ti	Q4_0	176	7,568	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @0d0764d — coopmat2	Details →
RTX 6000 Ada	Q4_0	176	9,229	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @b8e09f0	Details →
RTX 3090 Ti	Q4_0	172	6,924	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @9c35706	Details →
RTX 3090	Q4_0	172	5,201	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @d05fe1d — coopmat2	Details →
RTX 3090 Ti	Q4_0	171	6,567	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @9c35706	Details →
A100	Q4_0	171	7,064	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @2257758 — coopmat2	Details →
RTX PRO 4500 Blackwell	Q4_0	169	7,252	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @becc481	Details →
RTX 3090	Q4_0	164	4,666	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @d05fe1d — coopmat2	Details →
RTX 3090	Q4_0	162	5,560	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @c76b420	Details →
A100	Q4_0	161	6,390	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @2257758 — coopmat2	Details →
RTX 3090	Q4_0	158	5,175	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @c76b420	Details →
L40	Q4_0	154	10,098	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @ee09828	Details →
L40	Q4_0	152	8,870	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @ee09828	Details →
RTX 4080 SUPER	Q4_0	150	8,007	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @81086cd — coopmat2	Details →
RTX 4080 SUPER	Q4_0	148	8,125	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @81086cd	Details →
RTX 4080 SUPER	Q4_0	147	9,439	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @81086cd	Details →
RTX 4080 SUPER	Q4_0	147	7,101	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @81086cd — coopmat2	Details →
RTX 3080	Q4_0	146	4,914	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @7c7d6ce — coopmat2	Details →
RTX A6000	Q4_0	145	5,662	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @4795c91	Details →
RTX 4080	Q4_0	143	9,206	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @20638e4	Details →
RTX 4080	Q4_0	142	8,032	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @20638e4	Details →
Tesla V100	Q4_0	142	1,411	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @7d77f07	Details →
RTX A5000	Q4_0	140	4,071	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4ae88d0 — coopmat2	Details →
RTX 3080	Q4_0	140	5,570	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @9c35706	Details →
RTX A5000	Q4_0	140	3,642	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4ae88d0 — coopmat2	Details →
RTX 3080	Q4_0	140	5,014	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @9c35706	Details →
RTX 3080	Q4_0	139	4,287	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @7c7d6ce — coopmat2	Details →
AMD Radeon AI Pro R9700	Q4_0	139	5,620	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @f9f3365	Details →
RTX A6000	Q4_0	139	4,914	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @4795c91	Details →
AMD Radeon RX 9070 XT	Q4_0	137	5,036	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @e9fd8dc	Details →
RTX PRO 4000 Blackwell	Q4_0	136	5,674	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @7d77f07	Details →
RTX A5000	Q4_0	136	4,552	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @e5155e6	Details →
RTX 4070 Ti SUPER	Q4_0	136	6,801	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4ae88d0 — coopmat2	Details →
RTX 5070 Ti	Q4_0	136	6,214	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @d13d0f6 — coopmat2	Details →
Tesla V100	Q4_0	135	2,974	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @51f5a45	Details →
AMD Radeon AI Pro R9700	Q4_0	133	5,281	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @f9f3365	Details →
RTX 4070 Ti SUPER	Q4_0	133	7,612	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @9c35706	Details →
RTX 4070 Ti SUPER	Q4_0	132	6,925	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @9c35706	Details →
A30	Q4_0	132	3,069	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @583cb83	Details →
RTX PRO 4000 Blackwell	Q4_0	132	4,993	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @7d77f07	Details →
AMD Radeon RX 9070 XT	Q4_0	132	5,048	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @e9fd8dc	Details →
RTX A5000	Q4_0	130	4,028	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @e5155e6	Details →
Tesla V100	Q4_0	130	1,391	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @7d77f07	Details →
RTX 4070 Ti SUPER	Q4_0	129	6,099	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4ae88d0 — coopmat2	Details →
Tesla V100	Q4_0	129	3,043	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @51f5a45	Details →
RTX 5070	Q4_0	128	5,783	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA	Details →
RTX 5070	Q4_0	128	5,185	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA	Details →
A40	Q4_0	126	5,256	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @3470a5c	Details →
AMD Radeon RX 7800 XT	Q4_0	125	2,197	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4fdbc1e	Details →
A30	Q4_0	125	2,767	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @583cb83	Details →
A40	Q4_0	124	4,609	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @3470a5c	Details →
Radeon RX 7900 XT	Q4_0	123	2,942	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @71e74a3	Details →
Radeon RX 7900 XT	Q4_0	121	2,701	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @71e74a3	Details →
AMD Radeon RX 9070	Q4_0	120	3,164	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @21c17b5	Details →
AMD Radeon RX 9070	Q4_0	120	2,860	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @21c17b5	Details →
AMD Radeon RX 7800 XT	Q4_0	118	2,017	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4fdbc1e	Details →
AMD Radeon Instinct MI50	Q4_0	118	1,127	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @3af34b9	Details →
A30	Q4_0	117	3,158	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @583cb83	Details →
AMD Radeon RX 7900 GRE	Q4_0	116	2,336	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4b2a477	Details →
Apple M3 Ultra	Q4_0	116	1,117	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @2d451c8 — MoltenVK	Details →
Intel Arc Pro B70	Q4_0	114	3,151	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b863507	Details →
RTX 4070 Ti	Q4_0	114	5,515	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @516a4ca — coopmat2	Details →
Titan V	Q4_0	112	2,481	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @e56abd2	Details →
Intel Arc Pro B70	Q4_0	112	3,379	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b863507	Details →
RTX 4070 SUPER	Q4_0	112	5,199	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @c945aaa — coopmat2	Details →
A30	Q4_0	111	3,291	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @583cb83	Details →
AMD Radeon VII	Q4_0	111	1,007	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @77d6ae4	Details →
RTX 4070 Ti	Q4_0	111	4,981	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @516a4ca — coopmat2	Details →
AMD Radeon RX 7900 GRE	Q4_0	111	2,251	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4b2a477	Details →
Apple M2 Ultra (76-core GPU)	Q4_0	109	1,412	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Titan V	Q4_0	109	793	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @e56abd2	Details →
RTX 2080 Ti	Q4_0	109	3,108	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @9c35706	Details →
Apple M2 Ultra (76-core GPU)	Q4_0	109	1,392	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Titan V	Q4_0	109	2,617	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @e56abd2	Details →
RTX 4070 SUPER	Q4_0	109	4,608	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @c945aaa — coopmat2	Details →
AMD Radeon Instinct MI50	Q4_0	109	1,120	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @3af34b9	Details →
AMD Radeon Pro VII	Q4_0	108	784	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @N/A	Details →
AMD Radeon RX 6900 XT	Q4_0	108	1,901	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @a972fae	Details →
RTX 2080 Ti	Q4_0	108	2,891	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @9c35706	Details →
AMD Radeon RX 6900 XT	Q4_0	106	1,762	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @a972fae	Details →
AMD Radeon Pro VII	Q4_0	106	912	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @N/A	Details →
Titan V	Q4_0	105	796	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @e56abd2	Details →
Quadro RTX 6000	Q4_0	104	3,054	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @b8e09f0	Details →
Quadro RTX 8000	Q4_0	104	3,052	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @b8e09f0	Details →
RTX A4500	Q4_0	103	3,453	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @5cdb27e	Details →
Quadro RTX 6000	Q4_0	103	2,751	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @b8e09f0	Details →
Quadro RTX 8000	Q4_0	103	2,710	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @b8e09f0	Details →
AMD Radeon VII	Q4_0	101	1,059	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @77d6ae4	Details →
RTX 2080 Ti	Q4_0	101	1,936	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @N/A	Details →
AMD Radeon RX 6800 XT	Q4_0	101	1,705	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @N/A	Details →
AMD Radeon RX 6800 XT	Q4_0	100	1,753	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @N/A	Details →
AMD Radeon Pro W6800X Duo	Q4_0	100	795	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @N/A	Details →
RTX 2080 Ti	Q4_0	97.6	1,888	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @N/A	Details →
RTX A4500	Q4_0	97.3	2,827	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @5cdb27e	Details →
RTX 5060 Ti	Q4_0	97.0	3,913	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @89f10ba — coopmat2	Details →
AMD Radeon RX 6800	Q4_0	96.7	1,749	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4b385bf	Details →
AMD Radeon RX 6800	Q4_0	95.6	1,699	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4b385bf	Details →
AMD Radeon Pro W6800X Duo	Q4_0	94.8	688	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @N/A	Details →
Apple M2 Ultra (76-core GPU)	Q4_0	94.3	1,238	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2 Ultra (76-core GPU)	Q4_0	94.3	1,238	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
RTX 5060 Ti	Q4_0	93.5	3,461	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @89f10ba — coopmat2	Details →
RTX 5060 Ti	Q4_0	93.5	4,196	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @89d1029	Details →
RTX 4070	Q4_0	92.3	3,179	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @9a48399	Details →
Apple M3 Ultra (80-core GPU)	Q4_0	92.1	1,471	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
RTX 4070	Q4_0	91.5	4,294	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @9a48399 — coopmat2	Details →
RTX 5060 Ti	Q4_0	90.9	3,737	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @89d1029	Details →
RTX 3060 Ti	Q4_0	90.3	2,645	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b42c7fa — coopmat2	Details →
Apple M2 Ultra (60-core GPU)	Q4_0	88.6	1,014	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M3 Ultra (60-core GPU)	Q4_0	88.4	1,073	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
RTX 2070 SUPER	Q4_0	88.1	2,088	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @bc07349	Details →
RTX 2070 SUPER	Q4_0	87.7	2,293	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @bc07349	Details →
RTX 3060 Ti	Q4_0	86.7	2,361	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b42c7fa — coopmat2	Details →
AMD Radeon Pro W6800X	Q4_0	86.5	511	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @13b4548 — MoltenVK	Details →
RTX A4000	Q4_0	85.2	2,808	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @65349f2	Details →
AMD Radeon RX 6700 XT	Q4_0	83.9	1,051	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @6d75883	Details →
RTX A4000	Q4_0	83.8	2,684	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @65349f2	Details →
Apple M1 Ultra (64-core GPU)	Q4_0	83.7	1,030	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M4 Max (40-core GPU)	Q4_0	83.1	886	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Radeon RX 6750 XT	Q4_0	82.3	997	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @228f34c	Details →
AMD Radeon RX 6750 XT	Q4_0	82.0	1,041	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @228f34c	Details →
AMD Radeon RX 6700 XT	Q4_0	81.9	1,011	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @6d75883	Details →
AMD Radeon PRO V620	Q4_0	81.8	1,595	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @03d4698	Details →
RTX 3060	Q4_0	80.6	2,013	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @92c0b38 — coopmat2	Details →
AMD Radeon PRO V620	Q4_0	79.2	1,556	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @03d4698	Details →
RTX 3070	Q4_0	78.7	2,113	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @1b8fb81	Details →
AMD Radeon Instinct MI60	Q4_0	78.2	369	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @504af20	Details →
RTX 3060	Q4_0	76.9	2,408	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @baa9255	Details →
Titan Xp	Q4_0	76.1	1,155	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @c4510dc	Details →
RTX A4000	Q4_0	76.1	2,483	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @f5245b5 — coopmat2	Details →
Tesla T10	Q4_0	76.0	1,840	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @7f76692 — coopmat2	Details →
RTX 3060	Q4_0	75.9	1,816	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @92c0b38 — coopmat2	Details →
RTX 3060	Q4_0	75.6	2,138	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @baa9255	Details →
Apple M4 Max	Q4_0	75.0	725	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @1ece0cb6	Details →
Tesla T10	Q4_0	75.0	1,693	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @7f76692 — coopmat2	Details →
Apple M1 Ultra (48-core GPU)	Q4_0	74.9	772	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Radeon RX 5700 XT	Q4_0	74.4	538	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4fdbc1e	Details →
Titan Xp	Q4_0	73.8	1,218	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @c4510dc	Details →
RTX A4000	Q4_0	73.7	2,248	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @f5245b5 — coopmat2	Details →
Apple M2 Ultra (76-core GPU)	Q8_0	73.3	1,387	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2 Ultra (76-core GPU)	Q8_0	73.1	1,368	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Intel Arc B580	Q4_0	72.0	419	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @7f76692	Details →
Apple M4 Max	Q4_0	71.8	557	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @1ece0cb6	Details →
AMD Radeon Pro W5700	Q4_0	71.3	447	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @23bc779	Details →
AMD Radeon RX 5700 XT	Q4_0	70.7	530	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4fdbc1e	Details →
AMD Radeon RX 9060 XT	Q4_0	70.5	2,142	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @ed52f36	Details →
Intel Arc Pro B60	Q4_0	70.5	275	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @516a4ca	Details →
AMD Radeon RX 9060 XT	Q4_0	70.5	1,915	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @ed52f36	Details →
Intel Arc B580	Q4_0	70.1	621	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @7f76692	Details →
Apple M4 Max (32-core GPU)	Q4_0	70.0	714	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Radeon Pro V540	Q4_0	69.6	584	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @9da3dcd	Details →
AMD Radeon Pro W5700	Q4_0	68.5	450	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @23bc779	Details →
Intel Arc Pro B60	Q4_0	68.5	522	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @516a4ca	Details →
AMD Radeon RX Vega 64	Q4_0	67.7	585	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @5dcb711	Details →
Quadro RTX 4000	Q4_0	67.6	1,663	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @7d77f07	Details →
Apple M2 Ultra (76-core GPU)	Q8_0	66.6	1,249	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2 Ultra (76-core GPU)	Q8_0	66.6	1,249	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Tesla P100	Q4_0	66.5	686	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @eec1e33	Details →
Apple M3 Max (40-core GPU)	Q4_0	66.3	760	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2 Max (38-core GPU)	Q4_0	66.0	671	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Quadro RTX 4000	Q4_0	65.6	1,537	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @7d77f07	Details →
GTX 1080 Ti	Q4_0	65.0	541	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @360d653	Details →
RTX 2070 SUPER	Q4_0	64.6	1,199	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b7552cf	Details →
GTX 1080 Ti	Q4_0	64.6	530	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @360d653	Details →
AMD Radeon RX 6650 XT	Q4_0	64.5	1,089	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @dbb852b	Details →
RTX 4060 Ti	Q4_0	64.0	3,803	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @89d1029	Details →
Apple M3 Ultra (80-core GPU)	Q8_0	63.9	1,488	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
RTX 4060 Ti	Q4_0	63.9	3,395	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @89d1029	Details →
RTX 3070 Laptop GPU	Q4_0	63.6	1,689	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @ceff6bb — coopmat2	Details →
Apple M3 Ultra (60-core GPU)	Q8_0	63.5	1,086	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Radeon RX Vega 64	Q4_0	63.4	575	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @5dcb711	Details →
Tesla P100	Q4_0	63.2	678	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @eec1e33	Details →
AMD BC-250	Q4_0	63.1	357	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @5886f4f	Details →
RTX 3070 Laptop GPU	Q4_0	62.9	1,832	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @ceff6bb — coopmat2	Details →
GTX 1080 Ti	Q4_0	62.5	1,084	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @9c35706	Details →
AMD BC-250	Q4_0	62.3	371	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @5886f4f	Details →
Apple M2 Ultra (60-core GPU)	Q8_0	62.1	1,003	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Radeon RX 6650 XT	Q4_0	62.1	1,030	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @dbb852b	Details →
Tesla P100	Q4_0	62.0	787	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @b8372ee	Details →
RTX A4000 Ada	Q4_0	61.8	2,780	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @a74a0d6	Details →
GTX 1080 Ti	Q4_0	61.4	1,138	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @9c35706	Details →
RTX A4000 Ada	Q4_0	61.4	3,172	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @a74a0d6	Details →
Apple M1 Max (32-core GPU)	Q4_0	61.2	530	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
RTX 2060 SUPER	Q4_0	61.1	1,564	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @5c0eb5e	Details →
Apple M2 Max (30-core GPU)	Q4_0	61.0	538	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
RTX 2060 SUPER	Q4_0	60.0	1,420	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @5c0eb5e	Details →
RTX 4060 Laptop GPU	Q4_0	60.0	2,358	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @a5c07dc — coopmat2	Details →
Apple M1 Ultra (64-core GPU)	Q8_0	59.9	1,043	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
RTX 4060 Laptop GPU	Q4_0	59.5	2,136	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @a5c07dc — coopmat2	Details →
Tesla P40	Q4_0	59.4	488	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @N/A	Details →
Tesla P40	Q4_0	59.2	484	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @N/A	Details →
Tesla P100	Q4_0	58.4	761	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @b8372ee	Details →
GTX 1660 Ti Mobile	Q4_0	57.3	514	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b43556e	Details →
DGX Spark	Q4_0	57.2	3,062	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @5acd455	Details →
DGX Spark	Q4_0	56.7	3,661	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @5acd455	Details →
GTX 1660 Ti Mobile	Q4_0	56.6	512	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b43556e	Details →
Apple M3 Max (30-core GPU)	Q4_0	56.6	568	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Radeon RX 7600 XT	Q4_0	56.1	1,024	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @01d8eaa	Details →
Apple M1 Ultra (48-core GPU)	Q8_0	55.7	783	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD FirePro S9300 x2	Q4_0	55.6	243	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @eec1e33 — Split across two GPUs	Details →
Tesla P40	Q4_0	54.7	1,007	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @c76b420	Details →
AMD Radeon Instinct MI25	Q4_0	54.7	439	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @2739a71	Details →
Apple M1 Max (24-core GPU)	Q4_0	54.6	400	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M4 Max (40-core GPU)	Q8_0	54.0	892	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Radeon RX 6600 XT	Q4_0	53.9	575	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @091592d	Details →
Tesla P40	Q4_0	53.7	1,080	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @c76b420	Details →
DGX Spark	Q4_0	53.6	3,280	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b9da444 — coopmat2	Details →
AMD Ryzen Al Max+ 395	Q4_0	53.6	1,289	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @7f76692	Details →
AMD Radeon RX 6600	Q4_0	53.2	809	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b1c70e2	Details →
Intel Arc A770	Q4_0	53.1	1,120	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @a69d54f	Details →
AMD Radeon RX 7600 XT	Q4_0	53.0	841	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @01d8eaa	Details →
AMD Ryzen Al Max+ 395	Q4_0	53.0	1,357	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @7f76692	Details →
AMD Radeon RX Vega 56	Q4_0	52.7	429	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @92c0b38	Details →
Intel Arc A770	Q4_0	52.6	1,074	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @a69d54f	Details →
DGX Spark	Q4_0	52.3	2,738	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b9da444 — coopmat2	Details →
AMD FirePro S9300 x2	Q4_0	51.9	247	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @eec1e33 — Split across two GPUs	Details →
Apple M4 Pro (20-core GPU)	Q4_0	50.7	440	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
RTX 2000 Ada	Q4_0	50.7	2,250	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @756cfea	Details →
AMD Radeon RX 6600	Q4_0	50.6	762	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b1c70e2	Details →
RTX 2000 Ada	Q4_0	50.6	1,956	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @756cfea	Details →
Intel Arc B570	Q4_0	50.5	289	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @7f76692	Details →
AMD Radeon RX Vega 56	Q4_0	50.2	440	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @92c0b38	Details →
Apple M4 Pro (16-core GPU)	Q4_0	49.6	364	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Intel Arc B570	Q4_0	49.6	914	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @7f76692	Details →
AMD Radeon RX 6800M	Q4_0	49.1	784	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @8e6f8bc	Details →
RTX 3060 Laptop GPU	Q4_0	49.0	1,060	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @dbb3a47	Details →
AMD Radeon RX 6800M	Q4_0	48.7	862	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @8e6f8bc	Details →
P104-100	Q4_0	48.6	325	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @eec1e33	Details →
AMD Radeon RX 6600M	Q4_0	48.2	606	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @fe5b78c	Details →
Intel Arc A770M	Q4_0	47.7	876	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @eeee367	Details →
Intel Arc Pro B50	Q4_0	47.7	1,123	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @aa46bda	Details →
AMD Radeon Pro V340	Q4_0	47.5	360	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @9da3dcd — Split across two GPUs	Details →
Tesla T4	Q4_0	46.4	1,219	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @d32e03f	Details →
Intel Arc Pro B50	Q4_0	46.3	1,186	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @aa46bda	Details →
P104-100	Q4_0	46.2	312	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @eec1e33	Details →
RTX A2000	Q4_0	45.7	1,362	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b1afcab — coopmat2	Details →
Intel Arc A770M	Q4_0	45.7	385	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @eeee367	Details →
RTX A2000	Q4_0	45.5	1,245	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b1afcab — coopmat2	Details →
AMD Radeon RX 7600M XT	Q4_0	45.3	459	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b9ab0a4 — eGPU	Details →
AMD Radeon Pro V340	Q4_0	45.2	375	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @9da3dcd — Split across two GPUs	Details →
Tesla T4	Q4_0	44.0	1,310	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @d32e03f	Details →
Intel Arc A750	Q4_0	44.0	303	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @c1b1876	Details →
Apple M4 Max (32-core GPU)	Q8_0	43.9	719	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
RTX 4050 Laptop GPU	Q4_0	43.7	1,726	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @d79d8f3	Details →
GTX 1070 Ti	Q4_0	43.4	293	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @860a9e4 — eGPU	Details →
GTX 1070	Q4_0	43.3	331	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @360d653	Details →
Apple M2 Ultra (76-core GPU)	F16	43.2	1,561	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2 Ultra (76-core GPU)	F16	43.1	1,526	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
GTX 1070 Ti	Q4_0	42.9	298	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @860a9e4 — eGPU	Details →
Apple M3 Max (40-core GPU)	Q8_0	42.8	758	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Intel Arc A750	Q4_0	42.7	1,076	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @c1b1876	Details →
Apple M3 Ultra (60-core GPU)	F16	42.2	1,122	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
RTX 4050 Laptop GPU	Q4_0	41.9	1,154	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @d79d8f3	Details →
Apple M2 Max (38-core GPU)	Q8_0	41.8	678	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Tesla M40	Q4_0	41.7	93.3	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b8372ee	Details →
GTX 1070	Q4_0	41.5	322	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @eec1e33	Details →
GTX 1660	Q4_0	41.4	154	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @9515c61	Details →
GTX 1660	Q4_0	41.4	149	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @9515c61	Details →
Apple M2 Ultra (76-core GPU)	F16	41.0	1,402	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2 Ultra (76-core GPU)	F16	41.0	1,402	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M1 Max (32-core GPU)	Q8_0	40.2	537	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Radeon RX 570	Q4_0	40.2	229	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @e583f3b	Details →
Tesla M40	Q4_0	40.0	290	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @97d5117	Details →
Apple M2 Max (30-core GPU)	Q8_0	40.0	540	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2 Ultra (60-core GPU)	F16	39.9	1,129	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M3 Ultra (80-core GPU)	F16	39.8	1,538	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Tesla M40	Q4_0	39.4	92.5	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b8372ee	Details →
AMD Radeon RX 580	Q4_0	39.3	258	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @de4c07f	Details →
Apple M2 Pro (19-core GPU)	Q4_0	38.9	341	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Radeon RX 470	Q4_0	38.6	218	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @e288693	Details →
Tesla M40	Q4_0	38.0	283	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @97d5117	Details →
Apple M2 Pro (16-core GPU)	Q4_0	37.9	294	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
GTX 1070 Ti	Q4_0	37.9	791	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @79c1160	Details →
GTX 1070 Ti	Q4_0	37.8	714	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @79c1160	Details →
Apple M1 Max (24-core GPU)	Q8_0	37.8	406	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Radeon RX 570	Q4_0	37.4	226	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @e583f3b	Details →
AMD Radeon RX 470	Q4_0	37.3	197	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @3769fe6	Details →
AMD Radeon RX 480	Q4_0	37.2	195	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @0bcb40b	Details →
Apple M1 Ultra (64-core GPU)	F16	37.0	1,169	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Radeon Pro W5500	Q4_0	36.8	315	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @860a9e4	Details →
Apple M1 Pro (16-core GPU)	Q4_0	36.4	266	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Orin	Q4_0	35.9	1,172	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @c1b1876	Details →
Apple M1 Pro (14-core GPU)	Q4_0	35.5	233	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Radeon RX 480	Q4_0	34.7	249	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @3b15924	Details →
Apple M2 Ultra	Q4_0	34.3	206	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @dbb852b — Asahi Linux	Details →
Apple M3 Max (30-core GPU)	Q8_0	34.3	566	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
GTX 980	Q4_0	34.2	181	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @860a9e4	Details →
Apple M1 Ultra (48-core GPU)	F16	33.9	876	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
GTX 980	Q4_0	33.9	186	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @860a9e4	Details →
Orin	Q4_0	33.6	991	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @c1b1876	Details →
Tesla P4	Q4_0	33.3	515	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @c76b420	Details →
Tesla P4	Q4_0	33.1	530	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @c76b420	Details →
Apple M4 Max (40-core GPU)	F16	31.6	923	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
P106-100	Q4_0	30.8	183	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @23bc779	Details →
Apple M3 Pro (18-core GPU)	Q4_0	30.7	342	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M4 Pro (20-core GPU)	Q8_0	30.7	450	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M3 Pro (14-core GPU)	Q4_0	30.6	269	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
P106-100	Q4_0	30.6	438	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @5fd160b	Details →
Apple M4 Pro (16-core GPU)	Q8_0	30.5	367	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
P106-100	Q4_0	30.4	407	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @5fd160b	Details →
P106-100	Q4_0	29.8	184	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @23bc779	Details →
AMD FirePro W8100	Q4_0	29.5	155	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4536363	Details →
AMD FirePro W8100	Q4_0	29.3	141	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4536363	Details →
Tesla P4	Q4_0	28.4	287	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @24d2ee0	Details →
GTX 1060	Q4_0	28.2	446	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @5fd160b	Details →
Tesla P4	Q4_0	28.0	266	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @24d2ee0	Details →
Quadro T1000	Q4_0	27.8	79.4	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @f6da8cb	Details →
AMD Radeon RX 6500 XT	Q4_0	27.8	255	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @g9fdfcd	Details →
GTX 1060	Q4_0	27.8	417	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @5fd160b	Details →
Quadro T1000	Q4_0	27.5	27.5	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @f6da8cb	Details →
Apple M3	Q4_0	26.4	264	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b9ab0a4 — MoltenVK	Details →
AMD FirePro S10000	Q4_0	25.3	94.8	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @914a82d — Split across two GPUs	Details →
Apple M3 Max (40-core GPU)	F16	25.1	779	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2 Max (38-core GPU)	F16	24.6	756	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M4 Max (32-core GPU)	F16	24.3	736	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2 Max (30-core GPU)	F16	24.2	600	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M4 (10-core GPU)	Q4_0	24.1	221	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Quadro P2000	Q4_0	23.8	182	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @63f8fe0	Details →
Quadro P2000	Q4_0	23.8	312	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @baa9255	Details →
Quadro P2000	Q4_0	23.6	309	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @baa9255	Details →
Quadro P2000	Q4_0	23.1	170	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @63f8fe0	Details →
Intel Core Ultra 200 Series	Q4_0	23.1	536	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @cea560f	Details →
Apple M1 Max (32-core GPU)	F16	23.0	600	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2 Pro (19-core GPU)	Q8_0	23.0	345	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2 Pro (16-core GPU)	Q8_0	22.7	288	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M1 Max (24-core GPU)	F16	22.6	453	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Intel Core Ultra 200 Series	Q4_0	22.5	545	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @cea560f	Details →
AMD Ryzen AI 9 300 Series	Q4_0	22.4	479	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @N/A	Details →
Apple M1 Pro (16-core GPU)	Q8_0	22.3	270	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Ryzen AI 9 300 Series	Q4_0	22.3	533	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @N/A	Details →
Apple M1 Pro (14-core GPU)	Q8_0	21.9	235	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2 (10-core GPU)	Q4_0	21.9	180	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2 (8-core GPU)	Q4_0	21.7	146	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M3 (10-core GPU)	Q4_0	21.3	187	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Ryzen 8000 Series	Q4_0	21.3	311	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @1e9d771	Details →
AMD Ryzen 6000 Series	Q4_0	21.3	241	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @ee09828	Details →
AMD Ryzen 6000 Series	Q4_0	21.1	278	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @ee09828	Details →
Apple M2 Pro	Q4_0	21.0	58.9	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @1fe0029 — Asahi Linux	Details →
GTX 1050 Ti	Q4_0	21.0	136	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @2f0c2db	Details →
Apple M2 Pro	Q4_0	20.9	62.7	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @1fe0029 — Asahi Linux	Details →
AMD Ryzen 7000 Series	Q4_0	20.1	313	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @835b2b9	Details →
GTX 1050 Ti	Q4_0	20.1	128	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @2f0c2db	Details →
AMD Ryzen 7000 Series	Q4_0	19.9	282	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @ebce03e	Details →
AMD Ryzen 8000 Series	Q4_0	19.8	267	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @1e9d771	Details →
Apple M3 Max (30-core GPU)	F16	19.5	589	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Ryzen Z1 Extreme	Q4_0	18.8	199	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @53ff6b9	Details →
Apple M3 Pro (18-core GPU)	Q8_0	17.5	345	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M3 Pro (14-core GPU)	Q8_0	17.4	272	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M4 Pro (16-core GPU)	F16	17.2	381	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M4 Pro (20-core GPU)	F16	17.2	464	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD FirePro D700	Q4_0	16.6	70.0	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @d3bd719 — MoltenVK, running in FP16 mode on FP32 only chip	Details →
AMD Radeon Pro WX 4100	Q4_0	16.6	75.6	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @860a9e4	Details →
AMD Radeon Pro WX 4100	Q4_0	16.1	78.8	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @860a9e4	Details →
Tesla K80	Q4_0	14.3	133	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @32732f2	Details →
Apple M1 (7-core GPU)	Q4_0	14.2	108	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M1 (8-core GPU)	Q4_0	14.2	118	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Quadro P1000	Q4_0	14.0	183	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @1e74897	Details →
Tesla K80	Q4_0	13.8	133	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @32732f2	Details →
Quadro P1000	Q4_0	13.7	174	llama.cpp (CUDA) ↗	512+128	llama.cpp CUDA @1e74897	Details →
Apple M4 (10-core GPU)	Q8_0	13.5	224	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2	Q4_0	13.5	50.8	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @8c0d6bb — Asahi Linux	Details →
Apple M2 Pro (19-core GPU)	F16	13.1	384	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M1	Q4_0	12.8	35.9	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @2370665 — Asahi Linux	Details →
Apple M1 Pro (14-core GPU)	F16	12.8	263	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M1 Pro (16-core GPU)	F16	12.8	302	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2 Pro (16-core GPU)	F16	12.5	313	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M1	Q4_0	12.5	38.3	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @2370665 — Asahi Linux	Details →
Apple M3 (10-core GPU)	Q8_0	12.3	188	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2	Q4_0	12.3	46.8	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @8c0d6bb — Asahi Linux	Details →
Apple M2 (10-core GPU)	Q8_0	12.2	181	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2 (8-core GPU)	Q8_0	12.2	147	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Ryzen 5000 Series	Q4_0	11.0	90.5	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @d84635b	Details →
AMD Ryzen 5000 Series	Q4_0	10.8	79.1	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @5d195f1	Details →
Intel Core 1100 Series	Q4_0	10.6	175	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @abb9f3c	Details →
Intel Core 1100 Series	Q4_0	10.4	187	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @abb9f3c	Details →
AMD Radeon RX 550	Q4_0	10.2	52.7	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @N/A	Details →
Tesla K40	Q4_0	9.9	64.4	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @eec1e33	Details →
Apple M3 Pro (18-core GPU)	F16	9.9	357	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
AMD Ryzen 4000 Series	Q4_0	9.9	113	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4b385bf	Details →
AMD Ryzen 4000 Series	Q4_0	9.6	104	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4b385bf	Details →
Tesla K80	Q4_0	9.5	88.3	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @5d46bab — Running on single GPU	Details →
Tesla K80	Q4_0	9.4	89.5	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @5d46bab — Running on single GPU	Details →
Tesla K40	Q4_0	9.3	64.4	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @eec1e33	Details →
MediaTek Dimensity 9400	Q4_0	8.9	38.4	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @b9ab0a4 — GPU supports coopmat but pp512 is faster with it turned off	Details →
AMD Ryzen 3000 Series	Q4_0	8.5	48.6	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @1fe0029	Details →
AMD Ryzen 5 3000 Series	Q4_0	8.5	47.4	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @1fe0029	Details →
Intel Core Ultra 100 Series	Q4_0	8.2	186	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @1d72c84	Details →
Apple M1 (7-core GPU)	Q8_0	7.9	108	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M1 (8-core GPU)	Q8_0	7.9	117	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Intel Core Ultra 100 Series	Q4_0	7.8	77.7	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @2e89f76	Details →
Apple M4 (10-core GPU)	F16	7.4	230	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
Apple M2 (10-core GPU)	F16	6.7	201	llama.cpp (Metal) ↗	512+128	llama.cpp Metal	Details →
CIX CD8180	Q4_0	5.5	2.8	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4dca015	Details →
Intel Core 1000 Series	Q4_0	4.3	25.6	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @N/A	Details →
Intel Core 8000 Series	Q4_0	3.4	25.4	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @c4df49a	Details →
Intel Core 8000 Series	Q4_0	3.4	25.6	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @c4df49a	Details →
Intel N150	Q4_0	2.9	28.8	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4f63cd7	Details →
Intel N150	Q4_0	2.9	25.6	llama.cpp (Vulkan) ↗	512+128	llama.cpp Vulkan @4f63cd7	Details →

Ollama

No measured Ollama results yet. Submit yours →

MLX

No measured MLX results yet. Submit yours →