Llama 3.1 8B
Llama 3.1 70B
Llama 3.1 70B (BF16)
Llama 3.1 405B
Llama 3 8B
Llama 3 70B
Mistral Nemo
Mistral Large
Deepseek Coder V2 Lite
LLaVa 1.5 7B (Vision Model)
Qwen 2.5 7B
Qwen 2.5 7B (Math)
Qwen 2.5 14B
Qwen 2.5 72B
Qwen 2.5 72B (Math)
tinychat
SEC TO FIRST TOKEN
TOKENS/SEC
TOKENS