Llama 3.1 8B
Llama 3.1 70B
Llama 3.1 70B (BF16)
Llama 3.1 405B
Llama 3 8B
Llama 3 70B
Mistral Nemo
Mistral Large
Deepseek Coder V2 Lite
LLaVa 1.5 7B (Vision Model)
tinychat
SEC TO FIRST TOKEN
TOKENS/SEC
TOKENS