Category · 21 models
Best LLMs for a 24GB GPU
Strong local models for a 4090-class setup — high capability without cloud inference.
Q
Qwen3 30B-A3B (MoE)
Alibaba (Ollama)
32K context · Free · ~20GB GPU · tools 4/5
H
Hermes 3 8B (Llama)
NousResearch (Ollama)
128K context · Free · ~8GB GPU · tools 4/5
Q
Qwen 2.5 32B
Alibaba (Ollama)
128K context · Free · ~20GB GPU · tools 4/5
M
Mistral Nemo 12B
Mistral (Ollama)
128K context · Free · ~8GB GPU · tools 3/5
P
Phi-4 14B
Microsoft (Ollama)
16K context · Free · ~8GB GPU · tools 3/5
Q
Qwen3 8B
Alibaba (Ollama)
32K context · Free · ~8GB GPU · tools 3/5
G
Gemma 3 27B
Google (Ollama)
128K context · Free · ~16GB GPU · tools 3/5
Q
Qwen 2.5 Coder 32B
Alibaba (Ollama)
32K context · Free · ~20GB GPU · tools 3/5
Q
Qwen 2.5 7B
Alibaba (Ollama)
128K context · Free · ~6GB GPU · tools 3/5
D
DeepSeek-R1 32B (Qwen distill)
DeepSeek (Ollama)
128K context · Free · ~20GB GPU · tools 2/5
D
DeepSeek-R1 8B (Llama distill)
DeepSeek (Ollama)
128K context · Free · ~8GB GPU · tools 2/5
P
Phi-3.5 Mini
Microsoft (Ollama)
128K context · Free · ~4GB GPU · tools 2/5
M
Mistral 7B
Mistral (Ollama)
32K context · Free · ~6GB GPU · tools 2/5
Q
Qwen 2.5 Coder 7B
Alibaba (Ollama)
32K context · Free · ~6GB GPU · tools 2/5
G
Gemma 3 9B
Google (Ollama)
128K context · Free · ~8GB GPU · tools 2/5
L
Llama 3.1 8B
Meta (Ollama)
128K context · Free · ~8GB GPU · tools 2/5
Q
Qwen2-VL 7B (Vision)
Alibaba (Ollama)
32K context · Free · ~8GB GPU · tools 2/5
D
DeepSeek Coder V2 Lite
DeepSeek (Ollama)
128K context · Free · ~10GB GPU · tools 2/5
C
CodeLlama 34B
Meta (Ollama)
16K context · Free · ~20GB GPU · tools 2/5
L
LLaVA 34B (Vision)
LLaVA (Ollama)
4K context · Free · ~20GB GPU · tools 1/5
L
Llama 3.2 3B
Meta (Ollama)
128K context · Free · ~4GB GPU · tools 1/5