Category · 13 models
Best LLMs for an 8GB GPU
Compact local models for laptop and entry-level GPUs — practical picks that still fit.
H
Hermes 3 8B (Llama)
NousResearch (Ollama)
128K context · Free · ~8GB GPU · tools 4/5
M
Mistral Nemo 12B
Mistral (Ollama)
128K context · Free · ~8GB GPU · tools 3/5
P
Phi-4 14B
Microsoft (Ollama)
16K context · Free · ~8GB GPU · tools 3/5
Q
Qwen3 8B
Alibaba (Ollama)
32K context · Free · ~8GB GPU · tools 3/5
Q
Qwen 2.5 7B
Alibaba (Ollama)
128K context · Free · ~6GB GPU · tools 3/5
D
DeepSeek-R1 8B (Llama distill)
DeepSeek (Ollama)
128K context · Free · ~8GB GPU · tools 2/5
P
Phi-3.5 Mini
Microsoft (Ollama)
128K context · Free · ~4GB GPU · tools 2/5
M
Mistral 7B
Mistral (Ollama)
32K context · Free · ~6GB GPU · tools 2/5
Q
Qwen 2.5 Coder 7B
Alibaba (Ollama)
32K context · Free · ~6GB GPU · tools 2/5
G
Gemma 3 9B
Google (Ollama)
128K context · Free · ~8GB GPU · tools 2/5
L
Llama 3.1 8B
Meta (Ollama)
128K context · Free · ~8GB GPU · tools 2/5
Q
Qwen2-VL 7B (Vision)
Alibaba (Ollama)
32K context · Free · ~8GB GPU · tools 2/5
L
Llama 3.2 3B
Meta (Ollama)
128K context · Free · ~4GB GPU · tools 1/5