DeepSeek R1 7B
MIT
DeepSeek の推論特化型7B蒸留モデルです。強力な思考連鎖推論を持ち、8GB VRAM で動作します。
提供元
DeepSeek
パラメータ
7B
コンテキスト
65.536K
リリース
2025-01-20
量子化別 VRAM 要件
| 量子化 | ディスク容量 | 必要VRAM | 対応GPU |
|---|---|---|---|
| Q8_0 | 7.5 GB | 8.5 GB | 18 GPU |
| Q4_K_M | 4.4 GB | 5.5 GB | 19 GPU |
| Q4_0 | 4.1 GB | 5.2 GB | 19 GPU |
Ollama でインストール
ベンチマークスコア
mmlu72.5%
humaneval80.1%
スコアは目安であり、量子化レベルにより変動します。
対応GPU (19)
AMD RX 9070 XT (16GB)AMD RX 7900 GRE (16GB)AMD RX 7900 XTX (24GB)AMD Ryzen AI Max+ 395 (unified memory) (64GB)Apple M4 Pro (24GB) (24GB)Apple M3 Max (36GB) (36GB)Apple M4 Max (48GB) (48GB)Apple M4 Ultra (64GB) (64GB)NVIDIA RTX 4060 (8GB)NVIDIA RTX 3080 12GB (12GB)NVIDIA RTX 4070 SUPER (12GB)NVIDIA RTX 4070 Ti SUPER (16GB)NVIDIA RTX 4080 SUPER (16GB)NVIDIA RTX 5070 Ti (16GB)NVIDIA RTX 4060 Ti 16GB (16GB)NVIDIA RTX 5080 (16GB)NVIDIA RTX 4090 (24GB)NVIDIA RTX 3090 (24GB)NVIDIA RTX 5090 (32GB)
HuggingFace
deepseek-ai/DeepSeek-R1-Distill-Qwen-7B