runlocal.cc
GPUを診断 →

Ternary Bonsai 8B

Apache 2.0

1.58ビット三値量子化モデルです。重みは {-1, 0, +1} のみで構成され、同パラメーター数の FP16 比でメモリ使用量が約1/9になります。現在は MLX 2ビットパック形式のみ対応。他バックエンドは近日公開予定です。

提供元

PrismML

パラメータ

8B

コンテキスト

32.768K

リリース

2026-04-17

量子化別 VRAM 要件

量子化ディスク容量必要VRAM対応GPU
1.58-bit (MLX)1.6 GB2 GB19 GPU

ベンチマークスコア

mmlu68%
humaneval58.5%

スコアは目安であり、量子化レベルにより変動します。

対応GPU (19)

HuggingFace

PrismML/ternary-bonsai-8b

HFで見る →