UserRepGen-4B-4bit-mlx

microsoft/UserRepGen-4B を Apple Silicon 向けに MLX の 4bit(group size 64)へ量子化した非公式の変換版です。M2 16GB クラスの Mac(GPU に使えるメモリ約 8GB)で動くサイズのモデルを対象にしています。ベースモデルの開発・公開者の皆様に感謝いたします。

An unofficial 4-bit MLX conversion of microsoft/UserRepGen-4B for Apple Silicon Macs (sized for 16GB unified memory). All credit goes to the original authors.

• Parameters: 4.54B / License: mit (same as the base model)

Usage

pip install -U mlx-lm
mlx_lm.generate --model masahiroid/UserRepGen-4B-4bit-mlx --prompt "日本の首都はどこですか？" --max-tokens 256

from mlx_lm import load, generate

model, tokenizer = load("masahiroid/UserRepGen-4B-4bit-mlx")
messages = [{"role": "user", "content": "日本の首都はどこですか？"}]
prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True)
print(generate(model, tokenizer, prompt=prompt, max_tokens=256))

Security / セキュリティ

公開前に model-audit-lite で検査しています。

• ファイル検査(pickle 形式の重み・独自コードの有無、SHA256)
• 変換前後のチャットテンプレートの一致
• 日本語の安全性プローブ(変換後モデル)

結果は SECURITY.md と audit/report.md を参照してください。