DeepSeek V4.1 FlashはMacで動く?MLX版343GBとBonsai 2の2.56GBを整理

· 木曜 ローカルLLM 週次 #localllm#deepseek#ollama#mlx#mac

この記事の要点

DeepSeek-V4.1-Flash-1017は普通のMacでは動かず、MLX版でも343〜432GBです。ノートで試せるBonsai 2、Apple公表のMac Studio実測とあわせて、動く環境を整理します。

DeepSeek V4.1 Flash の10月17日版(DeepSeek-V4.1-Flash-1017)は、普通の Mac では動きません。コミュニティの MLX 版でも343GBから432GBあり、512GB の Mac Studio 級の話になります。

この記事は、10月13日から18日に出たローカル LLM 関連の更新を、手元のマシンが小さい順にまとめたものです。

動画 URL

https://youtu.be/GsBuOePh_PU

今週の結論は3つ

1つ目は、Ollama 0.40.6 で3値のモデル Bonsai 2 が読めるようになったことです。ただし読めるのは Q2_0 という形式だけで、9B なら2.56GB です。

2つ目は、Apple が Mac Studio の実測を公開したことです。1台で Qwen 3.8 27B が毎秒19.69トークン出ています。

3つ目が DeepSeek です。4bit 系なら Mac Studio 2台、2.5bit 系でも512GB の1台が必要になります。この台数は、ファイルサイズと Apple の記事から出した筆者の概算で、未検証です。

Ollama 0.40.6 で Bonsai 2 を動かす条件

Bonsai 2 は Prism ML のモデルで、重みをマイナス1、ゼロ、プラス1の3つだけで持ちます。9B の元は Qwen3.5-9B で、ライセンスは Apache-2.0 です。

Ollama 0.40.6 で入ったのは、Q2_0 形式の読み取りです。中の llama.cpp は対応済みで、遅れていたのは Ollama 自身でした。そのため ollama create が失敗していましたが、0.40.6 で直っています。

落とし穴1: 形式が3つある

Bonsai 2 には Q2_0、PQ2_0、PTQ1_0 の3形式があります。Ollama と素の llama.cpp が読めるのは Q2_0 だけです。残りの2つは、Prism が手を入れた llama.cpp 専用です。

9B の Q2_0 は2.56GB で、16ビットの約17.9GB の約7分の1です(この割り算は筆者の計算)。

27B の扱いは要確認です。配布元の正式リポジトリにある27B は PQ2_0 と PTQ1_0 だけで、Q2_0 は開発用リポジトリに7.63GB であるだけです(10月19日時点)。モデルカードの5.95GB と毎秒28.1トークン(M5 Pro)は Prism 版専用形式の自己申告値で、Ollama で同じ数字が出るとは限りません。

落とし穴2: 思考の長さと温度

9B のカードによると、簡単な質問でも3,000トークン以上考えることがあります。API で呼ぶなら出力の上限(max_tokens)は8,192以上にします。思考をオンにしたまま温度を0にすると、考え込んで止まらなくなることがあるとカードにあります。推奨はモデルごとに違うので、カードで確認してください。

試すなら9B から。ollama -v で0.40.6以上を確認し、Ternary-Bonsai-2-9B-Q2_0.gguf を1つだけ落として、Modelfile の FROM に書いて ollama create します(筆者は未実行)。

Apple の実測: Mac Studio は1台で27B、4台で816B

Apple は10月15日に、Mac Studio での推論実測を公開しました。

Qwen 3.8 27B を16ビットのまま回した、1台(512GB)での生成の速さは次のとおりです。

差は約1.6倍(8K文脈)です。差が大きいのは長い入力の読み込みで、64K トークンを読ませて最初の1語が出るまでが、M3 Ultra で199.4秒、M5 Ultra で43.7秒でした。128B の Mistral Medium 3.5 は、M5 Ultra でも毎秒7.70トークンです。1台なら27B級が快適で、128B級は遅い、というのが線引きになります。

MoE の Muse Spark Open(816B)は、4bit でも重みだけで約493GB あり、1台に載りません。Thunderbolt 5 で複数台をつなぎ、NVFP4 で測った生成の速さ(M5 Ultra、8K文脈)は、2台で毎秒15.74〜24.99トークン、4台・各層を横に分ける構成で毎秒36.73トークンでした。条件は macOS 26.2 以上と、MLX の通信機能 jaccl です。

DeepSeek V4.1 Flash 1017 は Mac で動くか

10月17日に出たのは V4.1 Flash の小さな更新版で、重みは MIT ライセンスです。DeepSeek の公表値では、Terminal-Bench 4.0 が31.2から42.3に上がりました(DeepSeek 自身の測定)。

ローカルで問題になるのは大きさです。パラメータは約7,630億、公式の重みは合計約510GB で、もともと4bit と8bit が大半のため、縮める余地は大きくありません。

コミュニティの MLX 版は、4bit 系で432GB、2.5bit 系で約343GB です。512GB の Mac Studio に当てはめると、残りは約80GB と約170GB で、OS と文脈の分がここに乗ります。2.5bit 系の品質はカードに記載がなく、動いたという報告もまだ確認できていません。

落とし穴3: テンプレートと GGUF

このモデルは Jinja 形式のチャットテンプレートを同梱していません。代わりに Python の参考実装 encoding.py が公開されています。unsloth の GGUF のページは、10月19日時点で準備中です。

ローカルか API か

分かれ目は、コードを外に出せるかどうかです。API の料金は100万トークンあたり、入力0.15ドル・出力0.60ドルで、混む時間帯は2倍になります。外に出せないコードがあるなら Mac Studio 級の機材を考え、なければ API が現実的です。

API で使っている人は、旧名で呼んでも1017版が答え、旧版には戻せません。エージェントの回帰テストを回して、出力の長さが変わった影響を確認してください。DeepSeek は中国のモデルなので、規約と出力言語の偏りは各自で確認が必要です。

残りの更新を短く

チームに共有するなら

出典

詳細は動画で

コマンドの全文や表は動画で画面に出しています。このシリーズは毎週ローカル LLM の更新を追っているので、次回の更新もこのチャンネルで見てもらえればと思います。

https://youtu.be/GsBuOePh_PU