Qwen3.8-27Bが7.89GBに縮んだSalukiと、Ollama 0.40.2の文脈長の落とし穴

· 木曜 ローカルLLM 週次 #localllm#ollama#qwen#gguf#claudecode

この記事の要点

Qwen3.8-27Bを7.89GBに縮めたSalukiの強みと弱み、Ollama 0.40.2の文脈長がクラウド限定だった点、ローカルでの揃え方をまとめます。

2026年10月5日から9日に出たローカルLLM関連の8件を、動画の流れに沿ってまとめた記事です。 主役は、Qwen3.8-27Bを2bit系のGGUFに縮めた Underdog Saluki 27B 1.0 と、Ollama 0.40.2 の文脈長まわりの変更です。

https://youtu.be/nXk8p7S5NwI

今週の結論2つ

1つ目は、Saluki はツール呼び出し用に絞れば、手元のマシンで使える候補になったことです。作者の測定では、ツール呼び出しは元のサイズと同等でした。ただし数学は元の8割台に落ちるので、万能のモデルではありません。

2つ目は、Ollama 0.40.2 で ollama launch claude が Claude Code にモデルの文脈長を渡すようになったものの、対象はクラウドのモデルだけだったことです。ローカルのモデルでは、文脈長を自分で揃える必要があります。

落とし穴は4つあります。2bit化の副作用、文脈長のずれ、ディスク容量、ライセンスです。

Saluki: Qwen3.8-27Bが7.89GBになった

Saluki は、Qwen3.8-27B を量子化したモデルです。量子化とは、重みを粗く圧縮してメモリ使用量を減らす手法で、形式は llama.cpp 系で使う GGUF です。方式は IQ2-mix で、素の llama.cpp で動くとモデルカードに書かれています。

サイズは元の54GBから7.89GBになり、約6.8分の1です。ライセンスは元と同じ Apache-2.0 です。

作者の測定値と読み方

項目 Saluki 元のサイズ
ツール呼び出し(120問) 88問 84問
並列呼び出し(100問) 42 35
SWE-bench Verified(50件) 30 33
AIME 2026 80.0 94.6(公開値)

ツール呼び出しの差は数問で、作者自身も試行のばらつきだと注記しています。上回ったと読むより、同等と読むのが安全です。これらはすべて Underdog の自己申告で、AIME の元のサイズの値は公開値のため測定条件が異なります。

16GB級のMacで動かす

16GBのMacは候補に入りますが、ファイルサイズからの概算です。文脈の分のメモリが別にかかり、投稿者は計測していません。余裕がなければ文脈を短くして起動し、アクティビティモニタでメモリを確認してください。

手順はモデルカードの例に沿って、本体のGGUFを取得し、llama-server で起動します。起動例は -c 32768 で、ポート8080に OpenAI 互換の API が立ちます。ツール呼び出しでは、思考をオフ、温度を0にするのがカードの推奨です。

落とし穴1: 2bit化の副作用

モデルカードの Limitations には、次の弱点があります。

だから使い道は、ツールを呼んで結果をつなぐ係に絞ります。書式ずれは再試行で吸収し、重い推論は元のサイズかクラウドに回す分け方です。

カードの言語タグは英語だけで、日本語での性能の記載はありません。自分のツール定義で20問ほど用意し、成功数、秒数、書式ずれの件数、メモリを表にして1週間記録すると判断しやすくなります。

落とし穴2: Ollama 0.40.2 の文脈長はクラウドだけ

Claude Code は、文脈がいっぱいになる手前で会話を自動で要約して縮めます。PR 18855 の説明では、文脈長を渡さない場合 Claude Code は180kを想定するため、100万トークン級のモデルでも早めに圧縮がかかっていました。

ところが差分とテストを読むと、この設定が入るのは名前の末尾に :cloud が付くクラウドのモデルだけです。テストでは glm-5:cloud に202,752、kimi-k2.6:cloud に262,144が入り、ローカルのモデルは期待値が未設定でした。

文脈長を64000に揃える

Ollama のドキュメントでは、文脈長の既定は VRAM が24GiB未満なら4k、48GiB未満なら32k、それ以上で256kです。Claude Code は180kのつもり、Ollama は4k、というずれのまま会話が積まれます。Ollama 自身も、エージェント用途には64000以上を案内しています。

次の手順はドキュメントの記載を組み合わせたもので、投稿者は未実行です。試験用の環境で確かめてから使ってください。

# (1) Ollama の文脈長を 64000 に
OLLAMA_CONTEXT_LENGTH=64000 ollama serve
# (2) 別のターミナルで Claude Code 側の想定を揃えて起動
export CLAUDE_CODE_MAX_CONTEXT_TOKENS=64000
ollama launch claude --model qwen3.8   # モデル名は例
# (3) さらに別のターミナルで CONTEXT 列と PROCESSOR 列を確認
ollama ps

Claude で始まらない名前のモデルなら、この環境変数の値がそのまま効くとドキュメントにあります。似た名前の CLAUDE_CODE_AUTO_COMPACT_WINDOW は、10万未満を入れても100000に切り上がるため、64000に合わせる用途には使えません。

戻すときは、Ollama の変数を外して再起動し、Claude Code 側は unset します。文脈を伸ばすとメモリも増えるので、ollama ps で全部GPUに載っているかも見ておきます。

落とし穴3: 旧モデルの裏変換でディスクが減る

0.40より前に取ったモデルは、初めて動かしたときに llama.cpp 向けの形式へ裏で変換され、元のコピーもバックアップとして残ります。そのため、しばらく新旧2つ分の容量を使います。リリースノートによれば、将来の版で自動削除される予定です。

今すぐ空けたい人向けに、リリースノートには削除コマンドが載っています。ただし消したあとで0.40未満に戻すと、そのモデルは取り直しです。戻す予定がなければ消してよく、迷うなら余裕のあるうちは残します。

残り6本の短評

今週の動き方と、この読みが外れる条件

16GB級のMacなら、Saluki をツール呼び出し用に、思考オフ・温度0で試します。ローカルのモデルを Claude Code につなぐ人は、Ollama と環境変数を64000で揃えます。今週を1行にすると、ローカルは小さく載せてエージェントにつなぐ段階に入った、ということです。

1か月たっても、ツール呼び出しを保った27B級の2bit版が他に出なければ、この読みは外れです。ollama launch claude の自動設定がローカルのモデルに広がるかも、今後のリリースで確認します。

出典

詳細は動画で

スライドや表を使った説明は動画にまとめています。このチャンネルをフォローしておくと、毎週のローカルLLMの動きと、今回の読みの答え合わせも追えます。

https://youtu.be/nXk8p7S5NwI