Qwen3.8-27Bが7.89GBに縮んだSalukiと、Ollama 0.40.2の文脈長の落とし穴
この記事の要点
Qwen3.8-27Bを7.89GBに縮めたSalukiの強みと弱み、Ollama 0.40.2の文脈長がクラウド限定だった点、ローカルでの揃え方をまとめます。
再生できない場合は YouTube で見る · チャンネル登録
2026年10月5日から9日に出たローカルLLM関連の8件を、動画の流れに沿ってまとめた記事です。 主役は、Qwen3.8-27Bを2bit系のGGUFに縮めた Underdog Saluki 27B 1.0 と、Ollama 0.40.2 の文脈長まわりの変更です。
今週の結論2つ
1つ目は、Saluki はツール呼び出し用に絞れば、手元のマシンで使える候補になったことです。作者の測定では、ツール呼び出しは元のサイズと同等でした。ただし数学は元の8割台に落ちるので、万能のモデルではありません。
2つ目は、Ollama 0.40.2 で ollama launch claude が Claude Code にモデルの文脈長を渡すようになったものの、対象はクラウドのモデルだけだったことです。ローカルのモデルでは、文脈長を自分で揃える必要があります。
落とし穴は4つあります。2bit化の副作用、文脈長のずれ、ディスク容量、ライセンスです。
Saluki: Qwen3.8-27Bが7.89GBになった
Saluki は、Qwen3.8-27B を量子化したモデルです。量子化とは、重みを粗く圧縮してメモリ使用量を減らす手法で、形式は llama.cpp 系で使う GGUF です。方式は IQ2-mix で、素の llama.cpp で動くとモデルカードに書かれています。
サイズは元の54GBから7.89GBになり、約6.8分の1です。ライセンスは元と同じ Apache-2.0 です。
作者の測定値と読み方
| 項目 | Saluki | 元のサイズ |
|---|---|---|
| ツール呼び出し(120問) | 88問 | 84問 |
| 並列呼び出し(100問) | 42 | 35 |
| SWE-bench Verified(50件) | 30 | 33 |
| AIME 2026 | 80.0 | 94.6(公開値) |
ツール呼び出しの差は数問で、作者自身も試行のばらつきだと注記しています。上回ったと読むより、同等と読むのが安全です。これらはすべて Underdog の自己申告で、AIME の元のサイズの値は公開値のため測定条件が異なります。
16GB級のMacで動かす
16GBのMacは候補に入りますが、ファイルサイズからの概算です。文脈の分のメモリが別にかかり、投稿者は計測していません。余裕がなければ文脈を短くして起動し、アクティビティモニタでメモリを確認してください。
手順はモデルカードの例に沿って、本体のGGUFを取得し、llama-server で起動します。起動例は -c 32768 で、ポート8080に OpenAI 互換の API が立ちます。ツール呼び出しでは、思考をオフ、温度を0にするのがカードの推奨です。
落とし穴1: 2bit化の副作用
モデルカードの Limitations には、次の弱点があります。
- 数学は元の82〜85%程度に落ちる
- 回文や母音のルールのような、文字単位のパズルが苦手
- 並列呼び出しの約5回に1回は、返答の書式がずれる
- 思考がオンだと、答える前に長く考え込む
だから使い道は、ツールを呼んで結果をつなぐ係に絞ります。書式ずれは再試行で吸収し、重い推論は元のサイズかクラウドに回す分け方です。
カードの言語タグは英語だけで、日本語での性能の記載はありません。自分のツール定義で20問ほど用意し、成功数、秒数、書式ずれの件数、メモリを表にして1週間記録すると判断しやすくなります。
落とし穴2: Ollama 0.40.2 の文脈長はクラウドだけ
Claude Code は、文脈がいっぱいになる手前で会話を自動で要約して縮めます。PR 18855 の説明では、文脈長を渡さない場合 Claude Code は180kを想定するため、100万トークン級のモデルでも早めに圧縮がかかっていました。
ところが差分とテストを読むと、この設定が入るのは名前の末尾に :cloud が付くクラウドのモデルだけです。テストでは glm-5:cloud に202,752、kimi-k2.6:cloud に262,144が入り、ローカルのモデルは期待値が未設定でした。
文脈長を64000に揃える
Ollama のドキュメントでは、文脈長の既定は VRAM が24GiB未満なら4k、48GiB未満なら32k、それ以上で256kです。Claude Code は180kのつもり、Ollama は4k、というずれのまま会話が積まれます。Ollama 自身も、エージェント用途には64000以上を案内しています。
次の手順はドキュメントの記載を組み合わせたもので、投稿者は未実行です。試験用の環境で確かめてから使ってください。
# (1) Ollama の文脈長を 64000 に
OLLAMA_CONTEXT_LENGTH=64000 ollama serve
# (2) 別のターミナルで Claude Code 側の想定を揃えて起動
export CLAUDE_CODE_MAX_CONTEXT_TOKENS=64000
ollama launch claude --model qwen3.8 # モデル名は例
# (3) さらに別のターミナルで CONTEXT 列と PROCESSOR 列を確認
ollama ps
Claude で始まらない名前のモデルなら、この環境変数の値がそのまま効くとドキュメントにあります。似た名前の CLAUDE_CODE_AUTO_COMPACT_WINDOW は、10万未満を入れても100000に切り上がるため、64000に合わせる用途には使えません。
戻すときは、Ollama の変数を外して再起動し、Claude Code 側は unset します。文脈を伸ばすとメモリも増えるので、ollama ps で全部GPUに載っているかも見ておきます。
落とし穴3: 旧モデルの裏変換でディスクが減る
0.40より前に取ったモデルは、初めて動かしたときに llama.cpp 向けの形式へ裏で変換され、元のコピーもバックアップとして残ります。そのため、しばらく新旧2つ分の容量を使います。リリースノートによれば、将来の版で自動削除される予定です。
今すぐ空けたい人向けに、リリースノートには削除コマンドが載っています。ただし消したあとで0.40未満に戻すと、そのモデルは取り直しです。戻す予定がなければ消してよく、迷うなら余裕のあるうちは残します。
残り6本の短評
- Ollama 0.40.1: Windows で Clef Flash の判定依頼が毎回失敗する不具合の修正です。
- vLLM 0.31.0: 破壊的変更を含む大型更新です。
tokenizer_mode=slowが廃止され、戻すなら0.30.0です。 - DeepSeek-V4.1-Flash on vLLM: 低遅延の構成でもGPU4枚で、手元で試す話ではありません。
- Qwen-Image-2.1-Turbo: 7Bの高速な画像生成です。ライセンスは Qwen Research License で研究・評価目的に限られ、商用は別契約です。これが落とし穴4です。
- Voxlocal: Rust製の、Macで完結する音声エージェントの記事です。作者自身が本番では使わないよう書いています。
- Opera: コーディングエージェントに批評役を付ける論文で、Terminal-Bench 2.1 の解決率が最大12.4ポイント上がったと報告しています。
今週の動き方と、この読みが外れる条件
16GB級のMacなら、Saluki をツール呼び出し用に、思考オフ・温度0で試します。ローカルのモデルを Claude Code につなぐ人は、Ollama と環境変数を64000で揃えます。今週を1行にすると、ローカルは小さく載せてエージェントにつなぐ段階に入った、ということです。
1か月たっても、ツール呼び出しを保った27B級の2bit版が他に出なければ、この読みは外れです。ollama launch claude の自動設定がローカルのモデルに広がるかも、今後のリリースで確認します。
出典
- Underdog Saluki 27B 1.0 モデルカード(huggingface.co)
- Ollama v0.40.2 リリースノート(github.com)
- Ollama PR 18855(github.com)
- Ollama ドキュメント: Context length(docs.ollama.com)
- Ollama ドキュメント: Claude Code 連携(docs.ollama.com)
- Claude Code ドキュメント: 環境変数(code.claude.com)
- vLLM v0.31.0 リリースノート(github.com)
- Qwen-Image-2.1-Turbo(huggingface.co)
詳細は動画で
スライドや表を使った説明は動画にまとめています。このチャンネルをフォローしておくと、毎週のローカルLLMの動きと、今回の読みの答え合わせも追えます。