# Qwen3.8-27Bが7.89GBに縮んだSalukiと、Ollama 0.40.2の文脈長の落とし穴

- 公開日: 2026-10-15
- URL: https://ainewsdaily-site.pages.dev/posts/20261015-local_llm-t1/
- 動画: https://www.youtube.com/watch?v=nXk8p7S5NwI
- シリーズ: local_llm
- タグ: localllm, ollama, qwen, gguf, claudecode

> Qwen3.8-27Bを7.89GBに縮めたSalukiの強みと弱み、Ollama 0.40.2の文脈長がクラウド限定だった点、ローカルでの揃え方をまとめます。


2026年10月5日から9日に出たローカルLLM関連の8件を、動画の流れに沿ってまとめた記事です。
主役は、Qwen3.8-27Bを2bit系のGGUFに縮めた Underdog Saluki 27B 1.0 と、Ollama 0.40.2 の文脈長まわりの変更です。

https://youtu.be/nXk8p7S5NwI

## 今週の結論2つ

1つ目は、Saluki はツール呼び出し用に絞れば、手元のマシンで使える候補になったことです。作者の測定では、ツール呼び出しは元のサイズと同等でした。ただし数学は元の8割台に落ちるので、万能のモデルではありません。

2つ目は、Ollama 0.40.2 で `ollama launch claude` が Claude Code にモデルの文脈長を渡すようになったものの、対象はクラウドのモデルだけだったことです。ローカルのモデルでは、文脈長を自分で揃える必要があります。

落とし穴は4つあります。2bit化の副作用、文脈長のずれ、ディスク容量、ライセンスです。

## Saluki: Qwen3.8-27Bが7.89GBになった

Saluki は、Qwen3.8-27B を量子化したモデルです。量子化とは、重みを粗く圧縮してメモリ使用量を減らす手法で、形式は llama.cpp 系で使う GGUF です。方式は IQ2-mix で、素の llama.cpp で動くとモデルカードに書かれています。

サイズは元の54GBから7.89GBになり、約6.8分の1です。ライセンスは元と同じ Apache-2.0 です。

### 作者の測定値と読み方

| 項目 | Saluki | 元のサイズ |
|---|---|---|
| ツール呼び出し(120問) | 88問 | 84問 |
| 並列呼び出し(100問) | 42 | 35 |
| SWE-bench Verified(50件) | 30 | 33 |
| AIME 2026 | 80.0 | 94.6(公開値) |

ツール呼び出しの差は数問で、作者自身も試行のばらつきだと注記しています。上回ったと読むより、同等と読むのが安全です。これらはすべて Underdog の自己申告で、AIME の元のサイズの値は公開値のため測定条件が異なります。

### 16GB級のMacで動かす

16GBのMacは候補に入りますが、ファイルサイズからの概算です。文脈の分のメモリが別にかかり、投稿者は計測していません。余裕がなければ文脈を短くして起動し、アクティビティモニタでメモリを確認してください。

手順はモデルカードの例に沿って、本体のGGUFを取得し、llama-server で起動します。起動例は `-c 32768` で、ポート8080に OpenAI 互換の API が立ちます。ツール呼び出しでは、思考をオフ、温度を0にするのがカードの推奨です。

## 落とし穴1: 2bit化の副作用

モデルカードの Limitations には、次の弱点があります。

- 数学は元の82〜85%程度に落ちる
- 回文や母音のルールのような、文字単位のパズルが苦手
- 並列呼び出しの約5回に1回は、返答の書式がずれる
- 思考がオンだと、答える前に長く考え込む

だから使い道は、ツールを呼んで結果をつなぐ係に絞ります。書式ずれは再試行で吸収し、重い推論は元のサイズかクラウドに回す分け方です。

カードの言語タグは英語だけで、日本語での性能の記載はありません。自分のツール定義で20問ほど用意し、成功数、秒数、書式ずれの件数、メモリを表にして1週間記録すると判断しやすくなります。

## 落とし穴2: Ollama 0.40.2 の文脈長はクラウドだけ

Claude Code は、文脈がいっぱいになる手前で会話を自動で要約して縮めます。PR 18855 の説明では、文脈長を渡さない場合 Claude Code は180kを想定するため、100万トークン級のモデルでも早めに圧縮がかかっていました。

ところが差分とテストを読むと、この設定が入るのは名前の末尾に `:cloud` が付くクラウドのモデルだけです。テストでは `glm-5:cloud` に202,752、`kimi-k2.6:cloud` に262,144が入り、ローカルのモデルは期待値が未設定でした。

### 文脈長を64000に揃える

Ollama のドキュメントでは、文脈長の既定は VRAM が24GiB未満なら4k、48GiB未満なら32k、それ以上で256kです。Claude Code は180kのつもり、Ollama は4k、というずれのまま会話が積まれます。Ollama 自身も、エージェント用途には64000以上を案内しています。

次の手順はドキュメントの記載を組み合わせたもので、投稿者は未実行です。試験用の環境で確かめてから使ってください。

```
# (1) Ollama の文脈長を 64000 に
OLLAMA_CONTEXT_LENGTH=64000 ollama serve
# (2) 別のターミナルで Claude Code 側の想定を揃えて起動
export CLAUDE_CODE_MAX_CONTEXT_TOKENS=64000
ollama launch claude --model qwen3.8   # モデル名は例
# (3) さらに別のターミナルで CONTEXT 列と PROCESSOR 列を確認
ollama ps
```

Claude で始まらない名前のモデルなら、この環境変数の値がそのまま効くとドキュメントにあります。似た名前の `CLAUDE_CODE_AUTO_COMPACT_WINDOW` は、10万未満を入れても100000に切り上がるため、64000に合わせる用途には使えません。

戻すときは、Ollama の変数を外して再起動し、Claude Code 側は unset します。文脈を伸ばすとメモリも増えるので、`ollama ps` で全部GPUに載っているかも見ておきます。

## 落とし穴3: 旧モデルの裏変換でディスクが減る

0.40より前に取ったモデルは、初めて動かしたときに llama.cpp 向けの形式へ裏で変換され、元のコピーもバックアップとして残ります。そのため、しばらく新旧2つ分の容量を使います。リリースノートによれば、将来の版で自動削除される予定です。

今すぐ空けたい人向けに、リリースノートには削除コマンドが載っています。ただし消したあとで0.40未満に戻すと、そのモデルは取り直しです。戻す予定がなければ消してよく、迷うなら余裕のあるうちは残します。

## 残り6本の短評

- **Ollama 0.40.1**: Windows で Clef Flash の判定依頼が毎回失敗する不具合の修正です。
- **vLLM 0.31.0**: 破壊的変更を含む大型更新です。`tokenizer_mode=slow` が廃止され、戻すなら0.30.0です。
- **DeepSeek-V4.1-Flash on vLLM**: 低遅延の構成でもGPU4枚で、手元で試す話ではありません。
- **Qwen-Image-2.1-Turbo**: 7Bの高速な画像生成です。ライセンスは Qwen Research License で研究・評価目的に限られ、商用は別契約です。これが落とし穴4です。
- **Voxlocal**: Rust製の、Macで完結する音声エージェントの記事です。作者自身が本番では使わないよう書いています。
- **Opera**: コーディングエージェントに批評役を付ける論文で、Terminal-Bench 2.1 の解決率が最大12.4ポイント上がったと報告しています。

## 今週の動き方と、この読みが外れる条件

16GB級のMacなら、Saluki をツール呼び出し用に、思考オフ・温度0で試します。ローカルのモデルを Claude Code につなぐ人は、Ollama と環境変数を64000で揃えます。今週を1行にすると、ローカルは小さく載せてエージェントにつなぐ段階に入った、ということです。

1か月たっても、ツール呼び出しを保った27B級の2bit版が他に出なければ、この読みは外れです。`ollama launch claude` の自動設定がローカルのモデルに広がるかも、今後のリリースで確認します。

## 出典

- [Underdog Saluki 27B 1.0 モデルカード(huggingface.co)](https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0)
- [Ollama v0.40.2 リリースノート(github.com)](https://github.com/ollama/ollama/releases/tag/v0.40.2)
- [Ollama PR 18855(github.com)](https://github.com/ollama/ollama/pull/18855)
- [Ollama ドキュメント: Context length(docs.ollama.com)](https://docs.ollama.com/context-length)
- [Ollama ドキュメント: Claude Code 連携(docs.ollama.com)](https://docs.ollama.com/integrations/claude-code)
- [Claude Code ドキュメント: 環境変数(code.claude.com)](https://code.claude.com/docs/en/env-vars)
- [vLLM v0.31.0 リリースノート(github.com)](https://github.com/vllm-project/vllm/releases/tag/v0.31.0)
- [Qwen-Image-2.1-Turbo(huggingface.co)](https://huggingface.co/Qwen/Qwen-Image-2.1-Turbo)

## 詳細は動画で

スライドや表を使った説明は動画にまとめています。このチャンネルをフォローしておくと、毎週のローカルLLMの動きと、今回の読みの答え合わせも追えます。

https://youtu.be/nXk8p7S5NwI

