Qwen
- ローカルLLM 週次Qwen3.8-27Bが7.89GBに縮んだSalukiと、Ollama 0.40.2の文脈長の落とし穴 Qwen3.8-27Bを7.89GBに縮めたSalukiの強みと弱み、Ollama 0.40.2の文脈長がクラウド限定だった点、ローカルでの揃え方をまとめます。
- ローカルLLM 週次Qwen3.8-Flash-NextをV100×2で毎秒88トークン、vLLM 0.30.0の確認点 V100を2枚使い、Qwen3.8-Flash-Nextを256Kで毎秒約88トークンで動かした自己計測の中身と、vLLM 0.30.0で消えた設定、上げる前の確認手順をまとめます。
- ローカルLLM 週次Qwen3.8-27BはMacで動くのか。17.7GBで動く条件と思考モードの効果を整理 Qwen3.8-27Bを実機で検証。Q4_K_Mで17.7GBに収まる条件、思考モードによる精度変化、Ollama 0.32.15の高速化、dense対MoEの速度差をまとめました。