Local LLM WikiローカルLLMを選び、動かし、更新するための日本語ガイド。一次情報を基に必要メモリ、量子化、対応ランタイムとAI業界の重要動向を整理します。
初めての導入からモデル比較、トラブル対応まで、作業の順序に沿って読めます。
専門用語を避けながら、モデル・量子化・VRAMの基本を解説します。
現在の主要モデルと、ローカル環境で扱うときの特徴を整理します。
VRAM・RAM容量から現実的なモデルサイズを判断します。
用途、規模、実行しやすさを横並びで比較します。
GGUFやQ4_K_Mなど、ダウンロード画面の見方を説明します。
ロード失敗、VRAM不足、速度低下などを症状別に確認します。
目的、メモリ、量子化、互換性、ライセンスの順に候補を絞ります。
大手AI開発元の主要発表と、Jevのような新しい技術潮流を追跡します。
Strataなど6アプリの役割、ローカル接続、作業権限を比較します。
新着のうち、ローカル利用者への影響が特に大きい情報です。
Ollamaは、Liquid AIの新しいトライハイブリッドアーキテクチャを採用した小型モデル「LFM3」シリーズおよび「d1」意思決定モデルのサポートを追加しました。Appleシリコン搭載ハードウェアにおけるGemma 4やFlintなどのプロセッシング高速化も含まれています。
Hugging Face上で、Qwen3.8-27Bをカスタム手法で量子化したGGUFフォーマットモデル「kaitchup/Qwen3.8-27B-SLQ-GGUF」が公開されました。Q5_K_MやQ6_Kなどの量子化バリアントが提供されています。
Prism MLの三値モデル「Ternary-Bonsai-2-27B」をベースに、拒否反応を解除した上で1.75ビット形式へ再パッキングしたGGUF版が公開されました。MTPヘッドの4ビット量子化を組み合わせることで、サイズ削減と高速化を実現しています。
Ollama v0.40.10がリリースされ、NVIDIAの小規模ビジョン言語モデル「Nemotron 3.5 Bolt E4B」のサポートが追加されました。128Kトークンのコンテキスト長や推測デコード用のDFlashドラフトに対応しています。
Ollamaは、Liquid AIの新しいトライハイブリッドアーキテクチャを採用した小型モデル「LFM3」シリーズおよび「d1」意思決定モデルのサポートを追加しました。Appleシリコン搭載ハードウェアにおけるGemma 4やFlintなどのプロセッシング高速化も含まれています。
重要度 高フロントエンド・ランタイムOllamaGitHub ReleaseTool CallingContextHugging Face上で、Qwen3.8-27Bをカスタム手法で量子化したGGUFフォーマットモデル「kaitchup/Qwen3.8-27B-SLQ-GGUF」が公開されました。Q5_K_MやQ6_Kなどの量子化バリアントが提供されています。
重要度 高モデルGGUFHugging Faceggufqwen3_5slqHugging Faceにて、Ternary-Bonsai-2-27BをGoogle ColabなどのGPU環境ですぐに実行できるように構築されたGGUFモデル「IamPradeep/Ternary-Bonsai-2-27B-GGUF-Colab-Prebuilt-GPU」が公開されました。
重要度 中モデルGGUFHugging Faceggufendpoints_compatibleregion:usPrism MLの三値モデル「Ternary-Bonsai-2-27B」をベースに、拒否反応を解除した上で1.75ビット形式へ再パッキングしたGGUF版が公開されました。MTPヘッドの4ビット量子化を組み合わせることで、サイズ削減と高速化を実現しています。
重要度 高モデルGGUFHugging Facellama-cppggufqwenOllama v0.40.10がリリースされ、NVIDIAの小規模ビジョン言語モデル「Nemotron 3.5 Bolt E4B」のサポートが追加されました。128Kトークンのコンテキスト長や推測デコード用のDFlashドラフトに対応しています。
重要度 高フロントエンド・ランタイムOllamaGitHub ReleaseVisionTool CallingContextAnthropicは、AIエージェントに専門知識やワークフローを提供するオープン標準「Agent Skills」をAgentic AI Foundationへ寄贈したと発表しました。ChatGPTやCursorなど70以上のプラットフォームですでに統合されています。
重要度 中新技術・業界動向AnthropicAI業界動向公式発表Anthropicは、AIエージェントに専門知識やワークフローを教えるオープン標準「Agent Skills」をLinux Foundation傘下のAgentic AI Foundation（AAIF）へ寄贈すると発表しました。本標準はClaude Codeの開発過程で生まれたもので、すでにChatGPTやCursorなどの主要プラットフォームで統合されています。同社は、コミュニティ主導でベンダーニュートラルな管理体制へ移行し、開発のオープン性を維持する方針です。
重要度 高新技術・業界動向AnthropicAI業界動向公式発表ContextStrataは、ローカルモデルを動かす推論エンジンと、チャットからファイル編集やコマンド実行を行うエージェントを備えたアプリです。外部のエージェントへAPIを提供する使い方もできます。単なるハーネスではなく、モデル実行側と作業管理側をまとめて用意したい人向けの選択肢です。
重要度 中ハーネスStrataハーネスローカル推論作業権限