「自社AIを持つ」は難しくない。IT担当がいなくても始められるローカルLLM導入の手順

ローカルLLMとは、「自社のPC内だけで動くAI」のことです

ChatGPTやCopilotは、インターネット経由でアメリカのサーバーにアクセスして回答を返しています。入力した内容はすべて外部に送られる仕組みです。ローカルLLMはこれと真逆の発想で、AIそのものを自社のPC内にインストールして動かします。インターネットに繋がなくても動き、入力した内容が外に出ることはありません。

「AIを自社で持つ」と聞くと大掛かりに聞こえますが、実態はソフトをインストールしてモデルをダウンロードするだけです。手順を知れば、PC操作に慣れた担当者であれば半日で動かせます。

クラウドAIとローカルLLMの違いを整理する

• クラウドAI（ChatGPT等）：インターネット必須、入力内容が外部サーバーへ送信される、月額費用がかかる
• ローカルLLM：インターネット不要、入力内容が社外に出ない、モデル自体は無料で使えるものが多い
• 性能面ではクラウドAIが上回る部分もありますが、社内文書の要約・メール文章作成・Q&A対応といった日常業務には十分対応できます

まず確認すること。使えるPCかどうかの判断基準はここだけ見れば十分です

ローカルLLMを動かすには、PCのスペックがある程度必要です。ただし、「どんなPCでも無理」ではありません。確認すべき項目は2つだけです。

動作確認の2つのポイント

• メモリ（RAM）が16GB以上あるか：8GBでも軽量モデルなら動きますが、実用的な回答速度を出すには16GB以上が目安です
• ストレージの空き容量が20GB以上あるか：AIモデルのファイルサイズは用途によって4GB〜15GB程度です

GPU（グラフィックボード）があれば処理が速くなりますが、なくても動きます。最初はGPUなしの環境で試して、速度が足りなければ後から検討するのが現実的な順番です。

確認方法（Windows）：「設定」→「システム」→「バージョン情報」でRAMが表示されます。ストレージはエクスプローラーのドライブを右クリック→「プロパティ」で空き容量を確認できます。

インストールは3ステップ。コマンド2行で動かせます

今回使うのは「Ollama」というツールです。世界中の開発者が使っているローカルLLMの実行環境で、無料で使えます。難しい設定は不要で、インストーラーをダウンロードして実行するだけです。

STEP 1：Ollamaをダウンロードしてインストールする

公式サイト（https://ollama.com/）を開き、「Download」ボタンからインストーラーを取得します。Windows・Mac両対応です。ダウンロードしたファイルをダブルクリックして、画面の指示通りに進めるだけです。

STEP 2：AIモデルをダウンロードする

インストール完了後、「コマンドプロンプト」（Windowsキー＋R→「cmd」と入力してEnter）を開き、以下を貼り付けてEnterを押します。日本語対応で軽量なモデルをダウンロードできます。完了まで5〜15分かかります。

ollama pull llama3.2

STEP 3：AIと会話してみる

ダウンロードが終わったら、同じコマンドプロンプトで以下を実行します。「>>>」が表示されたら、日本語でそのまま話しかけてください。これだけでAIが動いています。

ollama run llama3.2

最初につまずきやすいポイント

• 回答が遅い：GPUなし環境では1文の生成に数秒かかることがあります。軽量モデル（3B・7Bパラメータのもの）を選ぶと改善します
• 日本語が途切れる：モデルによって日本語の精度に差があります。「qwen2.5:7b」は日本語対応の精度が高く、最初の1本としておすすめです
• コマンドプロンプトが怖い：画面に何も起きないように見えても、内部でダウンロードが進んでいます。数分待てば進捗が表示されます

「コマンドって聞いただけで拒否反応が出た。でもやってみたら、コピペするだけでした」試験導入した会社の総務担当者の感想

動かした後にやること。「使える状態」にするための3つの整備

コマンドラインで動かせた段階は、あくまでスタートです。社員が実際に業務で使えるようにするには、もう少し整備が必要です。ただし、どれも難しい作業ではありません。

社内で「使える」にするための整備ポイント

• 画面UIをつける：コマンドラインのままでは社員が使いにくいです。「Open WebUI」という無料ツールを追加でインストールすると、ChatGPTに似た画面インターフェースで使えるようになります
• 使用ルールを1枚で決める：何を聞いてよくて何はダメか、口頭だけでなく紙1枚で共有しておくと混乱が減ります
• 試用期間を設ける：いきなり全社展開せず、1〜2名で2週間試してから広げる順番が、トラブルを減らす現実的な進め方です

ある会社では最初に全員へ一斉展開しようとして、「使い方がわからない」という問い合わせが殺到して一度止まりました。結局、担当者1人が1ヶ月試して問題点を洗い出してから再展開したら、スムーズに定着しています。急がない方が、結果的に早く広がります。

今日試せる。まず1時間だけ使ってみることが、一番の近道です

「うちには難しい」と感じている会社のほとんどが、試す前にそう思っています。実際に動かしてみると、感想はほぼ共通しています。「思ったより簡単だった」「もっと早くやればよかった」です。

今日できる最初の一歩は、OllamaをPCに入れてコマンドを1行打つことです。費用はゼロ、所要時間は30分以内、リスクもありません。それだけで、自社のPC内でAIが動く状態になります。

「便利なクラウドAI」を外で使い続けるか、「自社の中で動くAI」を持つか、その差は技術の話ではなく、一歩踏み出すかどうかの話です。

あなたの会社のPCに、今日からAIを住まわせることができます。最初の1行を打つ人間が、社内で一番先を行く人間になります。