大規模言語モデルまたは LLM をコンピューター上で実行したい場合、最も簡単な方法の 1 つは Ollama を使用することです。 Ollama は、カスタマイズ可能で簡単にアクセスできる AI エクスペリエンスを提供する強力なオープンソース プラットフォームです。ダウンロード、インストール、操作が簡単になりますクラウドベースのプラットフォームに依存したり、技術的な専門知識を必要としたりする必要はありません。
上記の利点に加えて、Ollama は非常に軽量であり、定期的に更新されるため、ローカル マシン上で LLM を構築および管理するのに非常に適しています。したがって、外部サーバーや複雑な構成は必要ありません。 Ollama は、Windows、Linux、macOS などの複数のオペレーティング システムと、さまざまな Docker 環境もサポートしています。 Ollama を使用して Windows マシン上で LLM を実行する方法を学習してください。
- まずはオラマを訪問[ダウンロード] ボタンをクリックする前に、OS を選択してください。または、Ollama を次の場所からダウンロードできます。.
- ダウンロードが完了したら、それを開いてマシンにインストールします。インストールが完了すると、インストーラーは自動的に終了します。
- Windows では、タスクバーのオーバーフロー ボタンをクリックして隠れたアイコンを表示することで、Ollama が実行されているかどうかを確認できます。
Ollama のカスタマイズと使用
Ollama がコンピューターにインストールされたら、最初に行う必要があるのは、データの保存場所を変更することです。デフォルトでは、保存場所は次のとおりです。C:\Users\%username%\.ollama\modelsただし、AI モデルは非常に大きくなる可能性があるため、C ドライブがすぐにいっぱいになる可能性があります。そのためには、
- まず、タスクバーの Ollama アイコンをクリックし、「Ollama を終了」をクリックします。
- Ollama が終了したら、[スタート] メニューを開き、次のように入力します。
environment variablesをクリックし、「システム環境変数の編集」をクリックします。
- [システム環境変数] ダイアログ ボックスが開いたら、[詳細設定] タブの [環境変数] ボタンをクリックします。
- ユーザーアカウントの「新規」ボタンをクリックし、という名前の変数を作成します。
OLLAMA_MODELS「変数名」フィールドに入力します。
- 次に、Ollama がモデルを保存するディレクトリの場所を [変数値] フィールドに入力します。次に、[OK] ボタンをクリックしてから、[スタート] メニューから Ollama を起動します。
注記：「Ollama_Host」、「Ollama_Port」、「Ollama_Origins」、「Ollama_Debug」など、Ollama の他のシステム変数を設定することもできます。これらの変数を使用する前に必ずドキュメントを確認してください。
- これで、Ollama を使い始める準備が整いました。これは、同社の最新のオープンソース AI モデルである Meta の Llama 3 8B を使用して行うことができます。モデルを実行するには、[スタート] メニューからコマンド プロンプト、Powershell、または Windows ターミナル ウィンドウを起動します。
- コマンド プロンプト ウィンドウが開いたら、次のように入力します。
ollama run llama3そして Enter を押します。このモデルは5GB近くあるので、ダウンロードには時間がかかります。
- ダウンロードが完了すると、Llama 3 8B の使用を開始し、コマンド ライン ウィンドウで直接会話できるようになります。たとえば、モデルに尋ねることができます
Who are you?Enter キーを押して応答を取得します。
- ここで、会話を続けて、さまざまなトピックについて AI モデルに質問することができます。 Llama 3 は間違いを犯したり、幻覚を起こしたりする可能性があるため、使用する場合は注意が必要です。
- Ollama モデル ライブラリ ページにアクセスして、他のモデルを試してみることもできます。さらに、Ollama が提供するさまざまな機能を試すために実行できるさまざまなコマンドがあります。
- モデルの実行中に、セッション変数の設定、モデル情報の表示、セッションの保存などのさまざまな操作を実行することもできます。
- Ollama では、マルチモーダル AI モデルを利用して画像を認識することもできます。たとえば、LLava モデルは、DALLE-3 によって生成された画像を認識できます。画像を詳細に説明できます。
- Ollama の実行中にエラーが発生した場合は、ログを確認して問題の内容を確認できます。を使用します。
Win + Rショートカットを使用して「ファイル名を指定して実行」ダイアログを開き、次のように入力します。explorer %LOCALAPPDATA%\\Ollama # View logsEnterを押す前にその中に入れてください。
- 次のような他のコマンドも使用できます
explorer %LOCALAPPDATA%\\Programs\\Ollamaそしてexplorer %HOMEPATH%\\.ollamaバイナリ、モデル、構成の保存場所を確認します。
注記：Llama 3 8B のような小規模な AI モデルは、グラフィックスが統合されているだけのマシン上で実行できます。ただし、専用の Nvidia GPU がある場合は、CUDA ツールキットをインストールすることで、より大きなモデルを実行できます。すべての AMD GPU が AI モデルを実行できるわけではありませんが、実行できるものにはツールキットは必要ありません。
知っておくべきこと
- Ollama は AI モデルを実行するために GPU を自動的に検出しますが、複数の GPU を搭載したマシンでは間違った GPU が選択される可能性があります。これを回避するには、Nvidia コントロール パネルを開き、ディスプレイを「Nvidia GPU のみ」に設定します。
- ディスプレイ モードはすべてのマシンで利用できるわけではなく、コンピュータを外部ディスプレイに接続する場合にも利用できません。
- Windows では、タスク マネージャーを使用して Ollama が正しい GPU を使用しているかどうかを確認できます。これにより、GPU の使用状況が表示され、どの GPU が使用されているかがわかります。
- Ollama を macOS および Linux にインストールする方法は Windows とは少し異なりますが、LLM を実行するプロセスは非常に似ています。
