So richten Sie LocalGPT unter Windows für Anfänger ein

Wenn Sie nicht für ein LLM bezahlen möchten oder Ihre Daten sicher aufbewahren möchten, sind Sie hier genau richtigsollte LocalGPT einrichten. Damit haben Sie die volle Kontrolle darüber, wie die KI arbeitet und Daten verarbeitet. Es gewährleistet außerdem den Datenschutz, da alle Daten auf Ihrem lokalen System verbleiben und nicht an externe Server gesendet werden.

Richten Sie lokales GPT auf einem Windows-PC ein

LocalGPT ist ein Open-Source-Tool, das von inspiriert wurdeprivateGPT, entwickelt, um große Sprachmodelle (LLMs) lokal auf Benutzergeräten für den privaten Gebrauch auszuführen. Im Gegensatz zu privateGPT, das ausschließlich auf der CPU-Ausführung basiert, unterstützt LocalGPT die Hardwarebeschleunigung über GPUs für bessere Leistung und reduzierte Latenz. Anstelle des GPT-4ALL-Modells und der LlamaEmbeddings, die ziemlich umfangreich sind, verwendet LocalGPT Vicuna-7B LLM und InstructorEmbeddings. Es funktioniert mit Modellen wie Blenderbot und WizardLM-7B, sodass wir Modelle je nach spezifischen Anforderungen austauschen können. Die gesamte Pipeline arbeitet lokal, gewährleistet Datenschutz und stellt gleichzeitig erweiterte NLP-Funktionen ohne externe API-Abhängigkeit bereit, was sie zu einem perfekten Kandidaten für einen lokal betriebenen KI-Modus macht.

In dieser Anleitung richten wir Local GPT unter Windows ein. Sie können die unten aufgeführten Schritte ausführen.

1. Laden Sie Miniconda herunter und installieren Sie es
2. Installieren Sie das LocalGPT-Repository
3. Abhängigkeiten installieren
4. Führen Sie LocalGPT aus

Lassen Sie uns diese im Detail besprechen.

1] Laden Sie Miniconda herunter und installieren Sie es

Miniconda ist eine leichtgewichtige Distribution des Conda-Paketmanagers, die für die schnelle Einrichtung von Python-Umgebungen entwickelt wurde. Es bietet nur das Wesentliche und ermöglicht Benutzern, ihre Installationen durch das Hinzufügen spezifischer Pakete nach Bedarf anzupassen. Um es herunterzuladen, gehen Sie zu anaconda.com, scrollen Sie nach unten und gehen Sie zuMiniconda-Installateure,und laden Sie es dann für Windows herunter, da dieses Handbuch für Windows gedacht ist.

Führen Sie nun das Installationsprogramm aus und befolgen Sie die Anweisungen auf dem Bildschirm, um den Installationsvorgang abzuschließen. Stellen Sie jedoch sicher, dass Sie dies tun, wenn Sie sich auf dem befindenErweiterte Installationsoptionen,Aktivieren Sie alle Kästchen und schließen Sie schließlich die Installation ab.

Um zu überprüfen, ob es installiert ist oder nicht, suchen Sie„Anaconda-Eingabeaufforderung“im Startmenü und öffnen Sie die CLI. Jetzt können Sie das ausführenConda-ListeNur um zu bestätigen, dass es installiert ist.

2] Installieren Sie das LocalGPT-Repository

Jetzt müssen wir das LocalGPT-Repository installieren, das vom Prompt Engineer auf GitHub gehostet wird. Wir können es von dort bekommen. Navigieren Sie dazu zugithub.com. Sie können die Seite durchgehen, um mehr über LocalGPT zu erfahren. Um es zu installieren, müssen Sie auf klickenCode > ZIP herunterladen.Sobald die ZIP-Datei heruntergeladen ist, gehen Sie zuHerunterladenOrdner, klicken Sie mit der rechten Maustaste auf die ZIP-Datei, wählen Sie Extrahieren, legen Sie einen Speicherort fest, an den Sie die Datei extrahieren möchten, und schließen Sie den Vorgang ab. Öffnen Sie den extrahierten Ordner. Darin befindet sich ein Ordner mit dem NamenLocalGPT-main.Der Einfachheit halber fügen wir den Ordner auf dem Desktop ein und benennen ihn„LGPT“.

3] Abhängigkeiten installieren

Jetzt müssen wir eine virtuelle Umgebung erstellen, in der wir alle Abhängigkeiten installieren. Öffnen Sie dazu die„Anaconda-Eingabeaufforderung“aus dem Startmenü und führen Sie die folgenden Befehle aus.

conda create -n environment_name python=3.10

conda activate environment_name

Hinweis: Ersetzen Sie die Variable „environment_name“ durch einen beliebigen Namen Ihrer Wahl.

Wenn Sie aufgefordert werden, ein Paket herunterzuladen, geben Sie bitte Ihr Einverständnis und fahren Sie fort.

Jetzt müssen wir das Paket installieren, das wir zuvor heruntergeladen und extrahiert haben. Dazu müssen Sie zunächst mit den folgenden Befehlen in das Verzeichnis navigieren.

cd Desktop

cd LGPT

Anstatt alle Komponenten einzeln zu installieren, können wir den folgenden Befehl verwenden, um alle auf einmal zu installieren.

pip install -r requirements.txt

Es können zwei Fehler auftreten.

• Brenner importieren ModuleNotFoundError:Laufen

  Pip-Install Torch Torchvision Torchaudiound führen Sie dann den oben genannten Befehl aus.

• Microsoft C++ ist erforderlich:Klicken Sie auf die genannte URL und laden Sie Visual Studio herunter, indem Sie auf klickenBuild-Tools herunterladen,Sobald Visual Studio geöffnet ist, müssen Sie die Tools durchgehen, die Sie nicht haben, und sie herunterladen.

Nachdem Sie das Problem behoben haben, führen Sie den Installationsbefehl erneut aus und fahren Sie nach der Installation mit dem nächsten Schritt fort.

4]Führen Sie LocalGPT aus

Zunächst müssen Sie die Python-Aufnahme ausführen, was bedeutet, dass Sie Daten aus den Quelldokumenten importieren, Ihre Dokumente verarbeiten und ihre Einbettungen in einer Vektordatenbank (Chroma DB) speichern. Dazu müssen Sie den folgenden Befehl ausführen.

python ingest.py

Wir empfehlen Ihnen, die CPU-Auslastung mithilfe des Task-Managers im Auge zu behalten.

Nun, aGreifen Sie auf die Datei „constants.py“ in Ihrem LocalGPT-Verzeichnis zu. Deaktivieren Sie das Llama 3-Modell, indem Sie seiner Zeile einen Kommentar hinzufügen, und aktivieren Sie das Llama 2-Modell (7B-Parameter), indem Sie den Kommentar aus seiner Zeile entfernen.

Sobald Sie fertig sind, müssen Sie LocalGPT mit dem folgenden Befehl ausführen.

python run_local_gpt.py

Wenn Sie auf einen Fehler stoßen, der dies angibtLamafehlt, laufpip install llama-cpp-python.

Hoffentlich können Sie LocalGPT mithilfe dieser Anleitung lokal auf Ihrem Computer ausführen.

Lesen:

Wie installiere ich PrivateGPT unter Windows?