Wenn Sie keine LLM bezahlen oder Ihre Daten sicher halten möchten, sind Sie nicht sichersollte Localgpt einrichten. Sie können die volle Kontrolle darüber haben, wie die KI Daten betreibt und verarbeitet. Es gewährleistet auch die Privatsphäre, da alle Daten auf Ihrem lokalen System bleiben, anstatt an externe Server gesendet zu werden.

Richten Sie die lokale GPT auf Windows PC ein

LocalGPT ist ein Open-Source-Tool, das von inspiriert ist, vonprivatgpt, entwickelt, um große Sprachmodelle (LLMs) lokal auf Benutzergeräten für den privaten Gebrauch auszuführen. Im Gegensatz zu PrivateGPT, das ausschließlich auf CPU -Ausführung beruht, unterstützt LocalGPT die Hardwarebeschleunigung über GPUs für eine bessere Leistung und eine verringerte Latenz. Anstelle des GPT-4ALL-Modells und des LlamaEmbeding, die ziemlich kräftig sind, verwendet LocalGPT Vicuna-7b LLM und Instructorembedings. Es funktioniert mit Modellen wie Blenderbot und WizardLM-7b, mit denen wir Modelle basierend auf bestimmten Anforderungen auszusetzen. Die gesamte Pipeline arbeitet lokal und sorgt dafür, dass die Datenschutzdatenschutz ohne externe API -Abhängigkeit erweiterte NLP -Funktionen gewährleistet, was es zu einem perfekten Kandidaten für einen lokal betriebenen KI -Modus macht.

In dieser Anleitung werden wir lokale GPT unter Windows einrichten. Sie können die unten genannten Schritte ausführen.

1. Miniconda herunterladen und installieren
2. Installieren Sie das LocalGPT -Repository
3. Abhängigkeiten installieren
4. LOCALGPT laufen

Lassen Sie uns sie ausführlich besprechen.

1] Miniconda herunterladen und installieren

Miniconda ist eine leichte Verteilung des Conda -Paketmanagers, mit dem Python -Umgebungen schnell eingerichtet werden sollen. Es bietet nur das Wesentliche, sodass Benutzer ihre Installationen anpassen können, indem Sie nach Bedarf bestimmte Pakete hinzufügen. Um es herunterzuladen, gehen Sie zu Anaconda.com, scrollen Sie nach unten, gehen Sie zuMiniconda -Installateure,Laden Sie es dann für Windows herunter, da diese Anleitung für Windows ist.

Führen Sie nun den Installationsprogramm aus und befolgen Sie die Anweisungen auf dem Bildschirm, um den Installationsprozess abzuschließen. Stellen Sie jedoch sicher, dass Sie, wenn Sie sich befindenErweiterte Installationsoptionen,Ticken Sie alle Kästchen und schließlich vervollständigen Sie die Installation.

Um zu überprüfen, ob es installiert ist oder nicht, suchen Sie"Anaconda -Eingabeaufforderung"im Startmenü und öffnen Sie die CLI. Jetzt können Sie die ausführenConda -ListeNur um zu bestätigen, dass es installiert ist.

2] Installieren Sie das LocalGPT -Repository

Jetzt müssen wir das LocalGPT -Repository installieren, der vom prompt -Ingenieur auf GitHub gehostet wird. Wir können es von dort bekommen. Dazu navigieren Sie zugithub.com. Sie können die Seite durchgehen, um mehr über das LocalGPT zu erfahren und sie zu installieren. Sie müssen auf klickenCode> Reißverschluss herunterladen.Sobald die ZIP -Datei heruntergeladen wurde, gehen Sie zurHerunterladenOrdner, klicken Sie mit der rechten Maustaste auf die ZIP-Datei, wählen Sie extrahieren, setzen Sie einen Speicherort fest, an dem Sie die Datei extrahieren möchten, und vervollständigen Sie den Vorgang. Öffnen Sie den extrahierten Ordner darin, Sie werden einen Ordner namens namensLOCALGPT-MAIN.Nur der Einfachheit halber können wir den Ordner auf den Desktop einfügen und ihn benennen"LGPT".

3] Abhängigkeiten installieren

Jetzt müssen wir eine virtuelle Umgebung erstellen, in der wir alle Abhängigkeiten installieren werden. Um dies zu tun, öffnen Sie das"Anaconda -Eingabeaufforderung"Führen Sie im Startmenü die folgenden Befehle aus.

conda create -n environment_name python=3.10

conda activate environment_name

HINWEIS: Ersetzen Sie die Variable "Environment_Name" durch einen beliebigen Namen Ihrer Wahl.

Wenn Sie auffordert, ein Paket herunterzuladen, geben Sie bitte Ihre Zustimmung und fahren Sie fort.

Jetzt müssen wir das Paket installieren, das wir früher heruntergeladen haben. Dazu müssen Sie zuerst mit den folgenden Befehlen zum Verzeichnis navigieren.

cd Desktop

cd LGPT

Anstatt alle Komponenten einzeln zu installieren, können wir den folgenden Befehl verwenden, um alle gleichzeitig zu installieren.

pip install -r requirements.txt

Sie können auf zwei Fehler stoßen.

• FackelmodulenotfoundError importieren:Laufen

  PIP Installieren Sie Torch Torchvision Torchaudiound dann den oben genannten Befehl ausführen.

• Microsoft C ++ ist erforderlich:Klicken Sie auf die genannte URL und laden Sie Visual Studio herunter, indem Sie darauf klickenBuild -Tools herunterladen,Sobald Visual Studio geöffnet ist, müssen Sie die Tools durchgehen, die Sie nicht haben, und sie herunterladen.

Führen Sie nach der Lösung des Problems den Befehl Installer erneut aus und gehen Sie nach der Installation mit dem nächsten Schritt fort.

4] localgpt rennen

Zunächst müssen Sie die Python -Einnahme ausführen, was bedeutet, Daten aus den Quelldokumenten zu importieren, Ihre Dokumente zu verarbeiten und ihre Einbettungen in einer Vektordatenbank (Chroma DB) zu speichern. Dazu müssen Sie den folgenden Befehl ausführen.

python ingest.py

Wir empfehlen Ihnen, die CPU -Verwendung mit dem Task -Manager im Auge zu behalten.

Nun, aCCESS Die Datei Constantants.py in Ihrem LocalGPT -Verzeichnis. Deaktivieren Sie das Lama 3 -Modell, indem Sie einen Kommentar zu seiner Zeile hinzufügen, und aktivieren Sie das Lama 2 -Modell (7B -Parameter), indem Sie den Kommentar aus seiner Zeile entfernen.

Sobald Sie fertig sind, müssen Sie den LocalGPT mit dem folgenden Befehl ausführen.

python run_local_gpt.py

Wenn Sie auf einen Fehler stoßen, der dies angibtLamafehlt, rennenPIP Installieren Sie LLAMA-CPP-PYTHON.

Hoffentlich können Sie mit Hilfe dieses Leitfadens lokal auf Ihrem Computer vor Ort ausführen.

Lesen:

Wie installiere ich private GPT unter Windows?