Hoe LocalGPT op Windows in te stellen voor beginners

Als u niet voor een LLM wilt betalen of uw gegevens veilig wilt houden, kunt u dat doenmoet LocalGPT instellen. Hiermee kunt u volledige controle hebben over hoe de AI werkt en gegevens verwerkt. Het garandeert ook de privacy, omdat alle gegevens op uw lokale systeem blijven in plaats van naar externe servers te worden verzonden.

Stel lokale GPT in op een Windows-pc

LocalGPT is een open-sourcetool geïnspireerd opprivéGPT, ontworpen om grote taalmodellen (LLM's) lokaal op gebruikersapparaten uit te voeren voor privégebruik. In tegenstelling tot privateGPT, dat uitsluitend afhankelijk is van CPU-uitvoering, ondersteunt LocalGPT hardwareversnelling via GPU's voor betere prestaties en verminderde latentie. In plaats van het GPT-4ALL-model en LlamaEmbeddings, die behoorlijk fors zijn, gebruikt LocalGPT Vicuna-7B LLM en InstructorEmbeddings. Het werkt met modellen als Blenderbot en WizardLM-7B, waardoor we modellen kunnen wisselen op basis van specifieke behoeften. De hele pijplijn opereert lokaal, waardoor gegevensprivacy wordt gewaarborgd en tegelijkertijd geavanceerde NLP-mogelijkheden worden geboden zonder externe API-afhankelijkheid, waardoor het een perfecte kandidaat is voor een lokaal beheerde AI-modus.

In deze handleiding zullen we Local GPT op Windows instellen. U kunt de onderstaande stappen volgen.

1. Miniconda downloaden en installeren
2. Installeer LocalGPT-repository
3. Installeer afhankelijkheden
4. Voer LocalGPT uit

Laten we ze in detail bespreken.

1] Download en installeer Miniconda

Miniconda is een lichtgewicht distributie van de Conda-pakketbeheerder, ontworpen om snel Python-omgevingen op te zetten. Het biedt alleen de essentiële zaken, waardoor gebruikers hun installaties kunnen aanpassen door indien nodig specifieke pakketten toe te voegen. Om het te downloaden, ga naar anaconda.com, scroll naar beneden, ga naarMiniconda-installateurs,en download het vervolgens voor Windows, aangezien deze handleiding voor Windows is.

Voer nu het installatieprogramma uit en volg de instructies op het scherm om het installatieproces te voltooien. Zorg er echter voor dat wanneer u zich op deGeavanceerde installatieopties,Vink alle vakjes aan en voltooi ten slotte de installatie.

Om te controleren of het is geïnstalleerd of niet, zoekt u“Anaconda-prompt”in het Startmenu en open de CLI. Nu kunt u deconda lijstalleen om te bevestigen dat het is geïnstalleerd.

2] Installeer LocalGPT-repository

Nu moeten we de LocalGPT Repository installeren die op GitHub wordt gehost door de Prompt Engineer. Daar kunnen we het vandaan halen. Navigeer hiervoor naargithub.com. U kunt de pagina doorlopen om meer te leren over de LocalGPT en om deze te installeren klikt u opCode > ZIP downloaden.Zodra het ZIP-bestand is gedownload, gaat u naar hetDownloadenmap, klik met de rechtermuisknop op het ZIP-bestand, selecteer Uitpakken, stel een locatie in waar u het bestand wilt uitpakken en voltooi het proces. Open de uitgepakte map, daarin vindt u een map met de naamLocalGPT-main.Voor de eenvoud plakken we de map op het bureaublad en geven deze een naam“LGPT”.

3] Installeer afhankelijkheden

Nu moeten we een virtuele omgeving creëren waarin we alle afhankelijkheden gaan installeren. Open hiervoor het“Anaconda-prompt”vanuit het Startmenu en voer de volgende opdrachten uit.

conda create -n environment_name python=3.10

conda activate environment_name

Opmerking: Vervang de variabele “omgevingsnaam” door een naam naar keuze.

Als u wordt gevraagd een pakket te downloaden, geef dan uw toestemming en ga verder.

Nu moeten we het pakket installeren dat we eerder hebben gedownload. Om dit te doen, moet u eerst naar de map navigeren met behulp van de volgende opdrachten.

cd Desktop

cd LGPT

In plaats van alle componenten één voor één te installeren, kunnen we de volgende opdracht gebruiken om ze allemaal tegelijk te installeren.

pip install -r requirements.txt

Het kan zijn dat u twee fouten tegenkomt.

• importeer fakkel ModuleNotFoundError:Loop

  pip installeer fakkel torchvision torchaudioen voer vervolgens de bovengenoemde opdracht uit.

• Microsoft C++ is vereist:Klik op de genoemde URL en download Visual Studio door op te klikkenBouwtools downloaden,zodra Visual Studio geopend is, moet u de tools doorlopen die u niet heeft en deze downloaden.

Nadat u het probleem hebt opgelost, voert u de installatieopdracht opnieuw uit en gaat u na installatie verder met de volgende stap.

4] Voer LocalGPT uit

Allereerst moet u Python Ingestion uitvoeren, wat betekent dat u gegevens uit de brondocumenten importeert, uw documenten verwerkt en hun insluitingen opslaat in een vectordatabase (Chroma DB). Om dit te doen, moet u de volgende opdracht uitvoeren.

python ingest.py

We raden u aan het CPU-gebruik in de gaten te houden via Taakbeheer.

Nu, eentoegang tot het bestand constants.py in uw LocalGPT-map. Schakel het Llama 3-model uit door commentaar aan de regel toe te voegen, en activeer het Llama 2-model (7B-parameters) door het commentaar van de regel te verwijderen.

Als u klaar bent, moet u de LocalGPT uitvoeren met de volgende opdracht.

python run_local_gpt.py

Als u een foutmelding tegenkomt waarin dit wordt vermeldlamaontbreekt, rennenpip installeer lama-cpp-python.

Hopelijk kun je met behulp van deze handleiding LocalGPT lokaal op je computer draaien.

Lezen:

Hoe PrivateGPT op Windows installeren?