Sådan opsætter du LocalGPT på Windows for begyndere

Hvis du ikke ønsker at betale for en LLM eller ønsker at holde dine data sikre, skal duskal konfigurere LocalGPT. Det giver dig mulighed for at have fuld kontrol over, hvordan AI'en fungerer og behandler data. Det sikrer også privatlivets fred, da alle data forbliver på dit lokale system i stedet for at blive sendt til eksterne servere.

Konfigurer Local GPT på Windows PC

LocalGPT er et open source-værktøj inspireret afprivatGPT, designet til at køre store sprogmodeller (LLM'er) lokalt på brugerenheder til privat brug. I modsætning til privateGPT, som udelukkende er afhængig af CPU-udførelse, understøtter LocalGPT hardwareacceleration via GPU'er for bedre ydeevne og reduceret latenstid. I stedet for GPT-4ALL-modellen og LlamaEmbeddings, som er ret heftige, bruger LocalGPT Vicuna-7B LLM og InstructorEmbeddings. Det fungerer med modeller som Blenderbot og WizardLM-7B, hvilket giver os mulighed for at bytte modeller baseret på specifikke behov. Hele pipelinen fungerer lokalt og sikrer databeskyttelse, mens den leverer avancerede NLP-funktioner uden ekstern API-afhængighed, hvilket gør den til en perfekt kandidat til en lokalt drevet AI-tilstand.

I denne vejledning vil vi opsætte Local GPT på Windows. Du kan følge nedenstående trin.

1. Download og installer Miniconda
2. Installer LocalGPT Repository
3. Installer afhængigheder
4. Kør LocalGPT

Lad os diskutere dem i detaljer.

1] Download og installer Miniconda

Miniconda er en letvægtsdistribution af Conda-pakkehåndteringen, designet til at opsætte Python-miljøer hurtigt. Det giver kun det væsentlige, hvilket giver brugerne mulighed for at tilpasse deres installationer ved at tilføje specifikke pakker efter behov. For at downloade det, gå til anaconda.com, rul ned, gå tilMiniconda installatører,og download den derefter til Windows, da denne vejledning er til Windows.

Kør nu installationsprogrammet og følg instruktionerne på skærmen for at fuldføre installationsprocessen, men sørg for, at når du er påAvancerede installationsmuligheder,Sæt kryds i alle felterne, og fuldfør til sidst installationen.

For at kontrollere, om det er installeret eller ej, søg“Anaconda prompt”i startmenuen og åbn CLI. Nu kan du køreconda listebare for at bekræfte, at den er installeret.

2] Installer LocalGPT Repository

Nu skal vi installere LocalGPT Repository, der er hostet på GitHub af promptingeniøren. Vi kan få det derfra. For at gøre det skal du navigere tilgithub.com. Du kan gå gennem siden for at lære mere om LocalGPT og for at installere det, skal du klikke videreKode > Download ZIP.Når ZIP-filen er downloadet, skal du gå tilDownloadmappe, højreklik på ZIP-filen, vælg Udpak, indstil en placering, hvor du vil udpakke filen og fuldfør processen. Åbn den udpakkede mappe, inde i den, vil du en mappe kaldetLocalGPT-main.For nemheds skyld indsætter vi mappen på skrivebordet og navngiver den"LGPT".

3] Installationsafhængigheder

Nu skal vi lave et virtuelt miljø, hvor vi skal installere alle afhængigheder. For at gøre det skal du åbne“Anaconda prompt”fra startmenuen og kør følgende kommandoer.

conda create -n environment_name python=3.10

conda activate environment_name

Bemærk: Erstat variablen "environment_name" med et hvilket som helst navn efter eget valg.

Hvis den beder dig om at downloade en pakke, skal du give dit samtykke og fortsætte.

Nu skal vi installere pakken, som vi downloadede den udpakkede tidligere. For at gøre det skal du først navigere til biblioteket ved hjælp af følgende kommandoer.

cd Desktop

cd LGPT

I stedet for at installere alle komponenterne én efter én, kan vi bruge følgende kommando til at installere dem alle på én gang.

pip install -r requirements.txt

Du kan støde på to fejl.

• import lommelygte ModuleNotFoundError:Løbe

  pip installer fakkel torchvision torchaudioog kør derefter den førnævnte kommando.

• Microsoft C++ er påkrævet:Klik på den nævnte URL, og download Visual Studio ved at klikke påDownload byggeværktøjer,Når først Visual Studio er åben, skal du gennemgå de værktøjer, du ikke har, og downloade dem.

Når du har løst problemet, skal du køre installationskommandoen igen, og når den er installeret, skal du gå videre til næste trin.

4] Kør LocalGPT

Først og fremmest skal du køre Python Ingestion, hvilket betyder at importere data fra kildedokumenterne, behandle dine dokumenter og gemme deres indlejringer i en vektordatabase (Chroma DB). For at gøre det skal du udføre følgende kommando.

python ingest.py

Vi anbefaler, at du holder øje med CPU-brug ved hjælp af Task Manager.

Nu, agå til filen constants.py i din LocalGPT-mappe. Deaktiver Llama 3-modellen ved at tilføje en kommentar til dens linje, og aktiver Llama 2-modellen (7B-parametre) ved at fjerne kommentaren fra dens linje.

Når du er færdig, skal du køre LocalGPT ved hjælp af følgende kommando.

python run_local_gpt.py

Hvis du støder på en fejl, der angiver detlamamangler, løbpip installer llama-cpp-python.

Forhåbentlig vil du være i stand til at køre LocalGPT på din computer lokalt ved hjælp af denne guide.

Læse:

Hvordan installeres PrivateGPT på Windows?