Jos et halua maksaa LLM: stä tai haluat pitää tietosi turvassa, sinäpitäisi perustaa LocalGPT. Sen avulla voit hallita täydellistä hallintaa AI: n toiminnasta ja käsittelee tietoja. Se varmistaa myös yksityisyyden, koska kaikki tiedot pysyvät paikallisessa järjestelmässä sen sijaan, että ne lähetetään ulkoisille palvelimille.
Aseta paikallinen GPT Windows PC: lle
LocalGPT on avoimen lähdekoodin työkaluyksityinengpt, suunniteltu suorittamaan suuria kielimalleja (LLM) paikallisesti käyttäjälaitteissa yksityiseen käyttöön. Toisin kuin PrivateGPT, joka perustuu yksinomaan CPU: n toteutukseen, LocalGPT tukee laitteistoki GPT-4ALL-mallin ja LlaamaMbedDdingsin sijasta, jotka ovat melko mojovia, paikallinen GPT käyttää Vicuna-7b LLM: ää ja ohjaaja. Se toimii mallien, kuten Blenderbot ja Wizardlm-7b, kanssa, joiden avulla voimme vaihtaa malleja erityistarpeiden perusteella. Koko putkilinja toimii paikallisesti, varmistaen tiedonsuojan samalla kun toimittaa edistyneitä NLP -ominaisuuksia ilman ulkoista sovellusliittymää, mikä tekee siitä täydellisen ehdokkaan paikallisesti käyttämään AI -tilaa.
Tässä oppaassa asetamme paikallisen GPT: n Windowsiin. Voit seurata alla olevia vaiheita.
- Lataa ja asenna MiniConda
- Asenna LocalGPT -arkisto
- Asenna riippuvuudet
- Ajaa paikallistagpt
Keskustelemme heistä yksityiskohtaisesti.
1] Lataa ja asenna MiniConda
Miniconda on Conda Package Manager -sovelluksen kevyt jakelu, joka on suunniteltu asettamaan Python -ympäristöt nopeasti. Se tarjoaa vain välttämättömät, jolloin käyttäjät voivat mukauttaa asennuksiaan lisäämällä tiettyjä paketteja tarpeen mukaan. Voit ladata sen siirtymällä Anaconda.com -sivustoon, vieritä alas, siirry osoitteeseenMinicondan asentajat,Ja lataa se sitten Windowsille, koska tämä opas on Windowsille.
Suorita nyt asennusohjelma ja noudata näytön ohjeita suorittaaksesi asennusprosessin, varmista kuitenkin, että kun oletEdistyneitä asennusvaihtoehtoja,Valitse kaikki ruudut ja lopuksi, täytä asennus.
Hae, tarkistaa, onko se asennettu vai ei"Anaconda kehote"Käynnistä -valikossa ja avaa CLI. Nyt voit ajaacondasluetteloVain vahvistaa, että se on asennettu.
2] Asenna LocalGPT -arkisto
Nyt meidän on asennettava LocalGPT -arkisto GitHubiin kehotettu insinööri. Voimme saada sen sieltä. Siirry siihengithub.com. Voit käydä läpi sivun saadaksesi lisätietoja paikallisesta GPT: stä ja asentaaksesi sen, sinun on napsautettavaKoodi> Lataa zip.Kun zip -tiedosto on ladattu, siirryLadataKansio, napsauta hiiren kakkospainikkeella zip-tiedostoa, valitse Pura, aseta sijainti, johon haluat poimia tiedoston ja suorittaa prosessi. Avaa poimittu kansio, sen sisällä olet kansio nimeltäänLOCALGPT-MAIN.Vain yksinkertaisuuden vuoksi liitämme työpöydän kansiota ja nimeämme sen"LGPT".
3] Asenna riippuvuudet
Nyt meidän on luotava virtuaalinen ympäristö, johon aiomme asentaa kaikki riippuvuudet. Avaa niin"Anaconda kehote"Käynnistä -valikosta ja suorita seuraavat komennot.
conda create -n environment_name python=3.10
conda activate environment_name
HUOMAUTUS: Korvaa muuttuja “Environment_name” millä tahansa valitsemasi nimellä.
Jos se pyytää sinua lataamaan minkä tahansa paketin, anna suostumus ja jatka.
Nyt meidän on asennettava paketti, jonka latasimme aikaisemmin poistetun. Tätä varten sinun on ensin siirryttävä hakemistoon seuraavien komentojen avulla.
cd Desktop
cd LGPT
Sen sijaan, että asennamme kaikki komponentit yksi kerrallaan, voimme käyttää seuraavaa komentoa asentaaksesi ne kaikki kerralla.
pip install -r requirements.txt
Voit kohdata kaksi virhettä.
- Tuo taskulampun modulenotfoundError:Juoksua
Pip asenna taskulamppu Torchvision Torchaudioja suorita sitten edellä mainittu komento.
- Microsoft C ++ vaaditaan:Napsauta mainittua URL -osoitetta ja lataa Visual Studio napsauttamallaLataa rakennustyökaluja,Kun Visual Studio on auki, sinun on suoritettava työkalut, joita sinulla ei ole, ja ladattava ne.
Kun olet ratkaistu ongelman, suorita asennuskomento uudelleen ja asennettuaan siirry seuraavaan vaiheeseen.
4] Suorita LocalGPT
Ensinnäkin sinun on suoritettava python -nauttiminen, mikä tarkoittaa tietojen tuomista lähdeasiakirjoista, käsittelemään asiakirjojasi ja niiden upotusten tallentamista vektoritietokantaan (Chroma DB). Jotta voit tehdä niin, sinun on suoritettava seuraava komento.
python ingest.py
Suosittelemme, että seuraat prosessorin käyttöä Task Manager -sovelluksella.
Nyt aCCESS CONSTONS.py -tiedosto LocalGPT -hakemistossa. Poista Llaama 3 -malli käytöstä lisäämällä kommentti linjaan ja aktivoi Llaama 2 -malli (7B -parametrit) poistamalla kommentti linjastaan.
Kun olet valmis, sinun on suoritettava LocalGPT seuraavan komennon avulla.
python run_local_gpt.py
Jos kohtaat sen virheenlaamapuuttuu, juoksePip asenna Llaama-CPP-Python.
Toivottavasti pystyt ajamaan tietokoneellasi paikallista GPT: tä paikallisesti tämän oppaan avulla.
Lukea:
Kuinka asentaa yksityinenGPT Windowsiin?
Asenna Python ja Conda -kaltainen Python ja pakettihallinta. Kloonia sitten yksityinengpt -arkisto ja aseta virtuaaliympäristö. Sitten sinun on asennettava riippuvuudet runouden tai PIP: n avulla. Lataa yhteensopiva kielimalli. Lopuksi sinun on määritettävä ympäristömuuttujat, nielettävä asiakirjat ja suoritettava sovellus tietojen kyselyksi paikallisesti.
Lukea:
Kuinka asentaa WSL Windowsissa?
-Lla, Avaa PowerShell järjestelmänvalvojana ja juoksunaWSL –Astall. Tämä mahdollistaa WSL: n, asentaa Linux -ytimen ja asettaa WSL 2: n oletuksena. Käynnistä tietokone uudelleen ja valitse sitten Linux -jakelu asennettavaksi. Käynnistä jakelu, aseta käyttäjätunnus ja salasana, ja olet valmis käyttämään Linuxia Windowsissa.
Lue myös:.