Cum să configurați LocalGPT pe Windows pentru începători

Dacă nu doriți să plătiți pentru un LLM sau doriți să vă păstrați datele în siguranță, dvsar trebui să configureze LocalGPT. Vă permite să aveți control deplin asupra modului în care AI funcționează și procesează datele. De asemenea, asigură confidențialitatea, deoarece toate datele rămân pe sistemul dvs. local în loc să fie trimise la servere externe.

Configurați GPT local pe un computer Windows

LocalGPT este un instrument open-source inspirat deprivateGPT, conceput pentru a rula modele de limbă mari (LLM) local pe dispozitivele utilizatorului pentru uz privat. Spre deosebire de privateGPT, care se bazează exclusiv pe execuția CPU, LocalGPT acceptă accelerarea hardware prin GPU-uri pentru o performanță mai bună și o latență redusă. În loc de modelul GPT-4ALL și LlamaEmbeddings, care sunt destul de voluminoase, LocalGPT folosește Vicuna-7B LLM și InstructorEmbeddings. Funcționează cu modele precum Blenderbot și WizardLM-7B, permițându-ne să schimbăm modele în funcție de nevoi specifice. Întreaga conductă funcționează la nivel local, asigurând confidențialitatea datelor, oferind în același timp capabilități avansate NLP fără dependența de API externă, ceea ce îl face candidatul perfect pentru un mod AI operat local.

În acest ghid, vom configura GPT local pe Windows. Puteți urma pașii menționați mai jos.

1. Descărcați și instalați Miniconda
2. Instalați depozitul LocalGPT
3. Instalați dependențe
4. Rulați LocalGPT

Să le discutăm în detaliu.

1] Descărcați și instalați Miniconda

Miniconda este o distribuție ușoară a managerului de pachete Conda, concepută pentru a configura rapid mediile Python. Oferă doar elementele esențiale, permițând utilizatorilor să-și personalizeze instalările adăugând pachete specifice după cum este necesar. Pentru a-l descărca, accesați anaconda.com, derulați în jos, accesațiInstalatori Miniconda,și apoi descărcați-l pentru Windows, deoarece acest ghid este pentru Windows.

Acum, rulați programul de instalare și urmați instrucțiunile de pe ecran pentru a finaliza procesul de instalare, totuși, asigurați-vă că atunci când sunteți peOpțiuni avansate de instalare,bifați toate căsuțele și, în final, finalizați instalarea.

Pentru a verifica dacă este instalat sau nu, căutați„Anaconda Prompt”în meniul Start și deschideți CLI. Acum, puteți rulalista condadoar pentru a confirma că este instalat.

2] Instalați Repository LocalGPT

Acum, trebuie să instalăm depozitul LocalGPT găzduit pe GitHub de către Prompt Engineer. O putem lua de acolo. Pentru a face acest lucru, navigați lagithub.com. Puteți trece prin pagină pentru a afla mai multe despre LocalGPT și pentru a-l instala, trebuie să faceți clic peCod > Descărcați ZIP.Odată ce fișierul ZIP este descărcat, accesațiDescărcațifolder, faceți clic dreapta pe fișierul ZIP, selectați Extract, setați o locație în care doriți să extrageți fișierul și finalizați procesul. Deschideți folderul extras, în interiorul acestuia, veți avea un folder numitLocalGPT-principal.Doar de dragul simplității, lipim folderul pe desktop și îl denumim„LGPT”.

3] Instalați dependențe

Acum trebuie să creăm un mediu virtual în care vom instala toate dependențele. Pentru a face acest lucru, deschideți„Anaconda Prompt”din meniul Start și rulați următoarele comenzi.

conda create -n environment_name python=3.10

conda activate environment_name

Notă: Înlocuiți variabila „environment_name” cu orice nume la alegere.

Dacă vă solicită să descărcați orice pachet, vă rugăm să vă dați acordul și să continuați.

Acum, trebuie să instalăm pachetul pe care l-am descărcat extras mai devreme. Pentru a face acest lucru, mai întâi trebuie să navigați la director folosind următoarele comenzi.

cd Desktop

cd LGPT

În loc să instalăm toate componentele una câte una, putem folosi următoarea comandă pentru a le instala pe toate simultan.

pip install -r requirements.txt

Este posibil să întâmpinați două erori.

• import torță ModuleNotFoundError:Fugi

  pip install torch torchvision torchaudioși apoi rulați comanda menționată mai sus.

• Este necesar Microsoft C++:Faceți clic pe adresa URL menționată și descărcați Visual Studio făcând clic peDescărcați instrumente de construcție,odată ce Visual Studio este deschis, trebuie să parcurgeți instrumentele pe care nu le aveți și să le descărcați.

După rezolvarea problemei, executați din nou comanda de instalare și, odată instalată, treceți la pasul următor.

4] Rulați LocalGPT

În primul rând, trebuie să rulați Python Ingestion, ceea ce înseamnă importarea datelor din documentele sursă, procesarea documentelor și stocarea înglobărilor acestora într-o bază de date vectorială (Chroma DB). Pentru a face acest lucru, trebuie să executați următoarea comandă.

python ingest.py

Vă recomandăm să urmăriți utilizarea procesorului folosind Managerul de activități.

Acum, aaccesați fișierul constants.py din directorul dvs. LocalGPT. Dezactivați modelul Llama 3 adăugând un comentariu la linia sa și activați modelul Llama 2 (parametri 7B) eliminând comentariul din linia sa.

Odată terminat, trebuie să rulați LocalGPT folosind următoarea comandă.

python run_local_gpt.py

Dacă întâmpinați o eroare care spune astalamălipsește, fugipip install llama-cpp-python.

Sperăm că veți putea rula LocalGPT pe computerul dvs. local cu ajutorul acestui ghid.

Citire:

Cum se instalează PrivateGPT pe Windows?