Come configurare LocalGPT su Windows per principianti

Se non vuoi pagare per un LLM o vuoi mantenere i tuoi dati al sicuro, tudovrebbe impostare LocalGPT. Ti consente di avere il pieno controllo su come l’intelligenza artificiale opera ed elabora i dati. Garantisce inoltre la privacy poiché tutti i dati rimangono sul tuo sistema locale invece di essere inviati a server esterni.

Configura GPT locale su PC Windows

LocalGPT è uno strumento open source ispirato aprivateGPT, progettato per eseguire modelli linguistici di grandi dimensioni (LLM) localmente sui dispositivi degli utenti per uso privato. A differenza di privateGPT, che si basa esclusivamente sull'esecuzione della CPU, LocalGPT supporta l'accelerazione hardware tramite GPU per prestazioni migliori e latenza ridotta. Invece del modello GPT-4ALL e LlamaEmbeddings, che sono piuttosto pesanti, LocalGPT utilizza Vicuna-7B LLM e InstructorEmbeddings. Funziona con modelli come Blenderbot e WizardLM-7B permettendoci di scambiare modelli in base a esigenze specifiche. L'intera pipeline opera localmente, garantendo la privacy dei dati e fornendo al tempo stesso funzionalità NLP avanzate senza fare affidamento su API esterne, rendendolo un candidato perfetto per una modalità AI gestita localmente.

In questa guida configureremo GPT locale su Windows. Puoi seguire i passaggi indicati di seguito.

1. Scarica e installa Miniconda
2. Installa il repository LocalGPT
3. Installa le dipendenze
4. Esegui LocalGPT

Discutiamoli in dettaglio.

1] Scarica e installa Miniconda

Miniconda è una distribuzione leggera del gestore pacchetti Conda, progettata per configurare rapidamente ambienti Python. Fornisce solo gli elementi essenziali, consentendo agli utenti di personalizzare le proprie installazioni aggiungendo pacchetti specifici secondo necessità. Per scaricarlo, vai su anaconda.com, scorri verso il basso, vai suInstallatori Miniconda,e poi scaricalo per Windows poiché questa guida è per Windows.

Ora esegui il programma di installazione e segui le istruzioni visualizzate sullo schermo per completare il processo di installazione, tuttavia assicurati che quando sei sulOpzioni di installazione avanzate,seleziona tutte le caselle e, infine, completa l'installazione.

Per verificare se è installato o meno, cerca“Suggerimento di Anaconda”nel menu Start e aprire la CLI. Ora puoi eseguire il fileelenco condasolo per confermare che sia installato.

2] Installa il repository LocalGPT

Ora dobbiamo installare il repository LocalGPT ospitato su GitHub dal Prompt Engineer. Possiamo ottenerlo da lì. Per fare ciò, vai agithub.com. Puoi consultare la pagina per saperne di più su LocalGPT e per installarlo devi fare clic suCodice > Scarica ZIP.Una volta scaricato il file ZIP, vai al fileScaricamentocartella, fai clic con il pulsante destro del mouse sul file ZIP, seleziona Estrai, imposta una posizione in cui desideri estrarre il file e completa il processo. Apri la cartella estratta, al suo interno troverai una cartella chiamataLocalGPT-principale.Solo per semplicità, incolliamo la cartella sul desktop e le diamo un nome“LGPT”.

3] Installa le dipendenze

Ora dobbiamo creare un ambiente virtuale in cui installeremo tutte le dipendenze. Per fare ciò, apri il file“Suggerimento di Anaconda”dal menu Start ed eseguire i seguenti comandi.

conda create -n environment_name python=3.10

conda activate environment_name

Nota: sostituisci la variabile "environment_name" con qualsiasi nome di tua scelta.

Se ti viene chiesto di scaricare un pacchetto, dai il tuo consenso e procedi.

Ora dobbiamo installare il pacchetto che abbiamo scaricato estratto in precedenza. Per fare ciò, devi prima navigare nella directory usando i seguenti comandi.

cd Desktop

cd LGPT

Invece di installare tutti i componenti uno per uno, possiamo utilizzare il comando seguente per installarli tutti contemporaneamente.

pip install -r requirements.txt

Potresti riscontrare due errori.

• importa torcia ModuleNotFoundError:Correre

  pip installa la torcia torchvision torchaudioe quindi eseguire il comando sopra menzionato.

• È richiesto Microsoft C++:Fare clic sull'URL indicato e scaricare Visual Studio facendo clic suScarica strumenti di creazione,una volta aperto Visual Studio, devi passare attraverso gli strumenti che non hai e scaricarli.

Dopo aver risolto il problema, esegui nuovamente il comando di installazione e, una volta installato, passa al passaggio successivo.

4] Esegui LocalGPT

Prima di tutto, devi eseguire l'inserimento di Python, il che significa importare i dati dai documenti di origine, elaborare i tuoi documenti e archiviare i loro incorporamenti in un database vettoriale (Chroma DB). Per fare ciò, è necessario eseguire il seguente comando.

python ingest.py

Ti consigliamo di tenere d'occhio l'utilizzo della CPU utilizzando il Task Manager.

Ora, aaccedi al file Constants.py nella directory LocalGPT. Disabilita il modello Llama 3 aggiungendo un commento alla sua riga e attiva il modello Llama 2 (parametri 7B) rimuovendo il commento dalla sua riga.

Una volta terminato, è necessario eseguire LocalGPT utilizzando il seguente comando.

python run_local_gpt.py

Se riscontri un errore nell'indicazione thatlamamanca, corripip installa llama-cpp-python.

Se tutto va bene, sarai in grado di eseguire LocalGPT sul tuo computer localmente con l'aiuto di questa guida.

Leggere:

Come installare PrivateGPT su Windows?