A LocalGPT beállítása Windows rendszeren kezdőknek

Ha nem szeretne fizetni egy LLM-ért, vagy meg akarja őrizni adatait, akkor Önbe kell állítania a LocalGPT-t. Lehetővé teszi az AI működésének és adatfeldolgozásának teljes ellenőrzését. Ezenkívül biztosítja az adatvédelmet, mivel minden adat a helyi rendszeren marad, ahelyett, hogy külső kiszolgálókra küldené őket.

Állítsa be a helyi GPT-t Windows PC-n

A LocalGPT egy nyílt forráskódú eszköz, amelyet aprivát GPT, amelyet nagy nyelvi modellek (LLM) helyi futtatására terveztek felhasználói eszközökön privát használatra. A privát GPT-vel ellentétben, amely kizárólag a CPU végrehajtására támaszkodik, a LocalGPT támogatja a GPU-kon keresztüli hardveres gyorsítást a jobb teljesítmény és a csökkentett késleltetés érdekében. A GPT-4ALL modell és a LlamaEmbeddings helyett, amelyek meglehetősen izmosak, a LocalGPT Vicuna-7B LLM-et és InstructorEmbeddings-et használ. Olyan modellekkel működik, mint a Blenderbot és a WizardLM-7B, lehetővé téve számunkra, hogy egyedi igények alapján modelleket cseréljünk. A teljes folyamat helyileg működik, biztosítva az adatvédelmet, miközben fejlett NLP-képességeket biztosít külső API-függőség nélkül, így tökéletes jelölt a helyileg működtetett AI-módhoz.

Ebben az útmutatóban beállítjuk a helyi GPT-t Windows rendszeren. Kövesse az alábbi lépéseket.

1. Töltse le és telepítse a Minicondát
2. Telepítse a LocalGPT Repository-t
3. Függőségek telepítése
4. Futtassa a LocalGPT-t

Beszéljük meg őket részletesen.

1] Töltse le és telepítse a Minicondát

A Miniconda a Conda csomagkezelő könnyű disztribúciója, amelyet a Python környezetek gyors beállítására terveztek. Csak a leglényegesebbet biztosítja, lehetővé téve a felhasználók számára, hogy testreszabhassák telepítéseiket, szükség szerint speciális csomagok hozzáadásával. A letöltéshez látogasson el az anaconda.com oldalra, görgessen le, és lépjen a következő helyreMiniconda szerelők,majd töltse le a Windows rendszerre, ahogy ez az útmutató a Windows rendszerre vonatkozik.

Most futtassa a telepítőt, és kövesse a képernyőn megjelenő utasításokat a telepítési folyamat befejezéséhez, azonban győződjön meg arról, hogy amikor aSpeciális telepítési lehetőségek,jelölje be az összes négyzetet, és végül fejezze be a telepítést.

Ha ellenőrizni szeretné, hogy telepítve van-e vagy sem, keressen“Anaconda Prompt”a Start menüben, és nyissa meg a CLI-t. Most már futtathatja aconda listacsak annak megerősítésére, hogy telepítve van.

2] Telepítse a LocalGPT Repository-t

Most telepítenünk kell a LocalGPT Repository-t, amelyet a Prompt Engineer üzemeltet a GitHubon. Onnan szerezhetjük meg. Ehhez navigáljon idegithub.com. Az oldalon keresztül többet megtudhat a LocalGPT-ről, és a telepítéshez kattintson a gombraKód > ZIP letöltése.Miután letöltötte a ZIP-fájlt, lépjen aLetöltésmappát, kattintson a jobb gombbal a ZIP-fájlra, válassza a Kivonat lehetőséget, állítsa be azt a helyet, ahová ki szeretné bontani a fájlt, és fejezze be a folyamatot. Nyissa meg a kibontott mappát, benne lesz egy mappa, melynek neveLocalGPT-main.Csak az egyszerűség kedvéért beillesztjük a mappát az Asztalra, és elnevezzük„LGPT”.

3] Függőségek telepítése

Most létre kell hoznunk egy virtuális környezetet, ahol telepíteni fogjuk az összes függőséget. Ehhez nyissa meg a“Anaconda Prompt”a Start menüből, és futtassa a következő parancsokat.

conda create -n environment_name python=3.10

conda activate environment_name

Megjegyzés: Cserélje ki az „environment_name” változót tetszőleges névre.

Ha bármilyen csomag letöltését kéri, kérjük, adja meg hozzájárulását, és folytassa.

Most telepítenünk kell azt a csomagot, amelyet korábban letöltöttünk. Ehhez először a következő parancsokkal kell navigálnia a könyvtárba.

cd Desktop

cd LGPT

Ahelyett, hogy egyenként telepítenénk az összes összetevőt, a következő paranccsal telepíthetjük az összeset egyszerre.

pip install -r requirements.txt

Két hibával találkozhat.

• fáklya importálása ModuleNotFoundError:Fut

  pip install torch torchvision torchaudiomajd futtassa a fent említett parancsot.

• Microsoft C++ szükséges:Kattintson az említett URL-re, és a gombra kattintva töltse le a Visual Studio-tÉpítőeszközök letöltése,a Visual Studio megnyitása után át kell mennie a nem rendelkező eszközökön, és le kell töltenie azokat.

A probléma megoldása után futtassa újra a telepítő parancsot, és a telepítés után folytassa a következő lépéssel.

4] Futtassa a LocalGPT-t

Először is le kell futtatnia a Python feldolgozást, ami azt jelenti, hogy adatokat importál a forrásdokumentumokból, feldolgozza a dokumentumokat, és tárolja beágyazásaikat egy vektoros adatbázisban (Chroma DB). Ehhez a következő parancsot kell végrehajtania.

python ingest.py

Javasoljuk, hogy tartsa szemmel a CPU-használatot a Feladatkezelő segítségével.

Most, anyissa meg a LocalGPT könyvtárában található állandós.py fájlt. Tiltsa le a Llama 3 modellt egy megjegyzés hozzáadásával a sorához, és aktiválja a Llama 2 modellt (7B paraméterek) a megjegyzés eltávolításával a sorából.

Ha elkészült, futtassa a LocalGPT-t a következő paranccsal.

python run_local_gpt.py

Ha hibát észlel, amely azt jelzilámahiányzik, fusspip telepítése llama-cpp-python.

Remélhetőleg ennek az útmutatónak a segítségével helyileg is futtathatja a LocalGPT-t a számítógépén.

Olvas:

Hogyan telepítsem a PrivateGPT-t Windowsra?