Jak nastavit LocalGPT ve Windows pro začátečníky

Pokud nechcete platit za LLM nebo chcete mít svá data v bezpečí, vyby měl nastavit LocalGPT. Umožňuje vám mít plnou kontrolu nad tím, jak AI funguje a zpracovává data. Zajišťuje také soukromí, protože všechna data zůstávají ve vašem místním systému, místo aby byla odesílána na externí servery.

Nastavte místní GPT na Windows PC

LocalGPT je open-source nástroj inspirovanýprivateGPT, navržený ke spuštění velkých jazykových modelů (LLM) lokálně na uživatelských zařízeních pro soukromé použití. Na rozdíl od privateGPT, který se spoléhá pouze na provádění CPU, LocalGPT podporuje hardwarovou akceleraci prostřednictvím GPU pro lepší výkon a nižší latenci. Místo modelu GPT-4ALL a LlamaEmbeddings, které jsou pěkně mohutné, používá LocalGPT Vicuna-7B LLM a InstructorEmbeddings. Funguje s modely jako Blenderbot a WizardLM-7B, což nám umožňuje vyměňovat modely podle konkrétních potřeb. Celý kanál funguje lokálně, zajišťuje soukromí dat a zároveň poskytuje pokročilé možnosti NLP bez závislosti na externím rozhraní API, což z něj dělá perfektního kandidáta pro lokálně provozovaný režim AI.

V této příručce nastavíme místní značku GPT ve Windows. Můžete postupovat podle níže uvedených kroků.

1. Stáhněte a nainstalujte Miniconda
2. Nainstalujte úložiště LocalGPT
3. Nainstalujte závislosti
4. Spusťte LocalGPT

Pojďme si je podrobně probrat.

1] Stáhněte a nainstalujte Miniconda

Miniconda je odlehčená distribuce správce balíčků Conda, navržená pro rychlé nastavení prostředí Pythonu. Poskytuje pouze to nejnutnější a umožňuje uživatelům přizpůsobit své instalace přidáním konkrétních balíčků podle potřeby. Chcete-li si jej stáhnout, přejděte na anaconda.com, přejděte dolů a přejděte naInstalátoři Miniconda,a poté si ji stáhněte pro Windows, protože tato příručka je pro Windows.

Nyní spusťte instalační program a dokončete proces instalace podle pokynů na obrazovce, ujistěte se však, že když jste naPokročilé možnosti instalace,zaškrtněte všechna políčka a nakonec dokončete instalaci.

Chcete-li zkontrolovat, zda je nainstalován nebo ne, vyhledejte“Výzva Anaconda”v nabídce Start a otevřete CLI. Nyní můžete spustitconda seznamjen pro potvrzení, že je nainstalován.

2] Nainstalujte úložiště LocalGPT

Nyní musíme nainstalovat úložiště LocalGPT, které hostuje na GitHubu Prompt Engineer. Můžeme to odtud dostat. Chcete-li tak učinit, přejděte nagithub.com. Můžete projít stránku, abyste se dozvěděli více o LocalGPT a abyste ji mohli nainstalovat, musíte kliknout naKód > Stáhnout ZIP.Jakmile je soubor ZIP stažen, přejděte naStáhnoutsložku, klikněte pravým tlačítkem na soubor ZIP, vyberte možnost Rozbalit, nastavte umístění, kam chcete soubor rozbalit, a dokončete proces. Otevřete extrahovanou složku, v ní se objeví složka s názvemLocalGPT-hlavní.Jen pro jednoduchost vložíme složku na Plochu a pojmenujeme ji„LGPT“.

3] Nainstalujte závislosti

Nyní musíme vytvořit virtuální prostředí, kam budeme instalovat všechny závislosti. Chcete-li tak učinit, otevřete“Výzva Anaconda”z nabídky Start a spusťte následující příkazy.

conda create -n environment_name python=3.10

conda activate environment_name

Poznámka: Nahraďte proměnnou „název_prostředí“ libovolným názvem podle svého výběru.

Pokud vás požádá o stažení jakéhokoli balíčku, dejte prosím svůj souhlas a pokračujte.

Nyní musíme nainstalovat balíček, který jsme dříve stáhli extrahovaný. Chcete-li to provést, musíte nejprve přejít do adresáře pomocí následujících příkazů.

cd Desktop

cd LGPT

Namísto instalace všech součástí jednu po druhé, můžeme použít následující příkaz k instalaci všech najednou.

pip install -r requirements.txt

Můžete narazit na dvě chyby.

• import baterky ModuleNotFoundError:Běh

  pip install torch torchvision torchaudioa poté spusťte výše uvedený příkaz.

• Vyžaduje se Microsoft C++:Klikněte na zmíněnou adresu URL a kliknutím na stáhněte Visual StudioStáhněte si nástroje pro sestavení,jakmile je Visual Studio otevřené, musíte projít nástroje, které nemáte, a stáhnout je.

Po vyřešení problému spusťte znovu příkaz instalačního programu a po instalaci přejděte k dalšímu kroku.

4] Spusťte LocalGPT

Nejprve musíte spustit Python Ingestion, což znamená import dat ze zdrojových dokumentů, zpracování vašich dokumentů a uložení jejich vložení do vektorové databáze (Chroma DB). Chcete-li tak učinit, musíte provést následující příkaz.

python ingest.py

Doporučujeme vám sledovat využití procesoru pomocí Správce úloh.

Nyní, apřistupte k souboru Constants.py ve vašem adresáři LocalGPT. Deaktivujte model Llama 3 přidáním komentáře na jeho řádek a aktivujte model Llama 2 (7B parametry) odstraněním komentáře z jeho řádku.

Po dokončení musíte spustit LocalGPT pomocí následujícího příkazu.

python run_local_gpt.py

Pokud narazíte na chybu, která to uvádílamachybí, běžpip install lama-cpp-python.

Doufejme, že s pomocí této příručky budete moci spouštět LocalGPT na vašem počítači lokálně.

Číst:

Jak nainstalovat PrivateGPT na Windows?