Jak skonfigurować LocalGPT w systemie Windows dla początkujących

Jeśli nie chcesz płacić za LLM lub chcesz chronić swoje dane, typowinien skonfigurować LocalGPT. Pozwala mieć pełną kontrolę nad tym, jak sztuczna inteligencja działa i przetwarza dane. Zapewnia również prywatność, ponieważ wszystkie dane pozostają w systemie lokalnym, a nie są wysyłane na serwery zewnętrzne.

Skonfiguruj lokalny GPT na komputerze z systemem Windows

LocalGPT to narzędzie typu open source inspirowaneprywatnyGPT, przeznaczony do lokalnego uruchamiania dużych modeli językowych (LLM) na urządzeniach użytkowników do użytku prywatnego. W przeciwieństwie do privateGPT, który opiera się wyłącznie na wykonaniu procesora, LocalGPT obsługuje akcelerację sprzętową za pośrednictwem procesorów graficznych, zapewniając lepszą wydajność i mniejsze opóźnienia. Zamiast modelu GPT-4ALL i LlamaEmbeddings, które są dość mocne, LocalGPT używa Vicuna-7B LLM i InstructorEmbeddings. Współpracuje z modelami takimi jak Blenderbot i WizardLM-7B, umożliwiając nam wymianę modeli w zależności od konkretnych potrzeb. Cały potok działa lokalnie, zapewniając prywatność danych, zapewniając jednocześnie zaawansowane możliwości NLP bez konieczności polegania na zewnętrznych interfejsach API, co czyni go idealnym kandydatem do obsługiwanego lokalnie trybu sztucznej inteligencji.

W tym przewodniku skonfigurujemy lokalny GPT w systemie Windows. Możesz wykonać kroki wymienione poniżej.

1. Pobierz i zainstaluj Minicondę
2. Zainstaluj repozytorium LocalGPT
3. Zainstaluj zależności
4. Uruchom LocalGPT

Omówmy je szczegółowo.

1] Pobierz i zainstaluj Minicondę

Miniconda to lekka dystrybucja menedżera pakietów Conda, zaprojektowana do szybkiego konfigurowania środowisk Python. Zapewnia tylko podstawowe elementy, umożliwiając użytkownikom dostosowywanie instalacji poprzez dodawanie określonych pakietów w razie potrzeby. Aby go pobrać, przejdź do anaconda.com, przewiń w dół, przejdź doInstalatorzy Minicondy,a następnie pobierz go dla systemu Windows, ponieważ ten przewodnik jest przeznaczony dla systemu Windows.

Teraz uruchom instalator i postępuj zgodnie z instrukcjami wyświetlanymi na ekranie, aby zakończyć proces instalacji, jednak upewnij się, że będąc na stronieZaawansowane opcje instalacji,zaznacz wszystkie pola i na koniec zakończ instalację.

Aby sprawdzić, czy jest zainstalowany, czy nie, wyszukaj„Podpowiedź Anakondy”w menu Start i otwórz interfejs CLI. Teraz możesz uruchomićlista Condytylko po to, aby potwierdzić, że jest zainstalowany.

2] Zainstaluj repozytorium LocalGPT

Teraz musimy zainstalować repozytorium LocalGPT hostowane na GitHub przez inżyniera podpowiedzi. Możemy to stamtąd zabrać. Aby to zrobić, przejdź dogithub.com. Możesz przejść przez stronę, aby dowiedzieć się więcej o LocalGPT i aby go zainstalować, musisz kliknąćKod > Pobierz ZIP.Po pobraniu pliku ZIP przejdź doPobieraćfolderze, kliknij plik ZIP prawym przyciskiem myszy, wybierz Wyodrębnij, ustaw lokalizację, do której chcesz wyodrębnić plik i zakończ proces. Otwórz wyodrębniony folder, w nim znajdziesz folder o nazwieLocalGPT-main.Dla uproszczenia wklejamy folder na Pulpit i nazywamy go„LGPT”.

3] Zainstaluj zależności

Teraz musimy stworzyć środowisko wirtualne, w którym zainstalujemy wszystkie zależności. Aby to zrobić, otwórz plik„Podpowiedź Anakondy”z menu Start i uruchom następujące polecenia.

conda create -n environment_name python=3.10

conda activate environment_name

Uwaga: Zastąp zmienną „nazwa_środowiska” dowolną wybraną nazwą.

Jeśli poprosi Cię o pobranie dowolnego pakietu, wyraź zgodę i kontynuuj.

Teraz musimy zainstalować pakiet, który pobraliśmy i wyodrębniliśmy wcześniej. Aby to zrobić, musisz najpierw przejść do katalogu za pomocą następujących poleceń.

cd Desktop

cd LGPT

Zamiast instalować wszystkie komponenty jeden po drugim, możemy użyć następującego polecenia, aby zainstalować je wszystkie na raz.

pip install -r requirements.txt

Możesz napotkać dwa błędy.

• importuj latarkę ModuleNotFoundError:Uruchomić

  pip zainstaluj torch torchvision torchaudioa następnie uruchom powyższe polecenie.

• Wymagany jest Microsoft C++:Kliknij wspomniany adres URL i pobierz Visual Studio, klikającPobierz narzędzia do budowania,po otwarciu programu Visual Studio musisz przejrzeć narzędzia, których nie masz i pobrać je.

Po rozwiązaniu problemu uruchom ponownie polecenie instalatora, a po zainstalowaniu przejdź do następnego kroku.

4] Uruchom LocalGPT

Przede wszystkim należy uruchomić Python Ingestion, czyli zaimportować dane z dokumentów źródłowych, przetworzyć dokumenty i zapisać ich osady w bazie danych wektorowych (Chroma DB). Aby to zrobić, musisz wykonać następujące polecenie.

python ingest.py

Zalecamy monitorowanie użycia procesora za pomocą Menedżera zadań.

Teraz, Auzyskaj dostęp do pliku Constants.py w katalogu LocalGPT. Wyłącz model Lamy 3, dodając komentarz do jego linii i aktywuj model Lamy 2 (parametry 7B), usuwając komentarz z jego linii.

Po zakończeniu musisz uruchomić LocalGPT za pomocą następującego polecenia.

python run_local_gpt.py

Jeśli napotkasz błąd informujący o tymlamabrakuje, uciekajpip zainstaluj llama-cpp-python.

Mamy nadzieję, że dzięki temu przewodnikowi będziesz mógł uruchomić LocalGPT na swoim komputerze lokalnie.

Czytać:

Jak zainstalować PrivateGPT w systemie Windows?