Como configurar LocalGPT no Windows para iniciantes

Se você não quiser pagar por um LLM ou quiser manter seus dados seguros, vocêdeve configurar LocalGPT. Ele permite que você tenha controle total sobre como a IA opera e processa os dados. Também garante a privacidade, uma vez que todos os dados permanecem no seu sistema local em vez de serem enviados para servidores externos.

Configure o GPT local no PC com Windows

LocalGPT é uma ferramenta de código aberto inspirada emprivadoGPT, projetado para executar modelos de linguagem grandes (LLMs) localmente em dispositivos de usuário para uso privado. Ao contrário do privateGPT, que depende exclusivamente da execução da CPU, o LocalGPT oferece suporte à aceleração de hardware por meio de GPUs para melhor desempenho e latência reduzida. Em vez do modelo GPT-4ALL e LlamaEmbeddings, que são bastante robustos, LocalGPT usa Vicuna-7B LLM e InstructorEmbeddings. Funciona com modelos como Blenderbot e WizardLM-7B, permitindo-nos trocar modelos com base em necessidades específicas. Todo o pipeline opera localmente, garantindo a privacidade dos dados e ao mesmo tempo fornecendo recursos avançados de PNL sem dependência de API externa, tornando-o um candidato perfeito para um modo de IA operado localmente.

Neste guia, configuraremos o GPT local no Windows. Você pode seguir as etapas mencionadas abaixo.

1. Baixe e instale o Miniconda
2. Instale o repositório LocalGPT
3. Instalar dependências
4. Execute LocalGPT

Vamos discuti-los em detalhes.

1] Baixe e instale o Miniconda

Miniconda é uma distribuição leve do gerenciador de pacotes Conda, projetada para configurar ambientes Python rapidamente. Ele fornece apenas o essencial, permitindo aos usuários personalizar suas instalações adicionando pacotes específicos conforme necessário. Para baixá-lo, acesse anaconda.com, role para baixo, vá paraInstaladores Miniconda,e baixe-o para Windows, pois este guia é para Windows.

Agora, execute o instalador e siga as instruções na tela para concluir o processo de instalação, porém, certifique-se de que quando estiver noOpções avançadas de instalação,marque todas as caixas e, por fim, conclua a instalação.

Para verificar se está instalado ou não, pesquise“Prompt Anaconda”no menu Iniciar e abra a CLI. Agora você pode executar olista de condasapenas para confirmar que está instalado.

2] Instale o repositório LocalGPT

Agora, precisamos instalar o Repositório LocalGPT hospedado no GitHub pelo Prompt Engineer. Podemos obtê-lo a partir daí. Para fazer isso, navegue atégithub.com. Você pode percorrer a página para saber mais sobre o LocalGPT e para instalá-lo é necessário clicar emCódigo> Baixar ZIP.Depois que o arquivo ZIP for baixado, vá para oDownloadpasta, clique com o botão direito no arquivo ZIP, selecione Extrair, defina um local onde deseja extrair o arquivo e conclua o processo. Abra a pasta extraída, dentro dela você encontrará uma pasta chamadaLocalGPT-principal.Apenas por uma questão de simplicidade, estamos colando a pasta na área de trabalho e nomeando-a“LGPT”.

3] Instale dependências

Agora precisamos criar um ambiente virtual onde instalaremos todas as dependências. Para fazer isso, abra o“Prompt Anaconda”no menu Iniciar e execute os seguintes comandos.

conda create -n environment_name python=3.10

conda activate environment_name

Nota: Substitua a variável “nome_ambiente” por qualquer nome de sua escolha.

Se for solicitado que você baixe algum pacote, dê seu consentimento e prossiga.

Agora, precisamos instalar o pacote que baixamos e extraímos anteriormente. Para fazer isso, primeiro você precisa navegar até o diretório usando os seguintes comandos.

cd Desktop

cd LGPT

Em vez de instalar todos os componentes um por um, podemos usar o seguinte comando para instalar todos eles de uma vez.

pip install -r requirements.txt

Você pode encontrar dois erros.

• importar tocha ModuleNotFoundError:Correr

  pip instalar tocha torchvision torchaudioe, em seguida, execute o comando mencionado acima.

• Microsoft C++ é necessário:Clique no URL mencionado e baixe o Visual Studio clicando emBaixe ferramentas de construção,depois que o Visual Studio estiver aberto, você precisará passar pelas ferramentas que não possui e baixá-las.

Depois de resolver o problema, execute o comando do instalador novamente e, uma vez instalado, passe para a próxima etapa.

4] Execute LocalGPT

Primeiro de tudo, você precisa executar o Python Ingestion, o que significa importar dados dos documentos de origem, processar seus documentos e armazenar seus embeddings em um banco de dados vetorial (Chroma DB). Para fazer isso, você precisa executar o seguinte comando.

python ingest.py

Recomendamos que você fique de olho no uso da CPU usando o Gerenciador de Tarefas.

Agora, umAcesse o arquivo constantes.py em seu diretório LocalGPT. Desabilite o modelo Llama 3 adicionando um comentário à sua linha, e ative o modelo Llama 2 (parâmetros 7B) removendo o comentário de sua linha.

Uma vez feito isso, você precisa executar o LocalGPT usando o seguinte comando.

python run_local_gpt.py

Se você encontrar um erro informando quelhamaestá faltando, corrapip instale lhama-cpp-python.

Esperançosamente, você conseguirá executar LocalGPT em seu computador localmente com a ajuda deste guia.

Ler:

Como instalar o PrivateGPT no Windows?