Comment configurer LocalGPT sur Windows pour les débutants

Si vous ne souhaitez pas payer pour un LLM ou souhaitez conserver vos données en sécurité, vousdevrait configurer LocalGPT. Il vous permet d’avoir un contrôle total sur la façon dont l’IA fonctionne et traite les données. Il garantit également la confidentialité puisque toutes les données restent sur votre système local au lieu d'être envoyées à des serveurs externes.

Configurer le GPT local sur un PC Windows

LocalGPT est un outil open source inspiré deprivéGPT, conçu pour exécuter des modèles de langage étendus (LLM) localement sur les appareils des utilisateurs pour un usage privé. Contrairement à privateGPT, qui repose uniquement sur l'exécution du processeur, LocalGPT prend en charge l'accélération matérielle via les GPU pour de meilleures performances et une latence réduite. Au lieu du modèle GPT-4ALL et de LlamaEmbeddings, qui sont assez lourds, LocalGPT utilise Vicuna-7B LLM et InstructorEmbeddings. Il fonctionne avec des modèles comme Blenderbot et WizardLM-7B, nous permettant d'échanger des modèles en fonction de besoins spécifiques. L'ensemble du pipeline fonctionne localement, garantissant la confidentialité des données tout en offrant des fonctionnalités avancées de NLP sans dépendance à une API externe, ce qui en fait un candidat idéal pour un mode d'IA exploité localement.

Dans ce guide, nous allons configurer Local GPT sous Windows. Vous pouvez suivre les étapes mentionnées ci-dessous.

1. Téléchargez et installez Miniconda
2. Installer le référentiel LocalGPT
3. Installer les dépendances
4. Exécutez LocalGPT

Discutons-en en détail.

1] Téléchargez et installez Miniconda

Miniconda est une distribution légère du gestionnaire de packages Conda, conçue pour configurer rapidement des environnements Python. Il ne fournit que l'essentiel, permettant aux utilisateurs de personnaliser leurs installations en ajoutant des packages spécifiques selon leurs besoins. Pour le télécharger, allez sur anaconda.com, faites défiler vers le bas, allez surInstallateurs de Miniconda,puis téléchargez-le pour Windows car ce guide est pour Windows.

Maintenant, exécutez le programme d'installation et suivez les instructions à l'écran pour terminer le processus d'installation. Cependant, assurez-vous que lorsque vous êtes sur leOptions d'installation avancées,cochez toutes les cases et enfin terminez l’installation.

Pour vérifier s'il est installé ou non, recherchez"Invite Anaconda"dans le menu Démarrer et ouvrez la CLI. Maintenant, vous pouvez exécuter leliste de condasjuste pour confirmer qu'il est installé.

2] Installer le référentiel LocalGPT

Maintenant, nous devons installer le référentiel LocalGPT hébergé sur GitHub par Prompt Engineer. Nous pouvons l'obtenir à partir de là. Pour ce faire, accédez àgithub.com. Vous pouvez parcourir la page pour en savoir plus sur LocalGPT et pour l'installer, vous devez cliquer surCoder > Télécharger le ZIP.Une fois le fichier ZIP téléchargé, allez dans leTéléchargerdossier, cliquez avec le bouton droit sur le fichier ZIP, sélectionnez Extraire, définissez un emplacement où vous souhaitez extraire le fichier et terminez le processus. Ouvrez le dossier extrait, à l'intérieur, vous trouverez un dossier appeléLocalGPT-main.Par souci de simplicité, nous collons le dossier sur le bureau et le nommons« LGPT ».

3] Installer les dépendances

Nous devons maintenant créer un environnement virtuel dans lequel nous allons installer toutes les dépendances. Pour ce faire, ouvrez le"Invite Anaconda"dans le menu Démarrer et exécutez les commandes suivantes.

conda create -n environment_name python=3.10

conda activate environment_name

Remarque : Remplacez la variable « environment_name » par le nom de votre choix.

S'il vous demande de télécharger un package, veuillez donner votre consentement et continuer.

Maintenant, nous devons installer le package que nous avons téléchargé et extrait précédemment. Pour ce faire, vous devez d'abord accéder au répertoire à l'aide des commandes suivantes.

cd Desktop

cd LGPT

Au lieu d'installer tous les composants un par un, nous pouvons utiliser la commande suivante pour tous les installer en même temps.

pip install -r requirements.txt

Vous pouvez rencontrer deux erreurs.

• importer la torche ModuleNotFoundError :Courir

  pip installer la torche torchvision torchaudiopuis exécutez la commande susmentionnée.

• Microsoft C++ est requis :Cliquez sur l'URL mentionnée et téléchargez Visual Studio en cliquant surTéléchargez les outils de construction,une fois Visual Studio ouvert, vous devez parcourir les outils que vous n'avez pas et les télécharger.

Après avoir résolu le problème, exécutez à nouveau la commande du programme d'installation et une fois installée, passez à l'étape suivante.

4] Exécutez LocalGPT

Tout d'abord, vous devez exécuter l'ingestion Python, ce qui signifie importer des données à partir des documents sources, traiter vos documents et stocker leurs intégrations dans une base de données vectorielle (Chroma DB). Pour ce faire, vous devez exécuter la commande suivante.

python ingest.py

Nous vous recommandons de garder un œil sur l'utilisation du processeur à l'aide du Gestionnaire des tâches.

Maintenant, unAccédez au fichier constants.py dans votre répertoire LocalGPT. Désactivez le modèle Llama 3 en ajoutant un commentaire à sa ligne, et activez le modèle Llama 2 (paramètres 7B) en supprimant le commentaire de sa ligne.

Une fois cela fait, vous devez exécuter LocalGPT à l’aide de la commande suivante.

python run_local_gpt.py

Si vous rencontrez une erreur indiquant quelamamanque, courspip installe lama-cpp-python.

J'espère que vous pourrez exécuter LocalGPT sur votre ordinateur localement à l'aide de ce guide.

Lire:

Comment installer PrivateGPT sur Windows ?