Cómo configurar LocalGPT en Windows para principiantes

Si no desea pagar un LLM o desea mantener sus datos seguros, puededebería configurar LocalGPT. Le permite tener control total sobre cómo opera y procesa los datos la IA. También garantiza la privacidad ya que todos los datos permanecen en su sistema local en lugar de enviarse a servidores externos.

Configurar GPT local en una PC con Windows

LocalGPT es una herramienta de código abierto inspirada enprivadoGPT, diseñado para ejecutar modelos de lenguaje grandes (LLM) localmente en dispositivos de usuario para uso privado. A diferencia de privateGPT, que depende únicamente de la ejecución de la CPU, LocalGPT admite la aceleración de hardware a través de GPU para un mejor rendimiento y una latencia reducida. En lugar del modelo GPT-4ALL y LlamaEmbeddings, que son bastante pesados, LocalGPT utiliza Vicuna-7B LLM e InstructorEmbeddings. Funciona con modelos como Blenderbot y WizardLM-7B permitiéndonos intercambiar modelos según necesidades específicas. Todo el proceso opera localmente, lo que garantiza la privacidad de los datos y al mismo tiempo ofrece capacidades avanzadas de PNL sin dependencia de API externa, lo que lo convierte en un candidato perfecto para un modo de IA operado localmente.

En esta guía, configuraremos GPT local en Windows. Puede seguir los pasos que se mencionan a continuación.

1. Descargar e instalar Miniconda
2. Instalar el repositorio LocalGPT
3. Instalar dependencias
4. Ejecute LocalGPT

Discutamoslos en detalle.

1]Descargue e instale Miniconda

Miniconda es una distribución ligera del administrador de paquetes Conda, diseñada para configurar entornos Python rápidamente. Proporciona sólo lo esencial, lo que permite a los usuarios personalizar sus instalaciones agregando paquetes específicos según sea necesario. Para descargarlo, vaya a anaconda.com, desplácese hacia abajo, vaya aInstaladores de Miniconda,y luego descárguelo para Windows ya que esta guía es para Windows.

Ahora, ejecute el instalador y siga las instrucciones en pantalla para completar el proceso de instalación; sin embargo, asegúrese de que cuando esté en elOpciones de instalación avanzadas,marque todas las casillas y, finalmente, complete la instalación.

Para comprobar si está instalado o no, busque“Aviso Anaconda”en el menú Inicio y abra la CLI. Ahora puedes ejecutar ellista de condassolo para confirmar que está instalado.

2]Instalar el repositorio LocalGPT

Ahora, necesitamos instalar el repositorio LocalGPT alojado en GitHub por Prompt Engineer. Podemos conseguirlo desde allí. Para hacerlo, navegue hastagithub.com. Puede visitar la página para obtener más información sobre LocalGPT y, para instalarlo, debe hacer clic enCódigo > Descargar ZIP.Una vez descargado el archivo ZIP, vaya a laDescargarcarpeta, haga clic derecho en el archivo ZIP, seleccione Extraer, establezca una ubicación donde desea extraer el archivo y complete el proceso. Abra la carpeta extraída, dentro de ella, encontrará una carpeta llamadaLocalGPT-principal.Para simplificar, pegamos la carpeta en el escritorio y le asignamos el nombre“LGPT”.

3]Instalar dependencias

Ahora necesitamos crear un entorno virtual donde instalaremos todas las dependencias. Para ello, abra el“Aviso Anaconda”desde el menú Inicio y ejecute los siguientes comandos.

conda create -n environment_name python=3.10

conda activate environment_name

Nota: Reemplace la variable "nombre_entorno" con cualquier nombre de su elección.

Si le solicita que descargue algún paquete, dé su consentimiento y continúe.

Ahora, necesitamos instalar el paquete que descargamos y extrajimos anteriormente. Para hacerlo, primero debe navegar al directorio usando los siguientes comandos.

cd Desktop

cd LGPT

En lugar de instalar todos los componentes uno por uno, podemos usar el siguiente comando para instalarlos todos a la vez.

pip install -r requirements.txt

Puede encontrar dos errores.

• importar antorcha ModuleNotFoundError:Correr

  pip instalar antorcha torchvision torchaudioy luego ejecute el comando antes mencionado.

• Se requiere Microsoft C++:Haga clic en la URL mencionada y descargue Visual Studio haciendo clic enDescargar herramientas de compilación,Una vez que Visual Studio esté abierto, deberá revisar las herramientas que no tiene y descargarlas.

Después de resolver el problema, ejecute el comando del instalador nuevamente y, una vez instalado, continúe con el siguiente paso.

4]Ejecute LocalGPT

En primer lugar, debe ejecutar Python Ingestion, lo que significa importar datos de los documentos de origen, procesar sus documentos y almacenar sus incrustaciones en una base de datos vectorial (Chroma DB). Para hacerlo, debe ejecutar el siguiente comando.

python ingest.py

Le recomendamos que controle el uso de la CPU mediante el Administrador de tareas.

Ahora, unAcceda al archivo constantes.py dentro de su directorio LocalGPT. Deshabilite el modelo Llama 3 agregando un comentario a su línea y active el modelo Llama 2 (parámetros 7B) eliminando el comentario de su línea.

Una vez hecho esto, debe ejecutar LocalGPT usando el siguiente comando.

python run_local_gpt.py

Si encuentra un error que indica quellamafalta, correpip instala llama-cpp-python.

Con suerte, podrá ejecutar LocalGPT en su computadora localmente con la ayuda de esta guía.

Leer:

¿Cómo instalar PrivateGPT en Windows?