Si desea ejecutar modelos de lenguaje grandes o LLM en su computadora, una de las formas más sencillas de hacerlo es a través de Ollama. Ollama es una poderosa plataforma de código abierto que ofrece una experiencia de IA personalizable y de fácil acceso. Facilita la descarga, instalación e interacción., sin necesidad de depender de plataformas basadas en la nube ni requerir experiencia técnica.

Además de las ventajas anteriores, Ollama es bastante liviano y se actualiza periódicamente, lo que lo hace muy adecuado para crear y administrar LLM en máquinas locales. Por lo tanto, no necesita servidores externos ni configuraciones complicadas. Ollama también admite múltiples sistemas operativos, incluidos Windows, Linux y macOS, así como varios entornos Docker. Continúe leyendo para aprender cómo usar Ollama para ejecutar LLM en su máquina con Windows.

Descargando e instalando Ollama

1. Primero, visita la Ollama.y seleccione su sistema operativo antes de hacer clic en el botón 'Descargar'. Alternativamente, puedes descargar Ollama desde su.

2. Una vez que se complete la descarga, ábrela e instálala en tu máquina. El instalador se cerrará automáticamente una vez completada la instalación.

3. En Windows, puedes comprobar si Ollama se está ejecutando o no haciendo clic en el botón de desbordamiento de la barra de tareas para ver los iconos ocultos.

Personalización y uso de Ollama

Una vez instalado Ollama en tu ordenador, lo primero que debes hacer es cambiar dónde almacena sus datos. De forma predeterminada, la ubicación de almacenamiento esC:\Users\%username%\.ollama\modelspero como los modelos de IA pueden ser bastante grandes, su unidad C puede llenarse rápidamente. Para hacerlo,

1. Primero, haga clic en el icono de Ollama en la barra de tareas y haga clic en 'Salir de Ollama'.

2. Una vez que Ollama haya salido, abra el menú Inicio, escribaenvironment variablesy haga clic en 'Editar las variables de entorno del sistema'.

3. Cuando se abra el cuadro de diálogo Variables del sistema, haga clic en el botón 'Variables de entorno' en la pestaña 'Avanzado'.

4. Haga clic en el botón 'Nuevo' de su cuenta de usuario y cree una variable llamadaOLLAMA_MODELSen el campo 'Nombre de variable'.

5. Luego escriba la ubicación del directorio donde desea que Ollama almacene sus modelos en el campo 'Valor variable'. Luego haga clic en el botón 'Aceptar' antes de iniciar Ollama desde el menú Inicio.

Nota:También puede configurar otras variables del sistema para Ollama, como 'Ollama_Host', 'Ollama_Port', 'Ollama_Origins', 'Ollama_Debug' y más. Asegúrese de consultar la documentación antes de utilizar estas variables.

6. Ahora está listo para comenzar a usar Ollama y puede hacerlo con Llama 3 8B de Meta, el último modelo de inteligencia artificial de código abierto de la compañía. Para ejecutar el modelo, inicie un símbolo del sistema, Powershell o una ventana de Terminal de Windows desde el menú Inicio.
7. Una vez que se abra la ventana del símbolo del sistema, escribaollama run llama3y presione Entrar. El modelo tiene cerca de 5 GB, por lo que descargarlo llevará tiempo.

8. Una vez que se completa la descarga, puedes comenzar a usar Llama 3 8B y conversar con él directamente en la ventana de línea de comando. Por ejemplo, puedes preguntarle al modelo.Who are you?y presione Enter para obtener una respuesta.

9. Ahora puede continuar la conversación y hacer preguntas a los modelos de IA sobre diversos temas. Solo ten en cuenta que Llama 3 puede cometer errores y alucinar, por lo que debes tener cuidado al usarlo.
10. También puedes probar otros modelos visitando la página de la biblioteca de modelos de Ollama. Además, existen varios comandos que puedes ejecutar para probar diferentes funcionalidades que ofrece Ollama.
11. También puede realizar varias operaciones mientras ejecuta un modelo, como configurar variables de sesión, mostrar información del modelo, guardar una sesión y más.
12. Ollama también te permite aprovechar los modelos de IA multimodal para reconocer imágenes. Por ejemplo, el modelo LLava puede reconocer imágenes generadas por DALLE-3. Puede describir imágenes en detalle.
13. Si tiene errores al ejecutar Ollama, puede consultar los registros para averiguar cuál es el problema. Utilice elWin + Racceso directo para abrir el cuadro de diálogo Ejecutar y luego escribirexplorer %LOCALAPPDATA%\\Ollama # View logsdentro de él antes de presionar Enter.

14. También puedes usar otros comandos comoexplorer %LOCALAPPDATA%\\Programs\\Ollamayexplorer %HOMEPATH%\\.ollamapara verificar los binarios, el modelo y la ubicación de almacenamiento de la configuración.

Nota:Los modelos de IA más pequeños como Llama 3 8B pueden ejecutarse en su máquina si solo tiene gráficos integrados. Sin embargo, si tiene una GPU Nvidia dedicada, puede ejecutar modelos más grandes instalando CUDA Toolkit. No todas las GPU de AMD pueden ejecutar modelos de IA, pero aquellas que sí pueden no requieren el kit de herramientas.

Cosas que debes saber

• Ollama detecta automáticamente su GPU para ejecutar modelos de IA, pero en máquinas con varias GPU, puede seleccionar la incorrecta. Para evitar esto, abra el Panel de control de Nvidia y configure la Pantalla en "Sólo GPU Nvidia".
• Es posible que el Modo de visualización no esté disponible en todas las máquinas y tampoco esté disponible cuando conecta su computadora a pantallas externas.
• En Windows, puede verificar si Ollama está usando la GPU correcta usando el Administrador de tareas, que mostrará el uso de la GPU y le permitirá saber cuál se está usando.
• Si bien la instalación de Ollama en macOS y Linux es un poco diferente a la de Windows, el proceso de ejecutar LLM a través de él es bastante similar.