Ejecuta modelos de IA Generativa en tu ordenador: guía paso a paso para instalar LM Studio

Recientemente David recopilaba varios proyectos que nos permiten ejecutar modelos LLM en máquinas modestas, incluyendo ordenadores domésticos. Los modelos LLM han cambiado la manera en que interactuamos y utilizamos la IA. Ahora, además, es posible ejecutar estos potentes modelos en ordenadores personales facilitando tareas como traducción, extracción de datos e insights, análisis y resumen de textos o creación de contenido.

Algunas de las características más interesantes de los LLM disponibles incluyen la capacidad de generar texto coherente y creativo, la posibilidad de realizar tareas de procesamiento de lenguaje natural como la revisión y el resumen de texto, y la oportunidad de desarrollar aplicaciones inteligentes que puedan comprender y responder a las necesidades del usuario de manera más eficiente.

Instalar paso a paso de LM Studio

LM Studio es una herramienta fenomenal para iniciarse y ejecutar modelos LLM de manera local en tu ordenador. Incluso aunque sea un ordenador relativamente modesto, siempre y cuando cumpla con los requisitos mínimos. LM Studio está disponible para Mac, Windows y Linux.

💻 Para Mac, LM Studio requiere un procesador Apple Silicon (M1/M2/M3/M4). Como alternativa, Msty es una opción muy completa para ejecutar modelos LLM en ordenadores Mac con procesador Intel.

En este caso la instalación se refiere a un ordenador modesto con Windows, aunque el proceso es similar para otros sistemas operativos.

Paso 1: Comprobar los requisitos del sistema

Antes de empezar, comprueba que tu ordenador cumple con los requisitos mínimos para ejecutar LM Studio. Los dos requisitos más significativos son el procesador y la memoria RAM. Para un PC con Windows se sugieren 16 GB y procesador compatible con AVX2 para que LM Studio funcione correctamente.

• Abre Información del sistema.
• Busca Procesador y anota su nombre completo.
• Visita la web ARK de Intel o del sitio equivalente según la marca del procesador (AMD, etc.) y localiza tu procesador por su nombre o numeración completa.
• En el caso de la web de Intel, en el apartado Tecnologías Avanzadas, comprueba si tu procesador soporta AVX2 en la sección Extensiones del conjunto de instrucciones.
  
  
  Por ejemplo, un procesador Intel Core i5-1035G1 es compatible porque soporta AVX2.

■ Para modelos LLM pequeños y pruebas iniciales, 8 GB de RAM pueden ser suficientes. Para modelos medianos y grandes necesitarás 16 GB, 32 GB o más: cuanta más RAM tengas, mejor será el rendimiento de LM Studio.

Paso 2: Descargar LM Studio

• Utiliza el navegador web para acceder a la página web de LM Studio.

• Pulsa en la versión que quieres descargar (en este caso, para Windows).
• Guarda el archivo de instalación en el ordenador; por ejemplo, el escritorio o la carpeta 'Descargas'.

■ Si utilizas navegadores como Edge o Chrome, asegúrate de que las configuraciones de descarga no bloqueen archivos ejecutables.

Paso 3: Instalar LM Studio

• Ejecuta el archivo para iniciar la instalación.
• Sigue las instrucciones del instalador. Puedes dejar las opciones de instalación por defecto, incluyendo el modelo LLM sugerido (Llama 3.2 1B, de Meta) o descargar e instalar DeepSeek R1.

• Una vez finalizada la instalación, puedes marcar la opción de Start New Chat.

Paso 4: Primer arranque de LM Studio

• Cuando abras LM Studio por primera vez, te dará la bienvenida.

• Por defecto utiliza el modelo instalado en la instalación. Para empezar puedes probar con ese modelo porque ocupa poco espacio y requiere menos RAM, ideal para pruebas iniciales
• Puedes comunicarte con él en el idioma que prefieras.
• Puedes añadir otros modelos disponibles, como Granite de IBM con la opción buscar (icono lupa) a la izquierda.

• Haz clic en el modelo que quieres descargar.
• Asegúrate de que has seleccionado la versión más reciente, que normalmente suele estar en la parte superior. Una vez que tengas el modelo correcto seleccionado, haz clic en el botón Download.
• La descarga comenzará y verás una barra de progreso. Espera a que finalice la descarga.

Paso 5: Ejecutar el modelo descargado

• Una vez descargado el modelo, vuelve a la pestaña Chat en la barra lateral.
• En el menú desplegable Select a model to chat with, selecciona entre los modelos descargados si tienes más de uno.
• Ahora podrás escribir mensajes en la caja de texto y LM Studio ejecutará el modelo para generar respuestas.

■ Descarga otros modelos en LM Studio para comparar resultados y explorar capacidades.

Recuerda que cada modelo ocupa espacio en disco y algunos necesitan más procesador o memoria RAM, lo que puede afectar el rendimiento según las especificaciones de tu ordenador.

Adjuntar archivos y RAG

Los modelos LLM están limitados a los datos con los que fueron entrenados y no pueden incorporar información nueva o privada por sí mismos.

La opción Retrieval Augmented Generation (RAG) resuelve esto al habilitar el envío de documentos propios y privados desde nuestro ordenador para que el modelo los utilice y los tenga en cuenta como referencia para responder a las consultas.

Esto genera respuestas más precisas y relevantes, personalizadas según el contenido proporcionado.

• En LM Studio puedes subir hasta 5 archivos a la vez, con un tamaño máximo combinado de 30MB. Los formatos admitidos incluyen PDF, DOCX, TXT y CSV.
• Cuando preguntes a LM Studio sobre esos documentos, sé específico y menciona tantos detalles como sea posible para ayudar al modelo a recuperar la información más relevante de esos documentos.
• El modelo LLM analizará tu consulta y tus documentos para generar una respuesta. Puedes experimentar usando distintos documentos y probar con diferentes consultas o prompts.
  
  —Ejemplo: Si cargas un contrato particular o un convenio privado en formato PDF, por ejemplo, puedes adjuntarlo a la consulta y preguntarle al modelo detalles específicos sobre los términos.

Modo 'Developer' y opciones avanzadas en LM Studio

El modo Developer en LM Studio ofrece opciones adicionales y configuraciones para controlar mejor el modelo LLM, como habilitar integraciones con aplicaciones externas, optimizar el rendimiento para tareas específicas o ajustar la precisión de las respuestas.

Servidor local permite ejecutar el modelo en un entorno servidor, facilitando el acceso desde varios dispositivos o integraciones.

• Temperatura: controla el nivel de aleatoriedad en las respuestas del modelo. Valores bajos generan respuestas más coherentes y predecibles y valores altos introducen mayor variabilidad y ‘creatividad’ (y también más riesgo de incoherencias.)
• Top-K y Top-P: determinan cuántas opciones considerar al generar texto para equilibrar entre la variabilidad y precisión de las respuestas. Top-K para producir respuestas más rígidas y Top-P para introducir más flexibilidad.
• System Prompt: permite personalizar el contexto inicial o las instrucciones previas que se le dan al modelo LLM antes de responder a las consultas como establecer el tono y estilo ‘controlar’ su roleplay o comportamiento (‘Eres un experto en [tema]', 'Sé conciso en las respuestas’ o ‘incluye ejemplos en tus respuestas’)
  
  —Ejemplo: Si utilizas el modelo para resumir texto puedes ajustar la temperatura a un valor bajo para obtener respuestas más concisas y predecibles. O, si utilizas LM Studio para escribir correos electrónicos profesionales, puedes indicarle 'Actúa como un asistente profesional. Escribe mensajes claros, formales y orientados a la acción.'

■ Modificar estas opciones puede tener impacto en el rendimiento. Por ejemplo, para optimizar el uso de recursos, como la RAM y el CPU. También afectan a la calidad de las respuestas, mejorando su relevancia y adaptabilidad.

Ventajas de ejecutar modelos LLM en tu ordenador personal

• Privacidad: Trabajar con documentos personales como contratos, notas, cartas o diarios sin necesidad de subirlos a servicios externos protege tu información sensible.
• Autonomía: No dependes de una conexión a Internet ni de servidores externos, lo que garantiza un acceso continuo incluso sin conectividad.
• Optimización: Puedes personalizar el modelo para tareas específicas, como automatización de informes o generación de contenido relacionado con tu ámbito de estudio o trabajo.
• Ahorro: Si no necesitas mucha potencia puedes evitar el pago de suscripciones o las limitaciones de las versiones con opción gratuita.
• Aprendizaje: Aprender sobre cómo funcionan los modelos de lenguaje y experimentar con diferentes configuraciones ayuda a conocer cómo utilizarlos mejor. Familiarizarte con esta tecnología te permitirá explorar nuevas formas de generar ideas creativas y resolver problemas.
  
  —Ejemplo: Si estás organizando escritos o correo personal en formato PDF, usando LM Studio con RAG puedes buscar rápidamente mensajes específicos relacionados con un tema o fecha, ahorrando tiempo y esfuerzo.

o Prueba otros modelos disponibles en LM Studio, pero ten en cuenta que algunos modelos grandes pueden requerir mucha RAM y potencia de procesamiento.

o Ajusta las configuraciones en LM Studio (como la cantidad de memoria RAM que se utiliza) según tu hardware o los resultados que busques.

o Mantén LM Studio actualizado a la última versión para obtener las últimas funciones y correcciones de errores.

______

IA & Data

IA creativa en la empresa: cómo adaptar ChatGPT (y similares) a las necesidades de mi cliente

14 de agosto de 2024