Docker Desktop 4.40 lanza el Docker Model Runner para ejecutar LLMs localmente en macOS
Docker Desktop 4.40 introduce el Docker Model Runner, permitiendo a los desarrolladores ejecutar Modelos de Lenguaje grandes localmente en macOS, impulsando su productividad.
Docker, Inc. ha anunciado el lanzamiento de la versión 4.40 de Docker Desktop, destacando una serie de nuevas funcionalidades que prometen facilitar el trabajo de los desarrolladores. Una de las características más relevantes es el Docker Model Runner, que permite ejecutar Large Language Models (LLMs) localmente desde la línea de comandos. Esta función se encuentra actualmente en versión beta y está disponible exclusivamente para macOS.
El Docker AI Agent ha sido mejorado, ofreciendo ahora capacidades adicionales, como la gestión de archivos locales y la ejecución de comandos de Git. Además, el agente es compatible con el Model Context Protocol (MCP), lo que amplía su funcionalidad al integrarse con flujos de trabajo que van más allá de Docker.
Aunque en esta fase beta el Docker Model Runner solo está disponible para macOS, se anticipa que se añadirá soporte para Windows y otros sistemas operativos en el futuro. Esta herramienta permite a los desarrolladores descargar modelos desde Docker Hub mediante el comando docker model pull y ejecutarlos localmente, incluso fuera de un contenedor.
La interacción con los LLMs se realiza de manera sencilla a través de la línea de comandos, ya sea mediante un prompt o en modo chat. Para la inferencia, Docker ha integrado la biblioteca de código abierto llama.cpp, que permite el acceso a la API de OpenAI. Además, los modelos están empaquetados como artefactos OCI, lo que facilita su incorporación en flujos de trabajo de CI/CD establecidos y en registros de confianza.
Entre otras novedades de esta versión, se destaca la gestión de configuraciones de escritorio y el cumplimiento-reporting para clientes de Docker Business, que complementan las mejoras introducidas en versiones anteriores. Para obtener un resumen completo de todos los cambios, los interesados pueden consultar el blog de Docker y las notas de la versión.