Google Cloud presenta las nuevas máquinas virtuales A4X para inteligencia artificial a gran escala con 72 GPUs B200

Google Cloud lanza las A4X, potentes máquinas virtuales con 72 GPUs B200, diseñadas para optimizar cargas de trabajo de inteligencia artificial a gran escala.

Google Cloud ha presentado sus nuevas máquinas virtuales A4X, impulsadas por los sistemas NVL72 de Nvidia, diseñadas específicamente para cargas de trabajo de inteligencia artificial a gran escala. Estas máquinas virtuales están equipadas con 72 GPUs B200 y 36 CPUs Grace, lo que permite un intercambio de memoria eficiente entre las GPUs y mejora considerablemente los tiempos de respuesta e inferencia.

Las A4X destacan por ofrecer una eficiencia de entrenamiento cuatro veces superior a la de las anteriores máquinas A3, prometiendo más de 1 ExaFLOPS de potencia de computación. Esto se traduce en un rendimiento excepcional, idóneo para modelos de lenguaje avanzados que requieren grandes capacidades de procesamiento y situaciones de alta concurrencia.

Además, las VMs A4X incorporan adaptadores de red Titanium ML, que permiten un tráfico GPU a GPU de 28.8 terabits por segundo, facilitando una conexión fluida entre un elevado número de nodos en Google Kubernetes Engine (GKE). El sistema soporta despliegues de hasta 65,000 nodos, lo que potencia la escalabilidad y el rendimiento en entornos de inteligencia artificial voluminosos.

Estas máquinas virtuales también optimizan su rendimiento al integrar servicios en la nube como Cloud Storage FUSE, que mejora el rendimiento del almacenamiento de datos para el entrenamiento en un 2.9 veces, y Hyperdisk ML, que acelera los tiempos de carga de los modelos en un 11.9 veces. En conjunto, estas características hacen que las A4X se posicionen como una solución robusta para equipos de IA que buscan maximizar la utilización de GPU en despliegues grandes.

Google Cloud ofrece tanto las máquinas virtuales A4, que están orientadas al entrenamiento general de IA, como las A4X, enfocadas en escenarios de IA a gran escala. Sin embargo, hasta el momento no se ha divulgado información sobre los precios de estos nuevos recursos.