Un usuario logra ejecutar un modelo de inteligencia artificial en una Xbox 360
Andrei David ha logrado ejecutar un modelo de inteligencia artificial Llama 2 en una Xbox 360, desafiando las limitaciones de esta consola de casi 20 años.
Andrei David, un usuario de X (anteriormente Twitter), ha logrado un hito impresionante al instalar y ejecutar un modelo de inteligencia artificial basado en Llama 2 en una consola Xbox 360, un dispositivo que tiene casi 20 años de antigüedad. Utilizando un bootloader, David pudo cargar el modelo en la antigua consola y probar una solicitud específica.
Esta hazaña fue inspirada por el reciente intento exitoso del EXO Lab de ejecutar Llama en un PC con Windows 98. Aunque el modelo de IA utilizado en la Xbox 360 se basa en el mismo que se implementó en el Pentium II del EXO Lab, David tuvo que optimizar el código específicamente para la arquitectura PowerPC de la consola y manejar las características de gestión de memoria únicas de este sistema.
Uno de los principales retos que enfrentó fue la diferencia en la forma en que las arquitecturas manejan el almacenamiento. La Xbox 360 utiliza una arquitectura big-endian, lo que significa que almacena primero los valores más significativos, mientras que el procesador Intel Pentium II es little-endian, donde se prioriza el almacenamiento de los valores más pequeños. Para garantizar la correcta ejecución del modelo, David implementó un sistema de intercambio de bytes y se aseguró de que todos los datos creados y almacenados cumplieran con la alineación de memoria de 128 bytes requerida por el subsistema de memoria de la consola.
A pesar de contar con 512 MB de RAM unificada, otro desafío fue asegurarse de que el modelo de 60 MB se ajustara al espacio asignado que el sistema destina a la CPU y la GPU, ya que ambas comparten la misma piscina de memoria. Con una gestión cuidadosa de la memoria y ajustes específicos para la arquitectura PowerPC, David consiguió que esta antigua consola corriera el modelo LLM con éxito.
El éxito de David representa un avance significativo hacia el objetivo del EXO Lab de democratizar el acceso a la inteligencia artificial, alejándolo del monopolio de las grandes corporaciones. Además, David ha manifestado su interés en probar modelos de IA más potentes en el Xbox 360, lo que genera expectación sobre las futuras capacidades de esta consola.