Fujitsu desarrolla la primera tecnología del mundo para optimizar el procesamiento de CPU y GPU en tiempo real con el fin de hacer frente a la escasez mundial de GPU

Fujitsu Europe

Madrid, November 30, 2023

Resumen de la nota de prensa enviada por Fujitsu Limited el 9 de noviembre de 2023: https://www.fujitsu.com/global/about/resources/news/press-releases/2023/1109-01.html

Fujitsu ha anunciado el desarrollo de la primera tecnología del mundo que optimiza el uso de CPU y GPU asignando recursos en tiempo real para dar prioridad a los procesos con alta eficiencia de ejecución, incluso cuando se utilizan programas que emplean GPU.
Fujitsu ha diseñado esta nueva tecnología para hacer frente a la escasez mundial de GPU debido a la explosiva demanda de IA generativa, aprendizaje profundo y otras aplicaciones, optimizando los recursos de computación existentes de los usuarios.

La multinacional también ha desarrollado una nueva tecnología para el procesamiento paralelo que conmuta el procesamiento de múltiples programas en tiempo real sin esperar a la finalización de un programa en ejecución en un sistema HPC que realiza cálculos a gran escala mediante la vinculación de varios ordenadores. Esta tecnología permite ejecutar inmediatamente el procesamiento de aplicaciones que requieren recursos computacionales a gran escala y rendimiento en tiempo real, como los programas de gemelos digitales y de IA generativa.

Fujitsu proporcionará la tecnología recientemente desarrollada como parte de un futuro corredor de carga de trabajo de computación, una iniciativa de software actualmente en desarrollo que permite a la IA calcular y seleccionar automáticamente el recurso más adecuado para un problema que los clientes quieren resolver de acuerdo con sus requisitos, incluyendo el tiempo de cálculo, la precisión de cálculo y el coste, y continuará validando esta tecnología con los clientes, para realizar una plataforma que pueda resolver problemas sociales y crear innovación para lograr un futuro sostenible.

Características de la nueva tecnología
1. Primera tecnología del mundo que utiliza la CPU y la GPU incluso durante el procesamiento de programas.

Fujitsu ha desarrollado la primera tecnología del mundo capaz de distinguir entre los programas que requieren una GPU y los que pueden ser procesados por una CPU, incluso cuando se están procesando varios programas, mediante la predicción de la tasa de aceleración y la asignación de GPU en tiempo real para el procesamiento de programas de alta prioridad.
Por ejemplo, como se muestra en la Figura 1, si el usuario desea procesar eficientemente tres programas utilizando una CPU y dos GPUs, es posible asignar GPUs a los programas 1 y 2 en función de la disponibilidad de GPUs. A continuación, en respuesta a la solicitud del programa 3, la asignación de GPU se cambia del programa 1 al programa 3 para medir el rendimiento, y se mide el grado de aceleración del procesamiento en la GPU. Como resultado de la medición, se descubre que el tiempo total de procesamiento se reduciría asignando la GPU al programa 3 en lugar de al programa 1. Por lo tanto, la GPU se asignaría al programa 3 en lugar de al programa 1. Por lo tanto, la GPU se asignaría al programa 3 y la CPU al programa 1 durante ese tiempo. Una vez finalizado el programa 2, la GPU queda libre, por lo que la GPU se asigna de nuevo al programa 1 y, de este modo, los recursos computacionales se distribuyen de forma que el procesamiento del programa se complete en el menor tiempo posible.

Esta tecnología permite entrenar rápidamente modelos para el procesamiento de datos de IA gráfica en el desarrollo de aplicaciones como la IA mediante GPU y el reconocimiento avanzado de imágenes.

Figura 1. Imagen del cambio de asignación de CPU y GPU

2. Primera tecnología del mundo para conmutar en tiempo real la ejecución de múltiples programas en un sistema HPC

Fujitsu ha desarrollado la primera tecnología del mundo para la conmutación en tiempo real de la ejecución de múltiples programas que puede utilizarse sin esperar a que concluya el programa actual en un sistema HPC que enlaza varios ordenadores, lo que permite utilizar los sistemas HPC para ejecutar programas que requieren un rendimiento en tiempo real.

Dado que el método de control convencional utiliza la comunicación unicast, que conmuta la ejecución del programa a cada servidor uno por uno, se producen variaciones en el tiempo de conmutación, lo que dificulta la conmutación por lotes de la ejecución del programa en tiempo real. Al adoptar la comunicación broadcast, que puede enviarse simultáneamente a la comunicación que conmuta la ejecución del programa, Fujitsu ha hecho posible la conmutación por lotes de la ejecución del programa en tiempo real, reduciendo el intervalo entre las conmutaciones del procesamiento del programa que afectan al rendimiento del programa de unos pocos segundos a 100 milisegundos en un entorno HPC de 256 nodos. Dado que el método de comunicación adecuado depende de los requisitos de la aplicación y de la calidad de la red, el método de comunicación óptimo puede seleccionarse teniendo en cuenta el grado de mejora del rendimiento debido a la comunicación broadcast y la degradación del rendimiento debida a la pérdida de paquetes.

Esta tecnología permite que las aplicaciones que requieren rendimiento en tiempo real para gemelos digitales, IA generativa y descubrimiento de materiales y fármacos se ejecuten más rápidamente utilizando recursos computacionales similares a los de HPC.

Figura 2. Diferencias en los métodos de comunicación utilizados para conmutar la ejecución del programa

Planes de futuro
En el futuro, Fujitsu planea utilizar la tecnología de optimización de recursos CPU/GPU para el procesamiento que requiera GPU para su plataforma Fujitsu Kozuchi (nombre en clave) - AI Platform, que permite a los usuarios probar rápidamente tecnologías avanzadas de IA. La tecnología de optimización HPC también se aplicará al simulador de ordenador cuántico de 40 qubits de Fujitsu para computación colaborativa utilizando un gran número de nodos.

Fujitsu considerará además aplicaciones para Fujitsu Computing as a Service HPC, que ofrece a los usuarios la posibilidad de desarrollar y ejecutar aplicaciones para simulación, IA y problemas de optimización combinatoria, así como la arquitectura Composable Disaggregated Infrastructure (CDI), una tecnología que permite cambiar las configuraciones de hardware entre servidores, en un esfuerzo por crear una sociedad en la que todo el mundo pueda acceder fácilmente a recursos informáticos rentables y de alto rendimiento.

Enlaces relacionados
- Fujitsu desarrolla tecnología de computación híbrida cuántica/HPC para optimizar la intermediación de soluciones para los clientes

Date: November 30, 2023
City: Madrid