La semana pasada terminó la CES (Consumer Electronics Show) una de las ferias más grandes a nivel mundial de tecnología en las Vegas (EE.UU.), como ha sido la tónica en las ultimas ediciones han sido centradas principalmente en IA (Inteligencia Artificial), pero durante el evento se realizan una serie de conferencias y anuncios de los fabricantes que la mayoría pasan desapercibidas para el público en general.
En esta versión se NVIDIA (principal fabricante de hardware para la IA) presentó su nueva arquitectura de IA llamada “Rubin” o “Vera Rubin”, que reemplazará a la actual “Blackwell”.
La nueva arquitectura como es de esperar es más rápida, consume menos recursos, niveles de escalabilidad y conexión mejoradas, protección criptográfica para los datos y la capacidad de entrenar modelos más complejos y sobre todo tendrá una reducción de coste de hasta 10 veces más bajo que la versión anterior para los usuarios en el consumo de tokens.
Pero lo más importante para nosotros ha sido el anuncio de la colaboración entre NVIDIA y Red Hat, con el anunciado soporte “Día 0” (Day 0), para la nueva arquitectura de los chips de NVIDIA Rubin.
Esto quiere decir que desde el momento que el cliente adquiere un equipo de NVIDIA, el cliente final puede instalar Red Hat Enterprise Linux (RHEL) para NVIDIA, porque toda la arquitectura de NVIDIA estará certificada para funcionar sobre RED HAT. Tanto para la utilización de CPU Vera y las GPUs Rubin.
Además, que tendrá integración con Red Hat AI y OpenShift, esto complementa la oferta impresionantemente debido a que podrán ser capaces de aprovechar al máximo las velocidades de transmisión de 3,600 GB/s con la tecnología NVLink y los nuevos tipos de memoria.
Considerando la implementación de NVIDIA Confidential Computing que permite proteger con criptografía los modelos de IA de los clientes durante todo el ciclo de vida de trabajo en el equipo.
Para dimensionar esta alianza vamos a explicar como trabajan actualmente la arquitectura de NVIDIA con IA.
NVIDIA creó su propia distribución de Linux para operar en sus equipos (la palabra servidor queda realmente pequeña para sus equipos), llamada DGX OS que es una versión modificada de Ubuntu Linux para que pudieran funcionar con sus drivers de GPUs.
El problema empieza a aparecer posteriormente porque se tenían que montar lo que se conoce como CUDA, que es el lenguaje que permite a las GPU realizar cálculos matemáticos, luego las Bibliotecas CuDNN que son los complementos para el manejo de redes neuronales y por ultimo los Docker y Contenedores para que las diversas aplicaciones de IA pudieran coexistir en el mismo equipo.
Lo anterior a primera vista puede resultar que en un par de horas se pudieran instalar sin problemas, pero la realidad es que esto demora “Semanas” en configurarse y lógicamente estamos hablando de personal altamente calificado para realizarlo, que significaba un segundo gran problema.
Pero para colocarle “la guinda a la torta” era el tema de las actualizaciones, si el sistema operativo por temas de seguridad requería instalar alguna actualización o parche de seguridad, se corría el riesgo que todo dejaba de funcionar y había que buscar el problema y volver a instalar todo de nuevo.
Entonces aparece la pregunta ¿Cómo lo han realizado todo hasta ahora?, la respuesta es simple, una vez instalado todo el software y estaba corriendo el equipo (servidor) con IA, trataban de “tocarlo” lo menos posible para evitar cualquier problema, hasta que por las propias evaluaciones de riesgos y beneficios tenían que desarrollar un nuevo diseño de implementación y posteriormente aquello se tenia que replicar en todos los equipos.
Lo anterior significaba para las empresas un costo impresionante en temas de tiempos de instalación, reinstalación, monitoreo, rendimiento, etc.
Ahora con esta alianza, todo cambia radicalmente porque como Red Hat estará trabajando en forma conjunta con NVIDIA en el desarrollo de sus nuevos chips, democratizará y facilitará el manejo de estos equipos para las empresas.
Sin considerar que ayudará a NVIDIA a concentrase en la evolución de su arquitectura, sin tener que estar hasta ahora invirtiendo miles de millones de dólares en desarrollar un sistema base para sus equipos.
Lo que se espera a corto plazo es que no solo las grandes empresas de IA sean las únicas que adquieran este tipo de equipos, sino que bancos, hospitales, organismos públicos, empresas, etc. puedan emplearlos en sus centros de datos y reemplazar su infraestructura con soluciones más poderosas y eficientes.
Asi como en los años 2000 la alianza Intel/Microsoft era la reina del mercado en los centros de datos (Datacenter), la nueva alianza NVIDIA/Red Hat dominará el mercado.
Por lo tanto, se espera que a corto plazo IBM Red Hat será el software base para todas las aplicaciones de IA y todo su ecosistema será la primera alternativa para implementar las aplicaciones de las empresas.
Si tienes algún proyecto de como potenciar tu centro de datos o como llevar tu infraestructura al siguiente nivel contáctanos para ayudarte.