VMware Explore 2023: VMware y NVIDIA desbloquean la IA generativa corporativa

VMware Private AI Foundation con NVIDIA permitirá a las empresas personalizar modelos y ejecutar aplicaciones de IA generativa, incluidos chatbots inteligentes, asistentes, búsqueda y resumen. La plataforma será una solución totalmente integrada con software de IA generativa y computación acelerada de NVIDIA , construida sobre VMware Cloud Foundation y optimizada para IA.

“La IA generativa y la nube múltiple son la combinación perfecta”, dijo Raghu Raghuram, director ejecutivo de VMware. “Los datos de los clientes están en todas partes: en sus centros de datos, en el perímetro y en sus nubes. Junto con NVIDIA, empoderaremos a las empresas para que ejecuten sus cargas de trabajo generativas de IA adyacentes a sus datos con confianza, al mismo tiempo que abordamos las preocupaciones sobre la privacidad, la seguridad y el control de los datos corporativos”.

“Las empresas de todo el mundo están compitiendo para integrar la IA generativa en sus negocios”, afirmó Jensen Huang, fundador y director ejecutivo de NVIDIA. “Nuestra colaboración ampliada con VMware ofrecerá a cientos de miles de clientes, en servicios financieros, atención médica, fabricación y más, el software completo y la informática que necesitan para desbloquear el potencial de la IA generativa utilizando aplicaciones personalizadas creadas con sus propios datos”.

Computación de pila completa para potenciar la IA generativa

Para lograr beneficios comerciales más rápidamente, las empresas buscan agilizar el desarrollo, las pruebas y la implementación de aplicaciones de IA generativa. McKinsey estima que la IA generativa podría aportar hasta 4,4 billones de dólares anuales a la economía global. ⁽¹⁾

VMware Private AI Foundation con NVIDIA permitirá a las empresas aprovechar esta capacidad, personalizando grandes modelos de lenguaje; producir modelos más seguros y privados para su uso interno; y ofrecer IA generativa como servicio a sus usuarios; y ejecutar de forma más segura cargas de trabajo de inferencia a escala.

Se espera que la plataforma incluya herramientas de IA integradas para permitir a las empresas ejecutar modelos probados entrenados en sus datos privados de manera rentable. Al estar construido sobre el software VMware Cloud Foundation y NVIDIA AI Enterprise , los beneficios esperados de la plataforma incluirán:

• Privacidad: permitirá a los clientes ejecutar fácilmente servicios de IA adyacentes donde sea que tengan datos con una arquitectura que preserva la privacidad de los datos y permite un acceso seguro.
• Elección: las empresas tendrán una amplia variedad de opciones sobre dónde construir y ejecutar sus modelos, desde NVIDIA NeMo™ hasta Llama 2 y más, incluidas las principales configuraciones de hardware OEM y, en el futuro, ofertas de proveedores de servicios y de nube pública.
• Rendimiento: la ejecución en la infraestructura acelerada de NVIDIA ofrecerá un rendimiento igual e incluso superior en algunos casos de uso, como se demuestra en evaluaciones comparativas recientes de la industria .
• Escala del centro de datos: las optimizaciones de escalado de GPU en entornos virtualizados permitirán que las cargas de trabajo de IA escale hasta 16 vGPU/GPU en una sola máquina virtual y en múltiples nodos para acelerar el ajuste y la implementación del modelo de IA generativa.
• Menor costo: maximizará el uso de todos los recursos informáticos en GPU, DPU y CPU para reducir los costos generales y creará un entorno de recursos compartidos que se puede compartir de manera eficiente entre los equipos.
• Almacenamiento acelerado: la arquitectura de almacenamiento VMware vSAN Express proporcionará almacenamiento NVMe con rendimiento optimizado y admite almacenamiento GPUDirect® a través de RDMA, lo que permite la transferencia directa de E/S desde el almacenamiento a las GPU sin participación de la CPU.
• Redes aceleradas: la integración profunda entre vSphere y la tecnología NVIDIA NVSwitch™ permitirá aún más que los modelos de múltiples GPU se ejecuten sin cuellos de botella entre GPU.
• Implementación rápida y tiempo de obtención de valor: las imágenes de VM y el repositorio de imágenes de vSphere Deep Learning permitirán capacidades de creación rápida de prototipos al ofrecer una imagen de solución estable llave en mano que incluye marcos y bibliotecas de rendimiento optimizado preinstaladas.

La plataforma contará con NVIDIA NeMo , un marco nativo de la nube de extremo a extremo incluido en NVIDIA AI Enterprise, el sistema operativo de la plataforma NVIDIA AI, que permite a las empresas crear, personalizar e implementar modelos generativos de IA prácticamente en cualquier lugar. NeMo combina marcos de personalización, kits de herramientas de guardarraíl, herramientas de conservación de datos y modelos preentrenados para ofrecer a las empresas una forma fácil, rentable y rápida de adoptar la IA generativa.

Para implementar IA generativa en producción, NeMo usa TensorRT para modelos de lenguaje grande (TRT-LLM), que acelera y optimiza el rendimiento de la inferencia en los LLM más recientes en las GPU de NVIDIA. Con NeMo, VMware Private AI Foundation con NVIDIA permitirá a las empresas extraer sus propios datos para crear y ejecutar modelos de IA generativos personalizados en la infraestructura de nube híbrida de VMware.

En VMware Explore 2023, NVIDIA y VMware destacarán cómo los desarrolladores dentro de las empresas pueden utilizar el nuevo NVIDIA AI Workbench para extraer modelos comunitarios, como Llama 2, disponible en Hugging Face , personalizarlos de forma remota e implementar IA generativa de nivel de producción en entornos VMware.

Amplio soporte de ecosistema para VMware Private AI Foundation con NVIDIA

VMware Private AI Foundation con NVIDIA contará con el respaldo de Dell Technologies, Hewlett Packard Enterprise y Lenovo, que estarán entre los primeros en ofrecer sistemas que potencian las cargas de trabajo de inferencia y personalización de LLM empresarial con las GPU NVIDIA L40S . , NVIDIA BlueField®-3 DPU y NVIDIA ConnectX®-7 SmartNIC .

La GPU NVIDIA L40S permite hasta 1,2 veces más rendimiento de inferencia de IA generativa y hasta 1,7 veces más rendimiento de entrenamiento en comparación con la GPU NVIDIA A100 Tensor Core.

Las DPU NVIDIA BlueField-3 aceleran, descargan y aíslan la enorme carga informática de virtualización, redes, almacenamiento, seguridad y otros servicios de IA nativos de la nube de la GPU o la CPU.

NVIDIA ConnectX-7 SmartNIC ofrece redes inteligentes y aceleradas para la infraestructura del centro de datos para impulsar algunas de las cargas de trabajo de IA más exigentes del mundo.

VMware Private AI Foundation con NVIDIA se basa en la asociación de las empresas durante una década. Su trabajo de co-ingeniería optimizó la infraestructura de nube de VMware para ejecutar NVIDIA AI Enterprise con un rendimiento comparable al bare metal. Los clientes mutuos se benefician aún más de la administración de recursos e infraestructura y la flexibilidad que ofrece VMware Cloud Foundation.

Disponibilidad

VMware tiene la intención de lanzar VMware Private AI Foundation con NVIDIA a principios de 2024.

Mware Explore 2023, Mware Explore 2023, Mware Explore 2023, Mware Explore 2023, Mware Explore 2023, Mware Explore 2023, Mware Explore 2023, Mware Explore 2023, Mware Explore 2023, Mware E

Lexplore 2023, Mware Explore 2023, Mware Explore 2023, Mware Explore 2023, Mware Explore 2023, Mware Explore 2023, Mware Explore 2023, Mware Explore 2023, Mware Explore 2023, Mware Explore 2023,