Skip to main content

Windows 11 pronto aprovechará su GPU para la IA generativa

Tras la introducción de Copilot, su último asistente inteligente para Windows 11, Microsoft vuelve a avanzar en la integración de la IA generativa con Windows. En la conferencia de desarrolladores Ignite 2023 en curso en Seattle, la compañía anunció una asociación con Nvidia en TensorRT-LLM que promete elevar las experiencias de los usuarios en computadoras de escritorio y portátiles con Windows con GPU RTX.

La nueva versión está configurada para introducir soporte para nuevos modelos de lenguaje grandes, lo que hace que las cargas de trabajo de IA exigentes sean más accesibles. Cabe destacar su compatibilidad con la API de chat de OpenAI, que permite la ejecución local (en lugar de en la nube) en PC y estaciones de trabajo con GPU RTX a partir de 8 GB de VRAM.

La biblioteca TensorRT-LLM de Nvidia se lanzó el mes pasado y se dice que ayuda a mejorar el rendimiento de los modelos de lenguaje grandes (LLM) que utilizan los Tensor Cores en las tarjetas gráficas RTX. Proporciona a los desarrolladores una API de Python para definir LLM y crear motores TensorRT más rápido sin un conocimiento profundo de C++ o CUDA.

Con el lanzamiento de TensorRT-LLM v0.6.0, navegar por las complejidades de los proyectos personalizados de IA generativa se simplificará gracias a la introducción de AI Workbench. Se trata de un conjunto de herramientas unificado que facilita la creación, prueba y personalización rápidas de modelos de IA generativa y LLM preentrenados. También se espera que la plataforma permita a los desarrolladores optimizar la colaboración y la implementación, asegurando un desarrollo de modelos eficiente y escalable.

Un gráfico que muestra el rendimiento de inferencia de TensorRT-LLM en Windows 11.
Nvidia

Reconociendo la importancia de apoyar a los desarrolladores de IA, Nvidia y Microsoft también están lanzando mejoras de DirectML. Estas optimizaciones aceleran los modelos de IA fundamentales como Llama 2 y Stable Diffusion, lo que proporciona a los desarrolladores mayores opciones para la implementación entre proveedores y establece nuevos estándares de rendimiento.

La nueva actualización de la biblioteca TensorRT-LLM también promete una mejora sustancial en el rendimiento de la inferencia, con velocidades hasta cinco veces más rápidas. Esta actualización también amplía la compatibilidad con otros LLM populares, incluidos Mistral 7B y Nemotron-3 8B, y amplía las capacidades de los LLM locales rápidos y precisos a una gama más amplia de dispositivos portátiles de Windows.

La integración de TensorRT-LLM para Windows con la API de chat de OpenAI a través de un nuevo contenedor permitirá que cientos de proyectos y aplicaciones impulsados por IA se ejecuten localmente en PC equipadas con RTX. Esto eliminará potencialmente la necesidad de depender de los servicios en la nube y garantizará la seguridad de los datos privados y propietarios en las PC con Windows 11.

Recomendaciones del editor

Diego Bastarrica
Diego Bastarrica es periodista y docente de la Universidad Diego Portales de Chile. Especialista en redes sociales…
Estos serán los requisitos de memoria para una PC con IA y Windows 12
requisitos memoria pc ia windows 12 firosnv photography 1wbmbnvv4te unsplash

Luke Larsen / DT
Se espera que las nuevas generaciones de computadoras sean "PC con IA", y varios proveedores han estado preparando nuevos productos con especificaciones de alta potencia que coinciden con esas promesas de la industria.

Noticias recientes indican que Microsoft planea aumentar las especificaciones mínimas para su próximo sistema operativo Windows 12, que se espera que se lance en 2024. Según un informe del analista de la industria Trendforce, la compañía tecnológica aumentará el requisito de memoria base en Windows 12 a 16 GB de acuerdo con su estándar para ejecutar su asistente de IA Copilot con la eficiencia mínima.

Leer más
Cómo volver a Windows 10 después de instalar Windows 11
Cómo volver a Windows 10 después de instalar Windows 11.

Windows 11 nos trajo novedades como un botón de inicio central y la posibilidad de instalar apps de Android, además de una serie de cambios estéticos. Pero hay muchos que echan de menos el viejo y confiable Windows 10. Si te cuentas entre ellos, aquí te explicamos cómo volver a Windows 10 después de instalar Windows 11.
Te va a interesar:

Cómo descargar Windows 11
Cómo eliminar una cuenta de Windows 11
Como instalar aplicaciones de Android en Windows 11

Leer más
5 ajustes de Windows 11 que vale la pena cambiar ahora mismo
cinco ajustes windows 11 cambiar ahora mismo portada  5

Windows 11 es genial y merece la pena actualizar desde Windows 10. Sin embargo, siempre hay margen para mejorar. Más allá de simplemente hacer que se parezca a su predecesor o personalizar la barra de tareas, existen cambios rápidos y sencillos que pueden mejorar la experiencia del sistema operativo. Y lo mejor de todo es que puedes hacer todo en menos de cinco minutos. Aquí te presentamos 5 ajustes de Windows 11 que vale la pena cambiar ahora mismo.

 

Leer más