Skip to main content

Windows 11 pronto aprovechará su GPU para la IA generativa

Tras la introducción de Copilot, su último asistente inteligente para Windows 11, Microsoft vuelve a avanzar en la integración de la IA generativa con Windows. En la conferencia de desarrolladores Ignite 2023 en curso en Seattle, la compañía anunció una asociación con Nvidia en TensorRT-LLM que promete elevar las experiencias de los usuarios en computadoras de escritorio y portátiles con Windows con GPU RTX.

La nueva versión está configurada para introducir soporte para nuevos modelos de lenguaje grandes, lo que hace que las cargas de trabajo de IA exigentes sean más accesibles. Cabe destacar su compatibilidad con la API de chat de OpenAI, que permite la ejecución local (en lugar de en la nube) en PC y estaciones de trabajo con GPU RTX a partir de 8 GB de VRAM.

La biblioteca TensorRT-LLM de Nvidia se lanzó el mes pasado y se dice que ayuda a mejorar el rendimiento de los modelos de lenguaje grandes (LLM) que utilizan los Tensor Cores en las tarjetas gráficas RTX. Proporciona a los desarrolladores una API de Python para definir LLM y crear motores TensorRT más rápido sin un conocimiento profundo de C++ o CUDA.

Con el lanzamiento de TensorRT-LLM v0.6.0, navegar por las complejidades de los proyectos personalizados de IA generativa se simplificará gracias a la introducción de AI Workbench. Se trata de un conjunto de herramientas unificado que facilita la creación, prueba y personalización rápidas de modelos de IA generativa y LLM preentrenados. También se espera que la plataforma permita a los desarrolladores optimizar la colaboración y la implementación, asegurando un desarrollo de modelos eficiente y escalable.

Un gráfico que muestra el rendimiento de inferencia de TensorRT-LLM en Windows 11.
Nvidia

Reconociendo la importancia de apoyar a los desarrolladores de IA, Nvidia y Microsoft también están lanzando mejoras de DirectML. Estas optimizaciones aceleran los modelos de IA fundamentales como Llama 2 y Stable Diffusion, lo que proporciona a los desarrolladores mayores opciones para la implementación entre proveedores y establece nuevos estándares de rendimiento.

La nueva actualización de la biblioteca TensorRT-LLM también promete una mejora sustancial en el rendimiento de la inferencia, con velocidades hasta cinco veces más rápidas. Esta actualización también amplía la compatibilidad con otros LLM populares, incluidos Mistral 7B y Nemotron-3 8B, y amplía las capacidades de los LLM locales rápidos y precisos a una gama más amplia de dispositivos portátiles de Windows.

La integración de TensorRT-LLM para Windows con la API de chat de OpenAI a través de un nuevo contenedor permitirá que cientos de proyectos y aplicaciones impulsados por IA se ejecuten localmente en PC equipadas con RTX. Esto eliminará potencialmente la necesidad de depender de los servicios en la nube y garantizará la seguridad de los datos privados y propietarios en las PC con Windows 11.

Recomendaciones del editor

Diego Bastarrica
Diego Bastarrica es periodista y docente de la Universidad Diego Portales de Chile. Especialista en redes sociales…
Critican póster de Loki por usar IA para su generación
loki poster uso ia segunda temporada

Una oleada de críticas se ha llevado la segunda temporada de Loki, y no realmente por su trama, ya que la serie ya se encuentra desde el 6 de octubre rodando en Disney +, sino más bien por el arte promocional.

La ilustradora Katria Raden marcó la imagen en X (anteriormente Twitter) la semana pasada, afirmando que la imagen del reloj en espiral en el fondo "está dando a todos los signos reveladores de la IA, como cosas que se convierten aleatoriamente en garabatos sin sentido", una referencia a los artefactos que a veces dejan los generadores de imágenes de IA.

Leer más
Microsoft Copilot suena genial: pero aquí por qué definitivamente no lo usaré
microsoft copilot suena genial pero no lo usare

Gran parte del evento de septiembre de Microsoft estuvo dedicado a Copilot, Bing Chat y otras características impulsadas por IA. En cierto modo, las actualizaciones realizadas a computadoras portátiles como Surface Laptop Studio 2 casi se sintieron como una ocurrencia tardía. Fue un verdadero festival de IA, y no es de extrañar, ya que Microsoft ciertamente ha creado algo digno de fanfarronear.

A pesar de lo impresionante que parece ser Copilot, no puedo verme realmente usándolo. Es un buen truco de fiesta, pero mis preocupaciones con la IA superan cualquier ventaja que pueda tener.
IA en todas partes
Microsoft
Había escuchado un poco sobre Copilot de Microsoft antes de aprender más durante el evento de septiembre, pero en mi mente, se sentía como otro ChatGPT: divertido, pero lo he visto todo antes en este momento. El último año ha estado sobresaturado con nueva tecnología de IA hasta el punto en que puedo sentir que pierdo emoción al pensar en todos estos desarrollos recientes.

Leer más
Microsoft quiere que la IA te ayude a hacer todo en Windows 11
Persona usando una Chromebook HP –

Microsoft acaba de presentar la última versión de Windows 11, y presenta actualizaciones en todo el sistema operativo, desde IA hasta nuevas herramientas y características. Llegará en actualización el 26 de septiembre.

Entre las actualizaciones se encuentran cambios en la herramienta Copilot AI de Microsoft, con más funciones para ayudar a los usuarios en aplicaciones como Word y Excel, así como dentro de Windows 11. Copilot se puede utilizar para resumir reuniones, escribir correos electrónicos, ayudar con el análisis y mucho más.
Microsoft
Yusuf Mehdi de Microsoft explicó que "Copilot va a tener una energía" y entenderá la intención del usuario en todas las aplicaciones de Microsoft, incluyendo Excel, Word, Teams y más. Copilot también estará disponible en el escritorio de Windows 11, agregó Microsoft.

Leer más