Skip to main content

DT en Español podría recibir una comisión si compras un producto desde el sitio

Guardrails: la herramienta de Nvidia que hace de policía de ChatGPT

Nvidia está presentando su nueva herramienta NeMo Guardrails para desarrolladores de IA, y promete hacer que los chatbots de IA como ChatGPT sean un poco menos locos. El software de código abierto está disponible para los desarrolladores ahora, y se centra en tres áreas para hacer que los chatbots de IA sean más útiles y menos inquietantes.

La herramienta se encuentra entre el usuario y el modelo de lenguaje grande (LLM) con el que están interactuando. Es una seguridad para los chatbots, interceptando las respuestas antes de que lleguen al modelo de lenguaje para evitar que el modelo responda o para darle instrucciones específicas sobre cómo responder.

Bing Chat diciendo que quiere ser humano.
Jacob Roach 

Nvidia dice que NeMo Guardrails se centra en los límites temáticos y de seguridad. El enfoque temático parece ser el más útil, ya que obliga al LLM a permanecer en un rango particular de respuestas. Nvidia demostró Guardrails mostrando un chatbot entrenado en la base de datos de recursos humanos de la compañía. Cuando se le hizo una pregunta sobre las finanzas de Nvidia, dio una respuesta enlatada que fue programada con NeMo Guardrails.

Esto es importante debido a las muchas llamadas alucinaciones que hemos visto en los chatbots de IA. Bing Chat de Microsoft, por ejemplo, nos proporcionó varias respuestas extrañas y objetivamente incorrectas en nuestra primera demostración. Cuando se enfrenta a una pregunta que el LLM no entiende, a menudo inventará una respuesta en un intento de satisfacer la consulta. NeMo Guardrails tiene como objetivo poner fin a esas respuestas inventadas.

Los principios de seguridad se centran en filtrar las respuestas no deseadas del LLM y evitar que los usuarios jueguen con él. Como ya hemos visto, puedes hacer jailbreak a ChatGPT y otros chatbots de IA. NeMo Guardrails tomará esas consultas y bloqueará que lleguen al LLM.

Un diagrama de la herramienta NeMo Guardrails de Nvidia.

Aunque NeMo Guardrails está diseñado para mantener los chatbots sobre el tema y precisos, no es una solución general. Nvidia dice que funciona mejor como una segunda línea de defensa, y que las empresas que desarrollan e implementan chatbots aún deben entrenar el modelo en un conjunto de salvaguardas.

Los desarrolladores también deben personalizar la herramienta para que se ajuste a sus aplicaciones. Esto permite que NeoMo Guardrails se coloque sobre el middleware que los modelos de IA ya utilizan, como LangChain, que ya proporciona un marco sobre cómo se supone que los chatbots de IA interactúan con los usuarios.

Además de ser de código abierto, Nvidia también ofrece NeMo Guardrails como parte de su servicio AI Foundations. Este paquete proporciona varios modelos y marcos previamente entrenados para empresas que no tienen el tiempo o los recursos para entrenar y mantener sus propios modelos.

Recomendaciones del editor

Diego Bastarrica
Diego Bastarrica es periodista y docente de la Universidad Diego Portales de Chile. Especialista en redes sociales…
Logitech lanza un mouse que trae ChatGPT…o bueno algo así
Logitech IA

La IA está poniendo todo de cabeza y la computación y el hardware incluso ha tenido que adaptarse muy rápido. Por eso, Logitech creó el primer mouse con IA incorporada. Bueno, eso dicen al menos.

Se trata de Logitech Signature AI edition M750, que trae la aplicación Logi AI Prompt Builder, que con solo presionar un botón te lleva a la pantalla las soluciones de IA.

Leer más
Los nuevos auriculares de Nothing eclipsan a Apple, Google y Amazon al incorporar ChatGPT
nuevos auriculares nothing ear a chatgpt

Nothing
La compañía de teléfonos inteligentes Nothing tiene dos nuevos juegos de auriculares inalámbricos que van tras los AirPods Pro de Apple en más de un sentido. El Nothing Ear (149 dólares) y el Nothing Ear (a) dólares) ofrecen cancelación de ruido, audio de alta resolución y una estrecha integración con los teléfonos de Nothing, pero también proporcionan acceso a ChatGPT, posiblemente el servicio de IA más popular del mundo.

Se trata de un asalto frontal a los tres principales asistentes de voz que actualmente dominan los smartphones: Siri, Google Assistant y Alexa. Estos asistentes son muy capaces cuando se trata de comandos de voz simples, como pausar la música o preguntar sobre el clima, pero no han seguido el ritmo de ChatGPT de Open AI, que ofrece tareas más sofisticadas y conversaciones por turnos.

Leer más
Apple finalmente tiene una forma de derrotar a ChatGPT
apple cambia navegacion web iphone navegaci  n

Yugandhar Bonde / Pexels
OpenAI debe tener cuidado porque Apple finalmente puede subirse al carro de la IA, y la noticia no es un buen augurio para ChatGPT. Según los informes, Apple está trabajando en un modelo de lenguaje grande (LLM) conocido como ReALM, que significa Resolución de referencia como modelado de lenguaje. Hecho para darle un impulso a Siri y ayudarlo a comprender el contexto, el modelo viene en cuatro variantes, y Apple afirma que incluso su modelo más pequeño funciona a un nivel similar al ChatGPT de OpenAI.

Esta tentadora información proviene de un documento de investigación de Apple, compartido por primera vez por Windows Central, y parece ser un primer vistazo a lo que Apple ha estado cocinando desde hace un tiempo. ReALM es el propio LLM de Apple que, según se informa, se creó para mejorar las capacidades de Siri; Estas mejoras incluyen una mayor capacidad para comprender el contexto de una conversación.

Leer más