La mayoría de los detectores de IA buscan señales evidentes de texto generado por IA examinando patrones de palabras y oraciones. Una nueva herramienta llamada IdeaLens toma una ruta diferente para resolver este problema. Detecta investigaciones generadas por IA analizando las ideas que hay detrás en lugar de la redacción en sí (vía TechXplore).
Investigadores de la Universidad de Maryland, Google DeepMind y Simon Fraser University crearon IdeaLens para comprobar si los argumentos centrales de un documento provenían de un humano o de una máquina, independientemente de quién escribiera el borrador final.
¿Cómo detecta IdeaLens las ideas generadas por IA?
Según el artículo de investigación, el equipo entrenó a IdeaLens con alrededor de un millón de documentos ya etiquetados como escritos por IA o por humanos. Utilizaron modelos de lenguaje para eliminar la redacción original y reducir cada documento a un simple esquema de sus argumentos principales. Esto obligaba al sistema a aprender de ideas en lugar de estilo de escritura.
IdeaLens señaló correctamente el 91% del trabajo generado por IA cuando se probó en documentos escritos íntegramente por una u otra fuente. Solo identificaba erróneamente la escritura humana en el 0,6% de las veces, aunque eso sigue quedando por debajo de detectores establecidos como Pangram.
Cuando los investigadores evaluaron los textos que recibieron pequeñas modificaciones por IA, IdeaLens clasificó el 95% de los documentos generados por humanos como humanos, frente a la media del 44% de Pangram.
¿Puede IdeaLens identificar de forma fiable quién tuvo una idea?
Los resultados resultaron interesantes en casos en los que las ideas humanas y de IA se mezclaban. Cuando AI escribió el texto basándose en un esquema humano detallado, detectores tradicionales como Pangram detectaron el 92% de esa implicación de IA, pero IdeaLens solo detectó un 7%, ya que las ideas eran humanas. Ahora invertimos ese escenario, donde un humano escribió las palabras a partir de un esquema generado por IA, e IdeaLens captó el 68% de la influencia de la IA mientras que Pangram solo captó el 8%.
Los investigadores descubrieron que las ideas generadas por el ser humano tienden a tener detalles más concretos, fuentes verificables y limitaciones reconocidas. Mientras que las ideas generadas por IA suelen tener detalles genéricos, cifras no verificables, afirmaciones generales y respuestas sospechosamente perfectas.
Sin embargo, este detector de IA aún no está listo para resolver por completo las disputas de autoría. IdeaLens aún tiene dificultades con algunos modelos de IA más recientes, por lo que el equipo dice que necesita más pruebas antes de estar listo para un uso más amplio en revistas y aulas.
