Discord confirmó recientemente que un fallo en su sistema de moderación basado en inteligencia artificial provocó la suspensión indebida de más de 8.000 usuarios desde mayo de 2026. El error se originó cuando el algoritmo de detección de contenido interpretó erróneamente imágenes con patrones de cuadrícula —como tableros de ajedrez, capturas de inventario de Minecraft o texturas de videojuegos— como material de abuso sexual infantil (CSAM), según informó la compañía en un comunicado oficial.
Lo que debió ser un proceso con supervisión humana se convirtió en una cadena de fallos automáticos. El diseño original del sistema contempla que, al detectar una coincidencia sospechosa mediante hash (una especie de “huella digital” de la imagen), la plataforma pause las subidas y envíe el caso a revisión del equipo de Confianza y Seguridad. Sin embargo, dos bugs consecutivos hicieron que las cuentas fueran baneadas de forma permanente sin pasar por esa instancia de verificación. Incluso después de que algunos moderadores humanos revisaran y absolvieran a los usuarios, las suspensiones permanecieron activas por un segundo error en el flujo de trabajo.
Stanislav Vishnevskiy, director de tecnología de Discord, reconoció públicamente ambos fallos y aseguró que todos los afectados ya han sido restituidos en la plataforma. Asimismo, la empresa eliminó el hash problemático que estaba generando las coincidencias falsas. A pesar de que algunos usuarios criticaron el uso de “moderadores de IA”, un desarrollador de Discord aclaró que no fue un modelo autónomo tomando decisiones, sino un registro defectuoso en una base de datos de comparación de imágenes.
El episodio ha reavivado el debate sobre los límites de la automatización en la moderación de contenidos, especialmente en comunidades donde las imágenes de cuadrículas son parte del lenguaje cotidiano, como servidores de gaming o de programación. Discord prometió implementar mejoras en sus medidas de seguridad para evitar que incidentes similares se repitan en el futuro.
