El CEO de Discord, Jason Citron, dijo el jueves que encontró «horribles» los informes de explotación infantil en la popular plataforma de chat y que Discord se toma el tema «muy en serio».
Sus comentarios, en la Tech Summit de Bloomberg en San Francisco, se produjeron el día después de que NBC News publicara una investigación sobre el asunto.
«Como padre, es horrible», dijo Citron en respuesta a las preguntas de la reportera de Bloomberg Emily Chang. «Nos tomamos estas cosas muy en serio».
Citron señaló que Discord emplea un equipo de seguridad infantil dedicado que tiene la tarea de tratar de evitar la explotación en la plataforma «de una manera que respete la privacidad de todos los que no hacen nada».
La investigación encontró que desde el inicio de la plataforma en 2015, al menos 35 demandas por secuestro, preparación o explotación de niños involucraron comunicaciones a través de Discord, y 165 demandas por material de abuso sexual infantil involucraron a la plataforma. Además, NBC News ha identificado cientos de servidores activos de Discord que promueven la explotación infantil.
«Lo que estamos viendo es solo la punta del iceberg», dijo Stephen Sauer, director de la línea de información del Centro Canadiense para la Protección Infantil.
Como muchas empresas de redes sociales, Discord analiza las imágenes y videos cargados y los compara con una base de datos conocida de material de abuso sexual infantil, pero deja la mayor parte de la moderación a las propias comunidades. Discord ha dejado en claro que no escanea de manera proactiva la mayoría de los mensajes publicados en sus comunidades.
Citron dijo que la inteligencia artificial podría ayudar a abordar algunos problemas relacionados con la explotación infantil. “Creo que uno de los desafíos que enfrentan todas las personas en nuestra industria es que tenemos tantas cosas sucediendo a escala en la plataforma y es muy difícil identificar las cosas”, declaró.
John Redgrave, vicepresidente de confianza y seguridad de Discord, le dijo a NBC News que la compañía está trabajando con THORN, una empresa dedicada a crear soluciones tecnológicas para detectar y prevenir la explotación infantil, en un modelo capaz de detectar conductas de acicalamiento.
Sin embargo, la IA también ha sido criticada por empeorar potencialmente los problemas de seguridad infantil.
Este mes, el FBI prevenido que los adultos estaban usando IA para generar imágenes manipuladas de niños con fines de sextorsión, chantajeando a los menores con las imágenes para obtener aún más contenido sexual o dinero.
