En un anuncio de Facebook, una mujer con un rostro idéntico al de la actriz Emma Watson sonríe tímidamente y se inclina hacia la cámara, pareciendo iniciar un acto sexual. Pero la mujer no es Watson, la estrella de «Harry Potter». El anuncio fue parte de una campaña masiva esta semana para una aplicación deepfake, que permite a los usuarios intercambiar cualquier rostro en cualquier video que elijan.
Deepfakes son contenidos en los que las caras o los sonidos se apagan o manipulan. Por lo general, los creadores de deepfakes hacen videos en los que las celebridades parecen estar allí a propósito, incluso si no es así. Cada vez más, la tecnología se ha utilizado para hacer pornografía no consentida con los rostros de celebridades, personas influyentes o cualquier persona. incluyendo niños.
La campaña publicitaria en Meta es un guiño al hecho de que esta tecnología que alguna vez fue avanzada se ha extendido rápidamente a las aplicaciones de consumo fácilmente disponibles que se anuncian en la mayor parte de Internet. A pesar de que muchas plataformas prohíben el contenido falso manipulador y malicioso, las aplicaciones como las revisadas por NBC News han podido pasar desapercibidas.
El domingo y el lunes, una aplicación de creación de videos «DeepFake FaceSwap» implementó más de 230 anuncios en los servicios de Meta, incluidos Facebook, Instagram y Messenger, según una revisión de la biblioteca de anuncios de Meta. Algunos de los anuncios mostraban lo que parecía el inicio de videos porno con el conocido sonido de la plataforma porno. Presentamos Pornhub pista que se está reproduciendo actualmente. Segundos después, los rostros de las mujeres se intercambiaron con actrices famosas.
Cuando la estudiante de periodismo de Tennessee, Lauren Barton, vio el mismo anuncio en una aplicación separada, se sorprendió lo suficiente como para grabarlo en pantalla y tuitealodonde recibió más de 10 millones de visitas, según el contador de visitas de Twitter.
“Podría usarse con niños de secundaria de escuelas públicas que están siendo intimidados”, dijo Barton. “Podría arruinar la vida de alguien, podría meterse en problemas en el trabajo. Y es extremadamente fácil de hacer y gratis. Todo lo que tenía que hacer era subir una foto de mi cara y tenía acceso a 50 plantillas gratuitas.
De los anuncios Meta, 127 presentaban la imagen de Watson. Otro 74 mostró el rostro de la actriz Scarlett Johansson intercambiado con mujeres en videos igualmente provocativos. Ninguna actriz respondió a una solicitud de comentarios.
«Reemplace la cara con cualquiera», decían los subtítulos de 80 de los anuncios. «Diviértete con la tecnología de cambio de cara de IA».
El martes, después de que NBC News se comunicó con Meta para hacer comentarios, todos los anuncios en la aplicación se eliminaron de los servicios de Meta.
Aunque no se mostraron actos sexuales en los videos, su naturaleza sugerente ilustra cómo la aplicación puede usarse potencialmente para generar contenido sexual falso. La aplicación permite a los usuarios subir videos para manipularlos y también incluye docenas de plantillas de video, muchas de las cuales parecen ser de TikTok y plataformas de redes sociales similares.
Las categorías predefinidas incluyen «Moda», «Novia», «Para hombres», «Para mujeres» y «TikTok», mientras que la categoría con más opciones se llama «Hot». Presenta videos de mujeres y hombres con poca ropa bailando y posando. Después de seleccionar una plantilla de video o cargar la suya propia, los usuarios pueden ingresar una sola foto de la cara de cualquier persona y recibir una versión del video con intercambio de caras en segundos.
EL condiciones de uso para la aplicación, que cuesta $8 por semana, dice que no permite a los usuarios hacerse pasar por otros a través de sus servicios o cargar contenido sexualmente explícito. El desarrollador de la aplicación que figura en la App Store se llama Ufoto Limited, propiedad de una empresa matriz china, Wondershare. Ninguna de las compañías respondió a una solicitud de comentarios.
Meta prohibido contenido más falso en 2020, y la empresa prohíbe contenido para adultos en anuncios, incluyendo desnudezrepresentaciones de personas en posiciones explícitas o sugerentes, o actividades sexualmente provocativas.
“Nuestras políticas prohíben el contenido para adultos, ya sea generado por IA o no, y hemos prohibido que esta página publique publicidad en nuestra plataforma”, dijo un portavoz de Meta en un comunicado.
Los mismos anuncios también se han visto en aplicaciones gratuitas de edición de fotos y juegos descargadas de Apple App Store, donde la aplicación apareció por primera vez en 2022 y todavía está disponible para su descarga gratuita desde hace 9 años.
Un representante de Apple dijo que la compañía no tiene reglas específicas sobre deepfakes, pero prohíbe las aplicaciones que contienen pornografía y contenido difamatorio. Apple dijo que eliminó la aplicación de la App Store después de ser contactado por NBC News.
La aplicación también está en Google Play y está clasificada como «Adolescente» por «temas sugerentes».
Apple y Google han tomado medidas contra aplicaciones similares de intercambio de rostros de IA, incluida una que fue objeto de una investigación de Reuters en diciembre de 2021. Reuters descubrió que la aplicación anunciaba la creación de «pornografía falsa» en sitios web de pornografía. En ese momento, Apple dijo que no tenía pautas específicas para las aplicaciones deepfake, pero prohibió el contenido difamatorio, discriminatorio o que pudiera intimidar, humillar o dañar a alguien. Aunque se han ajustado las clasificaciones y las campañas publicitarias de la aplicación, la aplicación todavía está disponible para su descarga gratuita desde Apple App Store y Google Play.
La aplicación NBC News bajo revisión es una de las últimas en un auge de productos falsificados para el consumidor disponibles gratuitamente.
Al buscar «deepfake» en las tiendas de aplicaciones, aparecen decenas de aplicaciones con capacidades tecnológicas similares, incluidas aquellas que promueven la creación de contenido «caliente».
Los ejemplos comunes de la tecnología muestran a celebridades y políticos haciendo y diciendo cosas que en realidad nunca dijeron o hicieron. A veces los efectos son cómicos.
Sin embargo, la tecnología deepfake se ha utilizado ampliamente para hacer pornografía con estrellas que no dan su consentimiento. A medida que la tecnología ha mejorado y se ha generalizado, el mercado de imágenes sexuales no consentidas se ha disparado. Algunos sitios web permiten a los usuarios vender pornografía falsa no consentida detrás de un muro de pago.
Un informe de 2019 de Deeptrace, una empresa con sede en Ámsterdam que monitorea los medios sintéticos en línea, encontró que el 96 % del material falso en línea es de naturaleza pornográfica.
En enero, las streamers femeninas de Twitch se pronunciaron después de que un popular streamer masculino se disculpara por consumir pornografía falsa de sus compañeros.
La investigación en vivo realizada por la analista independiente Genevieve Oh ha revelado que el principal sitio web de consumo de pornografía falsa ha explotado en el tráfico luego de una disculpa del streamer Twitch. La investigación de Oh también reveló que la cantidad de videos porno falsos casi se ha duplicado cada año desde 2018. En febrero se subió la mayor cantidad de videos porno falsos en un mes, dijo Oh.
Aunque el intercambio no consentido de fotos y videos sexualmente explícitos está ilegal en la mayoría de los estadoslas leyes con respecto a los medios falsos profundos son en efecto solo en California, Georgia, Nueva York y Virginia.