Las empresas de la ciudad de Nueva York que usan inteligencia artificial para ayudar a encontrar empleados ahora deben demostrar que el proceso estuvo libre de sexismo y racismo.
una nueva ley, que entra en vigor el miércoles, es considerado el primero de su tipo en el mundo. Según la nueva regla de Nueva York, la contratación de software que se basa en el aprendizaje automático o la inteligencia artificial para ayudar a los empleadores a elegir candidatos preferidos o descartar a los malos, llamada herramienta de decisión Sistema de Empleo Automático, o AEDT, debe pasar una auditoría por parte de una empresa externa para mostrar que está libre de prejuicios racistas o de género.
Las empresas que ejecutan software de reclutamiento de IA también deben publicar estos resultados. Las empresas que utilizan software AEDT de terceros ya no pueden utilizar legalmente dichos programas si no han sido auditados.
Las empresas son usando cada vez más herramientas automatizadas en sus procesos de contratación. Cathy O’Neil, directora ejecutiva de Orcaa, una firma consultora que ha realizado auditorías de herramientas de contratación para empresas que quieren cumplir con la nueva ley de Nueva York, dijo que el aumento de las herramientas que juzgan automáticamente a los solicitantes de empleo se ha vuelto necesario porque quienes buscan empleo también Utilizar herramientas que envíen un gran número de solicitudes.
“En la era de Internet, es mucho más fácil solicitar un trabajo. Y existen herramientas para que los candidatos agilicen este proceso. Como ‘Danos tu currículum y solicitaremos 400 puestos de trabajo’”, dijo O’Neil. “Simplemente reciben demasiadas solicitudes. Tienen que eliminar la lista de alguna manera, por lo que estos algoritmos lo hacen por ellos.
Los programas de contratación basados en IA han sido objeto de escrutinio, incluido si terminan exhibiendo sesgos en función de los datos en los que están capacitados. Los estudios han demostrado durante mucho tiempo que los programas que utilizan el aprendizaje automático o la inteligencia artificial a menudo exhiben racismo, sexismo Y otros prejuicios.
A medida que las llamativas aplicaciones de inteligencia artificial generativa como ChatGPT y Midjourney han ganado popularidad, los legisladores federales e incluso muchos ejecutivos de empresas tecnológicas han pedido repetidamente una regulación. Pero hasta ahora, el Congreso no tiene idea de cómo podría ser eso.
Los expertos dicen que si bien la ley de Nueva York es importante para los trabajadores, todavía es muy limitada.
Julia Stoyanovich, profesora de informática en la Universidad de Nueva York y miembro fundador del Grupo de Trabajo de Sistemas de Decisión Automática de la ciudad, dijo que este era un comienzo importante pero aún muy limitado.
«En primer lugar, estoy muy contento de que la ley esté en los libros, que ahora hay reglas y vamos a comenzar a hacerlas cumplir», dijo Stoyanovich.
“Pero también hay muchas deficiencias. Entonces, por ejemplo, la verificación de sesgos es muy limitada en términos de categorías. No analizamos la discriminación por edad, por ejemplo, que es un gran problema en la contratación, o las discapacidades”, agregó.
Tampoco está claro cómo se hará cumplir la ley o en qué medida.
El Departamento de Protección al Consumidor y al Trabajador de Nueva York, que hace cumplir la ley, «recopilará e investigará las quejas» de las empresas acusadas de violarla, dijo un portavoz de la agencia.
Jake Metcalf, investigador especializado en IA para datos y sociedad, un grupo sin fines de lucro que estudia los efectos de la tecnología en la sociedad, dijo que la redacción de la ley define AEDT como tecnología que «ayudará significativamente o reemplazará la toma de decisiones discrecional»: ha llevado a los abogados que asesoran a las grandes empresas a no tomarlo en serio.
«Hay bastantes bufetes de abogados laborales en Nueva York que aconsejan a sus clientes que no tienen que cumplir, dada la letra de la ley, incluso si el espíritu de la ley parece aplicarse a ellos», dijo Metcalf. .
«Es muy difícil entender lo que significa ‘sustancialmente'», dijo.
Aunque las auditorías ayudan a reducir algunos sesgos contra los solicitantes de empleo, todavía no está claro si la selección de trabajos de IA es particularmente buena en lo que busca hacer.
«No creo que estén mejorando el sistema general para las personas que están en el sistema, ya sean solicitantes o gerentes de contratación», dijo O’Neil de Orcaa. «Es solo una sobrecarga de información y no hay muchas razones para confiar en estas herramientas para mejorar las cosas».
Stoyanovich fue más allá y dijo que algunas herramientas de contratación automatizadas que ha investigado simplemente no funcionan.
«Una de las cosas contra las que esta ley no nos protege son estos métodos de detección insanos. Puedo contarles sobre algunos de los que he auditado, con un equipo de colaboradores, donde todo eso es simplemente absurdo. Entonces, no será sesgado, porque es aleatorio, hasta donde yo sé. Así que será igualmente absurdo para hombres y mujeres, negros y blancos”, dijo Stoyanovich.
