La tesis principal del libro The Algorithm: How AI Decides Who Gets Hired, Monitored, Promoted, and Fired and Why We Need to Fight Back Now de Hilke Schellmann es que la inteligencia artificial (IA) se ha infiltrado profundamente en los procesos de contratación, monitoreo y despido de empleados, y que esta tecnología, a menudo defectuosa y opaca, tiene un impacto significativo y potencialmente perjudicial en la vida laboral de las personas.
Schellmann compara el uso actual de algoritmos de IA con prácticas pseudocientíficas del pasado como la frenología y la eugenesia, y argumenta que es necesario resistir y cuestionar estas tecnologías debido a su falta de transparencia y precisión, así como a su capacidad para tomar decisiones arbitrarias y a veces injustas sobre el futuro de los trabajadores
El libro explora en profundidad cómo la inteligencia artificial (IA) está transformando el mundo laboral y los riesgos asociados a su uso.
Infiltración de la IA en el mundo laboral
Schellmann destaca que muchas empresas, especialmente las de la lista Fortune 500, han adoptado herramientas de IA para gestionar el proceso de contratación. Estas herramientas incluyen desde filtros automáticos de currículums hasta entrevistas en video unidireccionales y juegos de video diseñados para evaluar las capacidades y personalidades de los candidatos. Durante la pandemia, el uso de estas tecnologías se incrementó significativamente, facilitando la gestión de grandes volúmenes de solicitudes de empleo.
La autora realizó experimentos con herramientas de IA que afirman evaluar la personalidad y la idoneidad para el trabajo basándose en muestras de voz. En uno de estos experimentos, Schellmann habló en alemán y leyó una entrada de Wikipedia sobre psicometría. A pesar de no hablar en inglés, recibió un correo electrónico indicando que estaba 73% calificada para el trabajo, lo que subraya las limitaciones y posibles sesgos de estas evaluaciones.
Comparación con prácticas pseudocientíficas
Schellmann realiza una comparación crítica entre el uso actual de la inteligencia artificial (IA) en el ámbito laboral y prácticas pseudocientíficas del pasado, como la frenología y la eugenesia.
La frenología fue una pseudociencia del siglo XIX que intentaba vincular rasgos de personalidad con la morfología del cráneo. Los frenólogos creían que podían determinar las características mentales y de comportamiento de una persona mediante la medición de bultos en su cráneo. Esta práctica fue ampliamente desacreditada por la comunidad científica debido a su falta de base empírica y su tendencia a perpetuar estereotipos y prejuicios.
La eugenesia es una teoría pseudocientífica que sostiene que es posible «mejorar» la raza humana mediante la selección genética. Esta práctica llevó a políticas de esterilización forzada y discriminación sistemática contra grupos considerados «inferiores», incluyendo minorías étnicas, personas con discapacidades y otros grupos marginados. La eugenesia tuvo un impacto devastador, especialmente durante el régimen nazi en Alemania, y también influyó en políticas discriminatorias en Estados Unidos y otros países.
Schellmann argumenta que, al igual que la frenología y la eugenesia, los algoritmos de IA pueden ser inherentemente sesgados y perjudiciales. Estos algoritmos, aunque presentados como herramientas objetivas y científicas, a menudo perpetúan los mismos prejuicios y discriminaciones que se encuentran en los datos con los que fueron entrenados. Por ejemplo, un algoritmo de contratación que se entrena con datos históricos de una empresa que ha discriminado sistemáticamente a mujeres y minorías probablemente replicará esos mismos patrones de discriminación.
La autora destaca que los algoritmos de IA pueden perpetuar la discriminación y la injusticia en el lugar de trabajo de varias maneras. Por ejemplo, se ha documentado que algunos sistemas de IA utilizados en la contratación penalizan a las mujeres al dar menor puntuación a los currículums que mencionan actividades relacionadas con mujeres, como «equipo de fútbol femenino». Además, los algoritmos de evaluación de desempeño pueden favorecer a ciertos grupos sobre otros, basándose en datos sesgados que reflejan prejuicios sociales existentes.
Schellmann también critica la falta de transparencia y explicabilidad de muchos sistemas de IA. Los empleados y candidatos a empleo rara vez tienen acceso a información sobre cómo se toman las decisiones algorítmicas que afectan sus carreras. Esta opacidad dificulta la identificación y corrección de sesgos, lo que agrava aún más la injusticia.
La autora subraya que los sistemas de IA no solo impactan el lugar de trabajo, sino que también refuerzan estereotipos y prejuicios sociales más amplios. Al perpetuar prácticas discriminatorias, estos sistemas contribuyen a una sociedad menos inclusiva y equitativa. Schellmann llama a la acción para reevaluar y desafiar estos sistemas sesgados con el fin de crear una sociedad más justa.
Sesgos y discriminación en algoritmos de IA
Schellmann aborda de manera crítica cómo los algoritmos utilizados en decisiones laborales pueden estar sesgados y discriminar a mujeres y personas de color.
Los sesgos en los algoritmos de IA a menudo se originan en los datos de entrenamiento utilizados para desarrollarlos. Si estos datos reflejan prejuicios históricos y desigualdades sociales, los algoritmos tienden a replicar y amplificar estos sesgos. Por ejemplo, un estudio encontró que los algoritmos de contratación pueden discriminar contra mujeres y personas de color debido a la naturaleza sesgada de los datos históricos de empleo.
Schellmann destaca que los algoritmos de IA pueden discriminar a las mujeres de varias maneras. Un ejemplo notable es el caso de Amazon, que en 2015 descubrió que su algoritmo de contratación favorecía a los hombres sobre las mujeres. Esto se debió a que el algoritmo fue entrenado con currículums enviados durante un período de diez años, en los cuales la mayoría de los solicitantes eran hombres. Como resultado, el algoritmo aprendió a preferir candidatos masculinos.
Además, investigaciones han demostrado que los algoritmos pueden mostrar anuncios de trabajos bien remunerados con mayor frecuencia a hombres que a mujeres, perpetuando así la brecha salarial de género. Incluso cuando se eliminan datos explícitamente relacionados con el género, los algoritmos pueden inferir el género a partir de otros datos, como el lenguaje utilizado en los currículums, y continuar discriminando.
La discriminación racial es otro problema significativo en los algoritmos de IA. Un estudio de 2019 reveló que un algoritmo utilizado en hospitales de EE. UU. para predecir qué pacientes necesitarían atención médica adicional favorecía a los pacientes blancos sobre los negros. Aunque la raza no era una variable explícita en el algoritmo, se utilizó un proxy altamente correlacionado con la raza, lo que resultó en un sesgo racial significativo.
En el contexto de la contratación, los algoritmos también pueden discriminar contra personas de color. Por ejemplo, un estudio encontró que los nombres distintivamente afroamericanos en los currículums recibían menos respuestas que los nombres distintivamente blancos, incluso cuando las calificaciones eran equivalentes. Este tipo de sesgo puede tener consecuencias graves, limitando las oportunidades laborales y perpetuando las desigualdades raciales en el lugar de trabajo.
Los sesgos en los algoritmos no solo afectan la contratación, sino también el desarrollo profesional de los empleados. Los algoritmos utilizados para evaluar el desempeño y decidir promociones pueden estar sesgados, lo que resulta en evaluaciones injustas y oportunidades desiguales para el avance profesional. Por ejemplo, los algoritmos que analizan el lenguaje utilizado en las evaluaciones de desempeño pueden penalizar a las mujeres por utilizar un lenguaje que se percibe como menos autoritario.
Schellmann también critica la falta de transparencia y explicabilidad en el uso de estos algoritmos. Los empleados y candidatos a empleo rara vez tienen acceso a información sobre cómo se toman las decisiones algorítmicas que afectan sus carreras. Esta opacidad dificulta la identificación y corrección de sesgos, lo que agrava aún más la injusticia.
Monitoreo y vigilancia
El libro también aborda cómo los empleadores utilizan la IA para monitorear a los empleados, tanto dentro como fuera del lugar de trabajo.
Los empleadores utilizan IA para rastrear la ubicación de los empleados mediante dispositivos GPS y aplicaciones móviles. Esto es especialmente común en trabajos que requieren movilidad, como la entrega de paquetes o el trabajo de campo. Además, la IA puede monitorear las actividades en línea de los empleados, incluyendo el uso de aplicaciones y sitios web, para asegurar que se mantengan productivos y cumplan con las políticas de la empresa.
El monitoreo de las pulsaciones de teclas es una práctica cada vez más común, donde el software de IA registra cada tecla presionada por un empleado. Esto permite a los empleadores evaluar la productividad y detectar comportamientos inusuales que podrían indicar problemas de seguridad o falta de compromiso. Sin embargo, esta práctica ha sido criticada por ser invasiva y por generar un ambiente de desconfianza.
La IA también se utiliza para analizar las comunicaciones de los empleados, incluyendo correos electrónicos, chats y discusiones en reuniones. Herramientas avanzadas de reconocimiento de voz y procesamiento del lenguaje natural (NLP) pueden transcribir y analizar reuniones en tiempo real, identificando temas clave, decisiones y elementos de acción. Además, la IA puede realizar un seguimiento del tono y la emoción en las conversaciones para evaluar la moral y el compromiso del equipo[2][4][13].
Una de las aplicaciones más avanzadas de la IA en el monitoreo de empleados es la predicción de comportamientos futuros, como la probabilidad de que un empleado renuncie. Utilizando datos históricos y patrones de comportamiento, los algoritmos de IA pueden identificar señales de alerta temprana, como un aumento en las ausencias por enfermedad, cambios en la productividad, o una disminución en la participación en reuniones. Esto permite a los empleadores tomar medidas proactivas para retener a los empleados valiosos.
El uso de IA para monitorear a los empleados puede ofrecer varios beneficios, como la mejora de la eficiencia operativa, la identificación temprana de problemas y la optimización de la gestión del talento. Sin embargo, también plantea desafíos significativos, incluyendo preocupaciones sobre la privacidad, la ética y la legalidad del monitoreo. Es crucial que las empresas equilibren la necesidad de supervisión con el respeto a los derechos de los empleados y la creación de un ambiente de trabajo positivo.
El monitoreo intensivo puede tener un impacto negativo en la cultura y el bienestar laboral. Los empleados que se sienten constantemente vigilados pueden experimentar estrés, ansiedad y una disminución en la moral. Además, la percepción de una falta de confianza por parte de la dirección puede erosionar la relación entre empleados y empleadores. Es fundamental que las empresas implementen políticas claras y transparentes sobre el uso de la IA en el monitoreo, y que se aseguren de que los empleados comprendan y acepten estas prácticas.
Falta de transparencia y precisión
Schellmann argumenta que muchos algoritmos de IA operan como «cajas negras», lo que significa que sus procesos de toma de decisiones son complejos y difíciles de interpretar o explicar. Esta opacidad plantea serias preocupaciones sobre la responsabilidad y la comprensión del razonamiento detrás de las decisiones impulsadas por la IA, especialmente en áreas críticas como la contratación, la promoción y el despido de empleados.
Los empleados y candidatos a empleo rara vez son conscientes de cómo se utilizan estos algoritmos para evaluarlos. La falta de transparencia significa que los individuos no pueden entender ni cuestionar las decisiones que afectan sus carreras. Esto puede llevar a una sensación de injusticia y desconfianza hacia el sistema
La falta de precisión en los algoritmos de IA puede resultar en evaluaciones inexactas o injustas. Por ejemplo, un algoritmo de contratación puede rechazar a un candidato altamente calificado debido a sesgos en los datos de entrenamiento o a errores en el procesamiento de la información. Estos errores pueden tener consecuencias graves, como la exclusión de candidatos cualificados y la perpetuación de desigualdades existentes.
Los algoritmos de IA a menudo reflejan los sesgos presentes en los datos históricos con los que fueron entrenados. Esto puede llevar a decisiones discriminatorias que afectan negativamente a mujeres, personas de color y otros grupos marginados. Por ejemplo, un algoritmo de contratación que favorece a candidatos con ciertos antecedentes educativos o experiencias laborales puede discriminar contra aquellos que no encajan en ese perfil, perpetuando así la desigualdad.
Para abordar estos problemas, Schellmann y otros expertos abogan por una mayor transparencia y regulación en el uso de la IA. Esto incluye el desarrollo de técnicas de IA explicable (XAI) que proporcionen información sobre el proceso de toma de decisiones de los algoritmos, así como la implementación de estándares regulatorios que exijan transparencia en los sistemas de IA.
La transparencia en la toma de decisiones de la IA puede aumentar la confianza de los empleados y del público en general. Cuando las personas entienden cómo se toman las decisiones y pueden ver que el proceso es justo y responsable, es más probable que confíen en los resultados. Esto también puede aumentar la legitimidad de las decisiones impulsadas por la IA y promover la rendición de cuentas.
Necesidad de resistencia y regulación
Schellmann destaca la necesidad de desarrollar herramientas algorítmicas de manera ética y transparente. Esto implica que los algoritmos deben ser diseñados y monitoreados para evitar sesgos y discriminación. Los sistemas de IA deben ser explicables, lo que significa que los usuarios deben poder entender cómo y por qué se toman ciertas decisiones. La transparencia en el diseño y funcionamiento de los algoritmos es crucial para garantizar que las decisiones sean justas y equitativas.
La autora subraya la importancia de implementar protecciones para los trabajadores en un mundo cada vez más dominado por la IA. Esto incluye la necesidad de regulaciones que aseguren que los trabajadores no sean injustamente perjudicados por decisiones automatizadas. Por ejemplo, se deben establecer normas que permitan a los trabajadores cuestionar y apelar decisiones algorítmicas que afecten su empleo, como despidos o evaluaciones de desempeño.
Schellmann argumenta que la transparencia y la explicabilidad son esenciales para garantizar que los sistemas de IA sean justos y no discriminatorios. Los empleadores deben ser abiertos sobre cómo se utilizan los algoritmos y proporcionar explicaciones claras sobre las decisiones tomadas por estos sistemas. Esto no solo aumenta la confianza de los empleados, sino que también permite la identificación y corrección de posibles sesgos.
La autora aboga por una regulación más estricta y una supervisión continua del uso de la IA en el lugar de trabajo. Esto incluye la creación de marcos regulatorios que establezcan estándares mínimos para el uso de la IA y la realización de auditorías regulares para asegurar el cumplimiento de estos estándares. Las auditorías algorítmicas pueden ayudar a identificar y corregir sesgos y errores en los sistemas de IA.
Schellmann también destaca la importancia de la participación de los trabajadores y los sindicatos en la regulación del uso de la IA. Los trabajadores deben tener voz en cómo se implementan y utilizan los sistemas de IA en sus lugares de trabajo. Los sindicatos pueden desempeñar un papel crucial en la negociación de condiciones justas y en la protección de los derechos de los trabajadores frente a la automatización y la vigilancia.
Para enfrentar los desafíos de un mundo laboral dominado por la IA, es esencial invertir en la educación y capacitación de los trabajadores. Schellmann sugiere que las empresas deben asociarse con instituciones educativas y proveedores de formación para ofrecer programas que equipen a los trabajadores con las habilidades necesarias para prosperar en un entorno impulsado por la IA. La capacitación continua y la adaptación son fundamentales para asegurar que los trabajadores no sean desplazados por la tecnología.
La autora también aborda las preocupaciones sobre la privacidad y la autonomía de los trabajadores. La vigilancia intensiva y el monitoreo constante pueden tener un impacto negativo en la moral y el bienestar de los empleados. Es crucial que las empresas equilibren la necesidad de supervisión con el respeto a la privacidad y la autonomía de los trabajadores, implementando políticas claras y transparentes sobre el uso de la IA para el monitoreo.
Impacto en los derechos civiles
Schellmann presenta el uso de la IA en el trabajo como una cuestión de derechos civiles, argumentando que la tecnología tiene el potencial de afectar profundamente la vida y las oportunidades de las personas. Llama a la acción para combatir los efectos negativos de la IA y asegurar un uso más justo y equitativo de la tecnología.
Las medidas propuestas por Schellmann se resumen en:
- Desarrollo ético y transparente de algoritmos: Los algoritmos deben ser diseñados y monitoreados para evitar sesgos y discriminación. La transparencia en el diseño y funcionamiento de los algoritmos es crucial para garantizar que las decisiones sean justas y equitativas.
- Regulación y supervisión: Es necesario establecer marcos regulatorios que aseguren el uso responsable de la IA. Esto incluye la realización de auditorías regulares para identificar y corregir sesgos y errores en los sistemas de IA.
- Protección de los derechos de los trabajadores: Se deben implementar protecciones para los trabajadores, permitiéndoles cuestionar y apelar decisiones algorítmicas que afecten su empleo. Los sindicatos y otras organizaciones de trabajadores pueden desempeñar un papel crucial en la defensa de estos derechos.
- Participación de los trabajadores y sindicatos: Los trabajadores deben tener voz en cómo se implementan y utilizan los sistemas de IA en sus lugares de trabajo. Los sindicatos pueden negociar condiciones justas y proteger los derechos de los trabajadores frente a la automatización y la vigilancia.
- Educación y capacitación: Es esencial invertir en la educación y capacitación de los trabajadores para que puedan adaptarse a un entorno impulsado por la IA. La capacitación continua y la adaptación son fundamentales para asegurar que los trabajadores no sean desplazados por la tecnología.