Facial recognition technology can expose political orientation from naturalistic facial images

Abstract

Ubiquitous facial recognition technology can expose individuals’ political orientation, as faces of liberals and conservatives consistently differ. A facial recognition algorithm was applied to naturalistic images of 1,085,795 individuals to predict their political orientation by comparing their similarity to faces of liberal and conservative others. Political orientation was correctly classified in 72% of liberal–conservative face pairs, remarkably better than chance (50%), human accuracy (55%), or one afforded by a 100-item personality questionnaire (66%). Accuracy was similar across countries (the U.S., Canada, and the UK), environments (Facebook and dating websites), and when comparing faces across samples. Accuracy remained high (69%) even when controlling for age, gender, and ethnicity. Given the widespread use of facial recognition, our findings have critical implications for the protection of privacy and civil liberties.

Computational personality assessment

“…In contrast to self-report questionnaires that are widely used for personality assessment, computational assessments do not require people to actively provide data for assessment. This is the case when the methods that are used for CPA, reveal patterns that would otherwise have remained hidden in the data (e.g., in faces; Kosinski, 2021). Hence, the use of facial images in psychometric assessments in particular has been subject to criticism due to the scalability of the method and the inability to avoid assessments (e.g., ratings through CCTV).…”

Ethical machine decisions and the input-selection problem

“…24 It is worth noting that there are alternative ways to model the property of being a grandmother. For example, a facial analysis can be used to predict the property of being a grandmother-given that there has been some success with determining other properties from people's faces (see, e.g., Kosinski, 2021). However, if such techniques would be possible, it would not solve the problems of trade-offs, which means that a normative analysis is needed and that is exactly the point I wish to make here.…”

Psicometría, perfiles y sesgos

“…Con base en esas variables, se han podido programar algoritmos de reconocimiento facial que han permitido efectuar una detección automatizada de los rostros, a partir de herramientas estadísticas como la correlación y las redes bayesianas. Tal como se mencionó, uno de los estudios de caso más significativo ha sido efectuado por Kosinski (2021). Con base en más de un millón de fotografías de perfil de usuarios obtenidas de la red social Facebook, este estudio psicométrico determinó una tecnología que era capaz de determinar las orientaciones políticas de los rostros -en un rango de liberales y conservadores-.…”

“…Así, se pudo determinar que los hombres blancos y de edades superiores a los 40 años tienden a ser más conservadores. Adicionalmente, si bien existen estudios psicométricos anteriores que han determinado una correlación de la escrupolosidad, que encierra rasgos como la organización y la eficiencia con tendencias políticas conservadoras (Sibley, Osborne & Duckitt, 2013), Kosinski (2021) determinó que rasgos de comportamiento como la apertura a la experiencia y la extraversión (comportamientos como la curiosidad y la sociabilidad) estaban relacionadas con filiaciones políticas más liberales.…”

“…La identificación de características del rostro con las tendencias política correlacionó cuatro grandes aspectos de las fotos de perfil: pose de la cabeza JULIO -DICIEMBRE 2021 (entre rodada, si tiene un cabeceo hacia algún lado, si hace algún tipo de guiño), expresión de alguna emotividad (si expresa enfado, tristeza, sorpresa, miedo), si usa lentes o gafas (de sol o correctivas) y el corte de cabello (Kosinski, 2021). Los resultados de esta correlación, entre la manifestación de una afinidad política con los rasgos de las fotos de perfil, determinó que la orientación de la cabeza y la expresión evocada de los usuarios predice las tendencias políticas en un 60 %.…”