El principios #2 del Feminismo de Datos es desafiar al poder. El feminismo de datos se compromete a desafiar estructuras de poder desiguales y trabajar en conjunto por la justicia.

Principio: desafiar el poder

El feminismo de datos se compromete a desafiar las estructuras desiguales de poder y trabajar por la justicia.

En 1971, el Instituto de Expedición Geográfica de Detroit [Detroit Geographical Expedition and Institute] (DGEI) publicó un provocativo mapa llamado Where Commuters Run Over Black Children on the Pointes-Downtown Track [Donde los conductores atropellan a infancias Negras en la ruta Pointes-Downtown]. El mapa (figura 2.1) utiliza puntos negros para ilustrar los lugares donde ocurrieron los asesinatos en la comunidad. En una sola esquina, hubo seis infancias asesinadas por conductores blancos en el transcurso de seis meses. En el mapa, los puntos cubren toda la cuadra.

Las personas que vivían a lo largo de esta ruta hacía tiempo que reconocían la magnitud del problema, así como su profundo impacto en la vida de amistades y del vecindario. Pero la recopilación de datos que avalaban lo que ocurría resultó ser un gran desafío. Nadie mantenía registros detallados de estas muertes, tampoco se ponía a disposición del público información básica sobre lo que sucedía. “No conseguíamos esa información”, explica Gwendolyn Warren, quien fue la organizadora con sede en Detroit que encabezó una colaboración única: la alianza entre la juventud Negra de los vecindarios circundantes y un grupo dirigido por varones blancos geógrafos académicos de universidades cercanas.1

A través de la colaboración, el grupo juvenil aprendió técnicas de mapeo de vanguardia y, guiados por Warren, aprovecharon su conocimiento in situ para producir una serie de informes integrales, que cubrían temas como las desigualdades sociales y económicas entre las infancias del vecindario. También realizaron propuestas para que hubiera nuevos límites del distrito escolar que fueran más equitativos racialmente2.

Si se compara el mapa del DGEI con otro mapa de Detroit hecho treinta años antes, el Residential Security Map [Mapa de Seguridad Residencial] (figura 2.2) ambos mapas utilizan técnicas cartográficas sencillas: vista aérea, leyendas, símbolos y sombreado. Pero las similitudes terminan allí. Los mapas difieren en su estilo visual, por supuesto. Pero lo más profundo es cómo se distinguen en términos de las visiones del mundo de sus creadores y las comunidades a las que buscan apoyar. Este último mapa fue hecho por la Junta de Comercio de Detroit, que estaba formada solo por varones blancos, en colaboración con la Junta del Banco Federal de Préstamos para la Vivienda, que, también, estaba formada principalmente por varones blancos. Lejos de ser emancipatorio, este mapa fue uno de los primeros ejemplos de la práctica de la línea roja, un término utilizado para describir cómo los bancos calificaban el riesgo de otorgar préstamos a propietarios potenciales sobre la base de la demografía del vecindario (específicamente por la racialización y el origen étnico), en lugar de la solvencia individual.

La práctica de líneas rojas utilizada en los mapas discriminatorios (en inglés redlining) debe su nombre a la técnica utilizada que implicó primero dibujar literalmente líneas rojas en un mapa (a veces, las áreas estaban sombreadas en rojo, como en el mapa de la figura 2.2.). Todos los vecindarios Negros de Detroit están dentro de áreas rojas en este mapa porque la discriminación en la vivienda y otras formas de opresión estructural son anteriores a la práctica. 3 Pero negarles préstamos hipotecarios a las personas que vivían en estos vecindarios reforzaron aquellas desigualdades existentes y, como han demostrado décadas de investigación, fueron responsables concretamente de empeorarlas. 4

Los mapas de prácticas discriminatorias (redlining) de principios del siglo XX tenían un aura muy similar a los enfoques de macrodatos (en inglés big data) de hoy. Estas “soluciones” ampliables y de alta tecnología se implementaron en todo el país, y fueron uno de los métodos, de muchos, que funcionaron para garantizar que la riqueza permaneciera vinculada a la categoría racial de blancura. 5 Al mismo tiempo que se elaboraban estos mapas, la industria de seguros, por ejemplo, estaba implementando métodos similares basados ​​en datos para otorgar (o denegar) pólizas a los/as/es clientes en función de sus características demográficas. Las leyes de zonificación que se basaban explícitamente en la identidad racial ya habían sido declaradas inconstitucionales, pero dentro de los vecindarios, los llamados acuerdos eran casi igual de excluyentes y completamente legales.6 Este es un fenómeno que el filósofo político Cedric Robinson denominó capitalismo racial, y continúa hasta el presente en forma de puntajes de crédito generados algorítmicamente que son consistentemente sesgados. También se evidencia cómo las leyes tributarias en los Estados Unidos privilegian al “1% más rico”7, por dar solo dos ejemplos de muchos.8 Así, los beneficios para quienes son blancos se acumulan: “la blancura retiene su valor como un 'premio consuelo'”, explica la académica especializada en derechos civiles Cheryl Harris. “No significa que todas las personas blancas ganarán, sino simplemente que no perderán”.9

¿Quién hace mapas y quién es mapeado? El mapa que establece prácticas discriminatorias asegura el poder a quienes lo crearon: los varones blancos de la Junta de Comercio de Detroit, sus familias y sus comunidades. Este mapa en particular se llama Mapa de seguridad residencial. Pero el título refleja mucho más que un deseo de asegurar los valores de propiedad. Más bien, revela un deseo más amplio de proteger y preservar la propiedad de la vivienda como un método para acumular riqueza y, por lo tanto, estatus y poder, que solo estaba disponible para las personas blancas. En muchas ocasiones, las "soluciones" basadas en datos se siguen desarrollando de manera similar: apoyando los intereses de las personas e instituciones en posiciones de poder, cuya visión del mundo y sistema de valores difiere ampliamente de aquellos visiones y valores de las comunidades de los cuales se sacan los datos que utilizan estos sistemas.10

El mapa del DGEI, por el contrario, desafía esta distribución desigual de datos y poder. Lo hace de tres maneras claves. Primero, ante la falta de datos, compiló sus propios contradatos. Warren describe cómo desarrolló relaciones con “políticos para usarlos como un medio para obtener información del departamento de policía con el fin de averiguar exactamente a qué hora, dónde, cómo y quién mató a [cada] infancia”.11 En segundo lugar, el mapa del DGEI trazó los datos que se recopilaron con el objetivo deliberado de cuantificar la opresión estructural. Se enfocaron intencional y explícitamente en los problemas de “muerte, hambre, dolor, tristeza y frustración en las infancias”, como explican en el informe.12 Finalmente, el mapa del DGEI fue elaborado por jóvenes Negros que vivían en esta comunidad, bajo el liderazgo de una mujer Negra que fue la organizadora y, también era integrante de dicha comunidad, con el apoyo de los geógrafos académicos.13 Las identidades de sus creadores importan, su proximidad al tema importa, los términos de su colaboración importan y el liderazgo del proyecto importan.14

Por estas razones, el DGEI proporciona un modelo del segundo principio del feminismo de datos: desafiar el poder. Desafiar el poder requiere movilizar la ciencia de datos para hacer retroceder las estructuras de poder existentes y desiguales y trabajar hacia futuros más justos y equitativos. Como discutiremos en este capítulo, el objetivo de desafiar el poder está estrechamente relacionado con el acto de examinar el poder, el primer principio del feminismo de datos. De hecho, el primer paso para desafiar el poder es examinar ese poder. Pero el siguiente paso, y la razón por la que hemos optado por dedicar dos principios al tema del poder, es actuar contra un statu quo injusto.

Las formas de accionar pueden ser múltiples, en este capítulo ofrecemos cuatro puntos de partida: (1) Recolectar: ​​La compilación de contradatos—ante la falta de datos o la negligencia institucional—ofrece un poderoso punto de partida como vemos en el ejemplo del DGEI o en los mapas de feminicidios de María Salguero discutidos en el capítulo 1. (2) Analizar: Desafiar el poder a menudo requiere demostrar resultados desiguales entre los grupos, y se están desarrollando nuevos métodos computacionales para auditar algoritmos opacos y responsabilizar a las instituciones. (3) Imaginar: No podemos solo enfocarnos en los resultados no equitativos, porque entonces nunca llegaremos a la raíz de la injusticia. Para desmantelar verdaderamente el poder, tenemos que imaginar nuestro punto final no como “justicia”, sino como co-liberación15. (4) Enseñar: Las identidades de los/as/es científicos/as/es de datos son importantes, entonces, ¿cómo podemos involucrar y empoderar a quienes recién llegan al campo para cambiar su composición actual16 y cultivar la próxima generación de feministas de datos?

Analizar y exponer la opresión

Se puede hacer una comparación directa entre los mapas de prácticas discriminatorias de ayer y los algoritmos de evaluación de riesgos de hoy. Estos últimos se utilizan en muchas ciudades de los Estados Unidos para informar los criterios sobre la duración de una sentencia de prisión en particular, el monto de la fianza que debe establecerse e incluso si pueden acceder al beneficio de libertad bajo fianza. El “riesgo” en su nombre tiene que ver con la probabilidad de que una persona detenida por la policía cometa un delito en el futuro. Los algoritmos de evaluación de riesgos producen puntajes que influyen en si una persona es enviada a la cárcel o liberada, alterando efectivamente el curso de su vida.

Pero los algoritmos de evaluación de riesgos, como los mapas de prácticas discriminatorias redlining, no son ni neutrales ni objetivos. En 2016, Julia Angwin dirigió un equipo de ProPublica para investigar uno de los algoritmos de evaluación de riesgos más utilizados en los Estados Unidos, creado por la empresa Northpointe (ahora Equivant).17 Su equipo descubrió que a las personas blancas acusadas se les suele etiquetar erróneamente como de bajo riesgo en mayor proporción que a las personas ​​Negras y, por el contrario, a las personas Negras acusadas se las etiqueta erróneamente como de alto riesgo con mayor frecuencia que a las personas blancas.18 Al indagar más en el proceso, el equipo de periodistas descubrió una hoja de trabajo de ciento treinta y siete preguntas que cada persona detenida debe completar (figura 2.3). Las respuestas se introducen en el software, en el que se comparan con otros datos para determinar la puntuación de riesgo de cada persona. Aunque el cuestionario no pregunta directamente sobre el color de la piel de las personas, hace preguntas que, dadas las desigualdades estructurales en la cultura estadounidense, sirven como indicadores de aquella. Incluyen preguntas como si te criaste en una familia monoparental, si alguna vez te han suspendido de la escuela o si tienes amistades o familiares que hayan estado en prisión. En los Estados Unidos, cada una de esas preguntas está vinculada a un conjunto de realidades sociales, culturales y políticas más amplias y, en la mayoría de los casos, es un proxy de la raza. Por ejemplo, se ha demostrado que el 67 % de las infancias Negras crecen en hogares monoparentales, mientras que en las infancias blancas, solo el 25 % lo hace.19 De manera similar, los estudios han demostrado que a las infancias Negras se les castiga con más dureza que a las blancas por las mismas infracciones menores, que comienzan desde el preescolar.20 Entonces, aunque quienes crearon el algoritmo afirman que no consideran a la raza, está de todas maneras integrada en los datos que eligen usar. Es más, están utilizando esa información para perjudicar aún más a las personas Negras, ya sea por una creencia errónea en la objetividad de sus datos o porque no buscan soluciones ante la evidencia de cómo el racismo está operando a través de su tecnología.

La socióloga Ruha Benjamin tiene un término para estas situaciones: el Nuevo Código Jim21, donde el código de software y un falso sentido de la objetividad se unen para contener y controlar las vidas de las personas Negras y de otras identidades racializadas.22 En este sentido, el mapa de las líneas rojas y el algoritmo de evaluación de riesgos Equivant comparten algunas similitudes adicionales. Ambos utilizan datos agregados sobre grupos sociales para tomar decisiones sobre individuos: ¿Deberíamos otorgar un préstamo a esta persona? ¿Cuál es el riesgo de que esta persona reincida? Además, ambos usan datos del pasado ​​para predecir el comportamiento futuro y para restringirlo. En ambos casos, los datos del pasado ​​en cuestión (como patrones de vivienda segregada o monoparental) son producto de condiciones estructuralmente desiguales. Estas condiciones desiguales son ciertas en grandes grupos sociales y, aún así, la tecnología utiliza esos datos como elementos predictivos que influirán en el futuro de una persona. Surya Mattu, ex reportera de ProPublica que trabajó en la historia, señala este punto directamente: “Equivant no tuvo en cuenta el hecho de que las personas afroamericanas tienen más probabilidades de ser arrestadas por la policía, independientemente de si cometieron un delito o no. El sistema supone que si ha sido arrestada, probablemente corra un mayor riesgo”. 23 Este es uno de los desafíos de usar datos sobre personas como entrada en un sistema: los datos nunca están “en bruto”. Los datos son siempre el producto de relaciones sociales desiguales, relaciones afectadas por siglos de historia. Como afirma el científico informático Ben Green: "Aunque la mayoría de las personas hablan de la capacidad del aprendizaje automático para predecir el futuro, lo que realmente hacen es predecir el pasado".24 De hecho, este software “predictivo” refuerza esas divisiones interseccionales existentes, como las que se producen por clivajes de raza, género y clase, que aumentan las desigualdades sociales que han limitado a ciertos grupos durante generaciones. El peligro del Nuevo Código Jim es que estos hallazgos se promueven activamente como objetivos, y rastrean a individuos y grupos a lo largo de sus vidas y limitan su potencial futuro.

Pero los algoritmos de aprendizaje automático no sólo predicen el pasado; también reflejan las desigualdades sociales actuales. Un hallazgo menos conocido de la investigación de Equivant de ProPublica, por ejemplo, es que también surgió un tratamiento significativamente diferente de las mujeres por parte del algoritmo. Debido a diversos factores, las mujeres tienden a reincidir (a cometer nuevos delitos) menos que los varones. Eso significa que la escala de riesgo para las mujeres es distinta. Una mujer con puntaje de riesgo alto, generalmente, se equipara a un nivel de puntaje de “riesgo medio” para un varón. Por lo tanto, es realmente impactante que la justicia esté mirando esto y piensen que “alto riesgo” significa lo mismo para un varón y una mujer cuando no es así”, explica la reportera principal Julia Angwin.25

Angwin decidió enfocar la historia centrándose en las identidades racializadas en parte debido al trabajo previo de criminólogas como Kristy Holtfreter, que ya habían resaltado algunas de estas diferencias según género.26 Pero había otro factor en juego en su decisión editorial: el sexismo en el lugar de trabajo que enfrentan las mujeres reporteras como la propia Angwin. Angwin explica cómo siempre se había resistido a trabajar en historias sobre mujeres y género porque quería evitar ser encasillada como una reportera que solo trabajaba en historias sobre mujeres y género. Pero, explica, “una de las cosas de las que me di cuenta durante el movimiento #MeToo, fue la cantidad de decisiones como esa que había tomado a lo largo de los años”, una forma internalizada de opresión que la había desanimado de cubrir esos temas importantes. A principios de 2018, cuando realizamos esta entrevista, Angwin estaba en la búsqueda de perfiles para su propia empresa emergente de periodismo de datos, Markup, fundada con el objetivo de utilizar métodos basados ​​en datos para investigar los daños y beneficios diferenciales de las nuevas tecnologías en la sociedad. Le entusiasmó ver cuántas postulaciones de trabajo de todos los géneros presentaban historias sobre temas relacionados con la desigualdad de género. “En la era de los datos y la IA, el desafío es que la rendición de cuentas es difícil de probar y de rastrear”, explica. “El desafío para el periodismo es tratar de hacer lo más concreto posible esos vínculos cuando podamos, para poder mostrarle al mundo cuáles son los daños”. Angwin está señalando un problema complicado que es poco probable que desaparezca. El campo del periodismo se ha enorgullecido durante mucho tiempo de “hablarle con la verdad al poder”. Pero hoy, ese poder ha pasado de las personas y las corporaciones a los conjuntos de datos y modelos que crean y emplean. Estos conjuntos de datos y modelos requieren nuevos métodos de interrogación, particularmente cuando, como los de Equivant, son de su propiedad. ¿Cómo se informa sobre una caja negra, como, a veces, se describe a estos algoritmos dañinos? 27 Al igual que la situación que encontró Gwendolyn Warren cuando investigó los datos sobre las muertes de las infancias en Detroit, o como María Salguero cuando comenzó a registrar los feminicidios en México, ProPublica no encontró estudios existentes que examinaran si las puntuaciones de riesgo tenían sesgos raciales, o conjuntos de datos existentes que pudieran usar para orientarlos hacia las respuestas. Para escribir la historia de la evaluación de riesgos, ProPublica tuvo que reunir un conjunto de datos propios. El equipo observó a diez mil personas acusadas penalmente de un solo condado de Florida y compararon sus puntajes de riesgo de reincidencia con personas que realmente reincidieron en un período de dos años. Después de realizar un análisis exploratorio inicial, crearon su propio modelo de regresión que consideró a la racialización, la edad, los antecedentes penales, la reincidencia futura, el grado de acusación y el género. Descubrieron que la edad, la racialización y el género eran los predictores más fuertes de quién recibió una puntuación de alto riesgo: las personas acusadas Negras tenían un 77% más de probabilidades que las personas blancas acusadas de recibir una puntuación más alta de reincidencia violenta. Su análisis también incluyó la creación de modelos para probar la precisión general del modelo COMPAS a lo largo del tiempo y una investigación de errores para ver si había diferencias raciales en la distribución de falsos positivos y falsos negativos. Resultó que sí los hubo: era más probable que el sistema predijera que las personas blancas no cometerían más delitos si los liberaban, cuando en realidad reincidieron. 28

Angwin y su equipo usaron la ciencia de datos para desafiarla. Mediante la recopilación de datos faltantes y la ingeniería inversa del algoritmo que juzgaba el riesgo de cada persona acusada, pudieron probar un sesgo racial sistémico. Este método de análisis se denomina auditoría de algoritmos y se utiliza cada vez más en el periodismo y en la investigación académica para mostrar cómo se distribuyen diferencialmente los daños y beneficios de los sistemas automatizados. El investigador de periodismo computacional, Nicholas Diakopoulos, ha propuesto que un trabajo como este se formalice en una especialidad periodística vinculada a la transparencia algorítmica (en inglés: an algorithm accountability beat) lo que ayudaría a generalizar la práctica.29 Él y la científica informática Sorelle Friedler han afirmado que los algoritmos deben ser “responsables públicamente” de sus efectos, y la prensa es un lugar donde puede llevarse a cabo esta rendición de cuentas.30 Al proporcionar pruebas de cómo el racismo y el sexismo, entre otras opresiones, crean resultados desiguales entre los grupos sociales, el análisis de datos es una estrategia poderosa para desafiar el poder y trabajar por la justicia.

Los obstáculos de la prueba

Hagamos una pausa aquí para una pregunta feminista del sobre quién, como lo presentamos en el capítulo 1. ¿A quién se le debe mostrar, exactamente, los daños de estas diferencias de poder? ¿Y qué tipo de pruebas requieren para creer que la opresión es real? Las mujeres que experimentan instancias de sexismo, como lo hizo Angwin en su lugar de trabajo, ya conocen los daños de ese comportamiento opresivo. Los adultos jóvenes con los que Gwendolyn Warren trabajó en Detroit ya sabían íntimamente que los conductores blancos mataban a personas de su vecindario y a sus amistades. No tenían necesidad de demostrar a sus comunidades que el racismo estructural era un factor en estas muertes. Más bien, su objetivo al asociarse con el DGEI era demostrar la naturaleza estructural del problema a aquellos en posiciones de poder. Esos grupos e instituciones dominantes fueron los que, al privilegiar sus propios intereses sociales, políticos y económicos, cargaron con gran parte de la responsabilidad del problema. A su vez, debido al fenómeno que hemos descrito como un riesgo de privilegio era poco probable que vieran que el problema existía en primer lugar. La teoría del cambio que motiva estos esfuerzos para usar datos como evidencias, o “pruebas”, es que al ser conscientes de la magnitud del problema, quienes están en el poder se sentirán impulsados ​​a tomar medidas.

Este tipo de revelaciones basadas en datos ciertamente pueden ser convincentes. Solo cuando el análisis aparece en un diario, blog o programa de televisión de alto perfil (en otras palabras: un lugar lo suficientemente blanco y lo suficientemente masculino como para ser considerado convencional) puede incitar a las personas en el poder a actuar. La historia de ProPublica sobre los algoritmos de evaluación de riesgos, por ejemplo, llevó a un miembro del consejo de la ciudad de Nueva York a proponer un proyecto de ley de responsabilidad algorítmica. Promulgado en 2018, el proyecto de ley se convirtió en la primera medida legal para abordar la discriminación algorítmica en los Estados Unidos y condujo a la creación de un grupo de trabajo centrado en la "equidad y justicia" en los algoritmos de la ciudad.31 Si la ciudad implementara algunas de las recomendaciones del grupo de trabajo, influiría en el trabajo de los proveedores de software, así como en la legislación de otras ciudades. Este camino de influencias -que va desde el problema de la comunidad hasta la recopilación de pruebas, los reportes informados y el cambio de políticas- representa las mejores aspiraciones de hablar con la verdad al poder.32

Si bien analizar y exponer la opresión para hacer que las instituciones rindan cuentas puede ser extremadamente útil, su eficacia viene con dos advertencias. La prueba puede convertirse fácilmente en parte de un bucle sin fin si no va acompañada de otras herramientas de participación comunitaria, organización política y activismo. Cualquier evidencia basada en datos puede minimizarse porque no es lo suficientemente "grande", no es lo suficientemente "limpia" o no es lo suficientemente "interesante" para justificar una respuesta significativa de las instituciones que tienen un interés en mantener el statu quo.33 Como vimos en el capítulo 1, los datos de María Salguero sobre feminicidios se ampliaron con comisiones gubernamentales, informes de organismos internacionales y fallos de tribunales internacionales. Pero ninguno de esos esfuerzos de recopilación de datos ha sido suficiente para impulsar una acción integral.

Otra pregunta feminista sobre el quién: ¿sobre quién recae la carga de la prueba? En 2015, la investigadora de comunicaciones, Candice Lanius, escribió una publicación de blog ampliamente compartida: "Datos, no opinión: tu demanda de evidencia estadística es racista" [Fact Check: Your Demand for Statistical Proof is Racist], en la que resume la extensa investigación sobre cómo quienes están en posiciones de poder aceptan evidencia anecdótica de personas en igualdad de condiciones, pero exigen estadísticas interminables de grupos minorizados.34 La autora argumenta, de manera convincente, que en estos casos la obtención de más datos nunca será suficiente.

La prueba también puede agravar, sin saberlo, las narrativas dañinas (ya sean sexistas, racistas, capacitistas u opresivas de otro modo) que ya están circulando en la cultura, y contribuir, sin darse cuenta, a lo que se conoce como narrativas deficientes. Estas narrativas reducen un grupo o cultura a sus "problemas", en lugar de retratarlos con las fortalezas, la creatividad y la agencia que poseen las personas de esas culturas. Por ejemplo, en su libro Indigenous Statistics [Estadísticas indígenas], Maggie Walter y Chris Anderson describen cómo las estadísticas utilizadas por los grupos colonialistas para describir las poblaciones indígenas han funcionado principalmente como “documentación de la diferencia, el déficit y la disfunción”.35 Esto puede ocurrir incluso cuando sus creadores tienen buenas intenciones; por ejemplo, como señala Kimberly Seals Allers (véase el capítulo 1), gran parte de los informes de los medios de comunicación sobre los datos de mortalidad materna Negra caen en la categoría de narrativa deficiente. Presenta a las mujeres Negras como víctimas y no amplifica los esfuerzos de las mujeres Negras que han estado trabajando en el tema durante décadas.

Esto también se aplica a los datos de género. “Los pocos datos que recopilamos sobre las mujeres tienden a ser sobre su experiencia con la violencia o la salud reproductiva”, explica Nina Rabinovitch Blecker, quien dirige las comunicaciones de Data2X, una organización sin fines de lucro cuyo objetivo es mejorar la calidad de los datos relacionados con el género en un contexto global.36 Los datos actuales alientan narrativas deficientes adicionales, en las que las mujeres son retratadas de manera implacable y reduccionista como víctimas de delitos violentos como asesinato, violación o violencia en la pareja. Estas narrativas implican que los sujetos de los datos no tienen agencia (propia) y necesitan ser "salvadas" por gobiernos, instituciones internacionales o por una ciudadanía preocupada. Para contrarrestar eso, Blecker eligió publicar un ejemplo de Uruguay que no se enfocaba en la violencia, sino más bien en cuantificar las contribuciones invisibles de las mujeres a la economía.37

Aunque recolectar contradatos y analizar datos para brindar pruebas de opresión continúan siendo objetivos respetables, es igualmente importante permanecer consciente de cómo se retrata a los sujetos de la opresión. Trabajar directamente con las comunidades, de lo que hablamos más en el capítulo 5, es el remedio más seguro para estos daños. La investigadora indígena Maggie Walter explica que la apropiación del proceso es clave para detener la propagación de narrativas deficientes: “Debemos [los pueblos originarios] tener un poder real sobre cómo se hacen las estadísticas sobre nuestras vidas: dónde, cuándo y cómo”.38 También es clave la atención sostenida a las formas en que las propias comunidades ya están abordando los problemas. Estas acciones son a menudo más creativas, más efectivas y más acordes a la cultura que las acciones que haría cualquier organización externa.

Visualiza la equidad, imagina la co-liberación

Como demuestran claramente los ejemplos discutidos hasta ahora en este libro, uno de los resultados más peligrosos de las herramientas de datos y la ciencia de datos que se consolidan en manos de los grupos dominantes es que estos grupos pueden oscurecer sus políticas y sus objetivos detrás de sus tecnologías. Benjamin, cuyo libro Race after Technology: Abolitionist Tools for the New Jim Code [NdT: La raza detrás de la tecnología: herramientas abolicionistas para el Nuevo Código Jim -libro no traducido al castellano-], describe este fenómeno como la "supuesta objetividad de los datos y la tecnología" porque los sistemas basados ​​en datos, como las líneas rojas y los algoritmos de evaluación de riesgos, no son en absoluto objetivos.39 Su concepto de supuesta objetividad enfatiza el papel que juegan los supuestos culturales y las ideas preconcebidas personales en la defensa de esta falsa creencia: nos imaginamos (erróneamente) que los conjuntos de datos (en inglés data driven system) y los algoritmos son menos parciales y menos discriminatorios que las personas y, por lo tanto, más "objetivos".40 Como lo discutimos en el capítulo 1, estos productos de datos parecen objetivos solo porque las perspectivas de quienes los producen (la élite, los hombres blancos y las instituciones que controlan) pasan por defecto. Las suposiciones sobre la objetividad se están convirtiendo en un foco importante en la ciencia de datos y campos relacionados, ya que un algoritmo tras otro se revela como sexista, racista o defectuoso. ¿Qué pueden hacer las personas que diseñan estos sistemas computacionales para evitar estas dificultades? ¿Y qué pueden hacer los demás para ayudarlos y responsabilizarlos?

La búsqueda de respuestas a estas preguntas ha impulsado el desarrollo de una nueva área de investigación conocida como ética de datos. Representa un esfuerzo interdisciplinario creciente, tanto crítico como computacional, para garantizar que se identifiquen y aborden los problemas éticos provocados por nuestra creciente dependencia de los sistemas basados ​​en datos. Hasta ahora, la principal tendencia ha sido enfatizar el tema del “sesgo” y los valores de “justicia, responsabilidad y transparencia” para mitigar sus efectos.41 Este es un desarrollo prometedor, especialmente para los campos técnicos que históricamente no han destacado cuestiones éticas, y como mecanismos de financiación para la investigación sobre datos y ética.42 Sin embargo, como ayuda a demostrar el concepto de supuesta objetividad de Benjamin, abordar el sesgo en un conjunto de datos es un pequeño parche tecnológico para un problema mucho mayor. Incluso los valores mencionados aquí, que buscan abordar instancias de sesgo en los sistemas basados ​​en datos, no son neutrales en sí mismos, ya que ubican la fuente del sesgo en personas individuales y decisiones de diseño específicas. Entonces, ¿cómo podríamos desarrollar una práctica que resulte en sistemas basados ​​en datos que desafíen el poder en su origen?

El siguiente cuadro (tabla 2.1) presenta un conjunto alternativo de conceptos de orientación para el campo: estos son los seis ideales que creemos que deberían guiar el trabajo de ética de datos. Todos estos conceptos tienen legados en el activismo feminista interseccional, la organización colectiva y el pensamiento crítico, y son descaradamente explícitos en la forma en que trabajan hacia la justicia.

Tabla 2.1: De la ética de los datos a la justicia de los datos

En la columna de la izquierda, enumeramos algunos de los principales conceptos que circulan actualmente en las conversaciones sobre los usos de datos y algoritmos en la vida pública (y privada). Estos constituyen un paso adelante, pero no van lo suficientemente lejos. En el lado derecho, enumeramos conceptos adyacentes que surgen de una base en el activismo feminista interseccional y el pensamiento crítico. La brecha entre estas dos columnas representa una diferencia fundamental en vistas de por qué surge la injusticia y cómo opera en el mundo. Los conceptos de la izquierda se basan en la suposición de que la injusticia surge como resultado de individuos o grupos pequeños imperfectos ("manzanas podridas", "policías racistas", "bro-gramadores" -NdT: en referencia a los tech bro, el estereotipo de varón en tecnología-) o sistemas técnicos defectuosos ("el algoritmo/conjunto de datos lo hizo" ). Aunque ciertamente existen personas y sistemas defectuosos, no son la causa principal de los problemas que ocurren una y otra vez en los datos y los algoritmos.

¿Cuál es la raíz de la causa? Si leíste el capítulo 1, sabes la respuesta: la matriz de dominación, la matriz de dominación y la matriz de dominación. Los conceptos de la izquierda pueden hacer un buen trabajo, pero finalmente mantienen las raíces del problema en su lugar. En otras palabras, mantienen la actual estructura de poder, aunque no lo pretendan, porque no afectan la matriz de dominación. Dirigen la atención de la comunidad científica de datos hacia la búsqueda de soluciones tecnológicas. A veces esas soluciones son necesarias e importantes. Pero como afirman las académicas especializadas en tecnología Julia Powles y Helen Nissenbaum, "El sesgo es real, pero también es una diversión cautivadora".43 Hay un problema más fundamental que también debe abordarse: no todos llegamos al presente con el mismo poder o privilegio. Cientos de años de historia, política y cultura nos han traído hasta este momento. Esta es una realidad de nuestras vidas, así como de nuestros datos. Un enfoque más amplio en la justicia de los datos, en lugar de solo en la ética de los datos, puede ayudar a garantizar que las inequidades pasadas no se destilen en algoritmos de caja negra que, como los mapas de que establecían prácticas discriminatorias del siglo XX, determinan el curso de la vida de las personas en el siglo XXI.

Al proponer este gráfico, no sugerimos que la ética no tenga cabida en la ciencia de datos, que no se deba abordar el sesgo en los conjuntos de datos o que se deban ignorar los problemas de transparencia.44 Más bien, el punto principal es que los conceptos de la izquierda son inadecuados por sí solos para dar cuenta de las causas profundas de la opresión estructural. Al no tener en cuenta estas causas, limitan el rango de respuestas posibles para desafiar el poder y trabajar hacia la justicia. En contraste, los conceptos de la derecha parten de la creencia feminista básica de que la opresión es real, histórica, continua y que vale la pena desmantelarla.

La teórica de medios y diseñadora Sasha Costanza-Chock propone un enfoque restaurativo de la justicia de datos.45 Partiendo de teorías de justicia restaurativa (es decir, que las decisiones deben tomarse de manera que reconozcan y rectifiquen cualquier daño del pasado), Costanza-Chock afirma que cualquier noción de una justicia algorítmica también debe reconocer la naturaleza sistemática de la injusticia que ciertos grupos han perpetrado durante mucho tiempo sobre otros. Dan el ejemplo de las admisiones universitarias, un tema que siempre parece estar en las noticias, sobre todo porque es un mecanismo importante para proteger el privilegio.46 Un enfoque restaurativo de las admisiones universitarias implicaría tomar decisiones sobre a quienes admiten en el presente sobre la base de a quiénes históricamente no se admitían en el pasado, como las mujeres, que han sido excluidas del MIT, donde viene enseñando Constanza-Chock, durante décadas. De acuerdo con este modelo, una clase actual “justa” que ingresa a la historia podría estar compuesta en un 90 por ciento por mujeres e identidades racializadas.47

¿Este enfoque hace que la justicia se politice? Enfáticamente sí, porque todos los sistemas son políticos. De hecho, el llamado a evitar la política es una forma muy familiar, para quienes están en el poder, de intentar aferrarse a ella.48 La capacidad de eludir la política es un privilegio en sí mismo, que solo tienen aquellas personas cuya existencia no desafía el statu quo. Si eres una mujer Negra o un hombre musulmán o una persona transgénero que trabaja para el servicio militar y vive en los Estados Unidos hoy, su existencia en el mundo es política, lo quiera o no.49 Entonces, en lugar de diseñar algoritmos que pretendan ser "daltónicos" (dado que el daltonismo es, por supuesto, un mito), Costanza-Chock explica que deberíamos diseñar algoritmos que sean justos.50 Esto significa cambiar de la noción ahistórica de justicia a un modelo de equidad.

La equidad es justicia con un sabor específico, y es diferente a la igualdad. La igualdad se mide desde un punto de partida en el presente: t = 0, donde t es igual a tiempo y 0 indica que no ha transcurrido tiempo desde ahora. A partir de esta fórmula, el principio de la igualdad mantendría que los recursos o castigos deben distribuirse de acuerdo con lo que sucede en el momento presente: el momento en que t = 0. Pero esta fórmula de trato de igualdad significa que quienes están adelante en el presente pueden ir más lejos, lograr más y mantenerse en la cima, mientras que quienes comienzan atrás nunca pueden recuperar terreno. Kiddada Green, directora ejecutiva de Black Mothers Breastfeeding Association [Asociación de Mujeres Negras que amamantan], argumenta que en un país donde las/os bebés Negras mueren dos veces más que la tasa de bebés blancos, la igualdad es, en realidad, sistemáticamente injusta: “Hay un nivel de corrección política en los Estados Unidos que logra que algunas personas piensen que la igualdad es lo que se busca lograr. Incluso cuando la igualdad es injusta, algunas personas dicen que es lo correcto”.51 Trabajar por un mundo en el que todos sean tratados equitativamente, no por igual, significa tener en cuenta estas diferencias de poder presentes y distribuir (o redistribuir) los recursos de manera acorde. La equidad es mucho más difícil de modelar computacionalmente que la igualdad (ya que necesita tener en cuenta el tiempo, la historia y el poder diferencial), pero no es imposible.52

Esta dificultad también subraya el punto de que el sesgo (en individuos, en conjuntos de datos, en modelos estadísticos, o en algoritmos) no es un concepto lo suficientemente fuerte en el cual anclar ideas sobre equidad y justicia. Al escribir sobre la creación del Sistema de Gestión de Bienestar de Nueva York a principios de la década de 1970, por ejemplo, Virginia Eubanks describe: “Estos primeros sistemas de grandes volúmenes de datos (big data) se construyeron sobre una comprensión específica de lo que constituye la discriminación: el prejuicio personal”.53 La solución en ese momento era eliminar a los humanos del circuito, y sigue siendo así hoy: sin manzanas potencialmente malas (en este caso, racistas), habría menos discriminación. Pero esta línea de pensamiento ilustra lo que el académico de los estudios de la blancura Robin DiAngelo llamaría el nuevo racismo: la creencia de que el racismo se debe a malos actores individuales, en lugar de estructuras o sistemas.54 En relación con la gestión de programas de ayuda social, Eubanks enfatiza que esto a menudo significaba reemplazar a asistentes sociales, que solían ser mujeres racializadas, y que tenían empatía, flexibilidad y habilidades de escucha, con un sistema automatizado que aplica un conjunto de criterios rígidos, sin importar las circunstancias.

Si bien el sesgo sigue siendo un problema grave, no debe verse como algo que se puede solucionar después del hecho. En cambio, debemos buscar comprender y diseñar sistemas que aborden la fuente del sesgo: la opresión estructural. En verdad, la opresión es en sí misma un resultado de la matriz de dominación. En este modelo, a los cuerpos hegemónicos se les otorgan ventajas inmerecidas y los cuerpos minorizados deben sobrevivir a dificultades inmerecidas. Partir de la suposición de que la opresión es el problema, no el sesgo, conduce a decisiones fundamentalmente diferentes sobre en qué trabajar, con quién trabajar y cuándo defender y decir que un problema no puede ni debe resolverse con datos y tecnología. 55¿Por qué deberíamos conformarnos con auditorías retroactivas de sistemas potencialmente defectuosos si podemos diseñar con un objetivo de co-liberación desde el principio? 56 Y aquí, co-liberación no significa "liberar los datos", sino más bien "liberar a las personas". Las personas en cuestión no son solo aquellas con menos privilegios, sino también aquellas con más privilegios: especialistas en ciencia de datos, diseño, investigación y educación, en otras palabras, personas como nosotras, que desempeñan un papel en la ruptura de los sistemas opresivos.

La clave de la co-liberación es que requiere un compromiso y una creencia en el beneficio mutuo, tanto de los miembros de los grupos dominantes como de los grupos minorizados; esa es la co en el término. Con demasiada frecuencia, los actos de servicio de datos realizados por empresas de tecnología se enmarcan como trabajo de caridad (discutimos los límites de "datos para hacer el bien" en el capítulo 5). El marco de la co-liberación iguala este intercambio como una forma de construcción de relaciones y sanación demográfica. Hay un dicho famoso atribuido a activistas aborígenes en Queensland, Australia, de la década de 1970: “Si has venido aquí para ayudarme, pierdes el tiempo. Pero si has venido porque tu liberación está ligada a la mía, entonces trabajemos juntos, juntas, juntes”.57

¿Qué significa esto? Como explica la poeta y organizadora comunitaria Tawana Petty en relación con los esfuerzos contra el racismo en los Estados Unidos: “Necesitamos que las personas blancas crean firmemente que su liberación, su humanidad, también depende de la destrucción del racismo y el desmantelamiento de la supremacía blanca”.58 Lo mismo ocurre con el género: a los varones a menudo no se les pide que piensen en cómo las relaciones de género desiguales se filtran en las instituciones que dominan, lo que resulta en un daño para todos/as/es.

Este objetivo de co-liberación motiva el proyecto Our Data Bodies [NdT: Los datos de nuestros cuerpos -libro no traducido al castellano-] ODB (por sus siglas en inglés). Dirigido por un grupo de cinco mujeres, incluidas Gangadharan y Petty, que se posicionan en la intersección de la academia y activismo, este proyecto es una iniciativa centrada en la comunidad enfocada en los esfuerzos de recopilación de datos que afectan de manera desproporcionada a personas de colectivos minorizados. Al trabajar con organizaciones comunitarias en tres ciudades de EE. UU., el proyecto ODB ha liderado iniciativas de investigación participativa y talleres educativos, que culminaron en la presentación de Digital Defense Playbook [Actividades de Defensa Digital], un conjunto de actividades, herramientas y hojas de consejos destinadas a ser utilizados por y para comunidades marginalizadas para entender cómo las tecnologías basadas en datos impactan sus vidas.59 Las Actividades de Defensa Digital surgieron de muchos años de desarrollo de relaciones e investigación, así como de un cambio deliberado. El grupo explica en la introducción del libro: “Queríamos cambiar quién puede definir los problemas relacionados con la recopilación de datos, la privacidad de los datos y la seguridad de los datos, de las élites a las comunidades afectadas; arrojar luz sobre cómo las comunidades han estado enfrentando problemas basados ​​en datos y cómo desean enfrentar estos problemas; y forjar un análisis de datos y tecnologías basadas en datos de y con luchas aliadas”. 60 Al hacerlo, el proyecto ODB demuestra cómo la co-liberación requiere no solo transparencia de métodos sino también reflexión: la capacidad de reflexionar y asumir la responsabilidad de la propia posición dentro de las múltiples dimensiones que se entrecruzan de la matriz de dominación. En el camino, el equipo académico y organizador involucrado en el proyecto decidió cambiar su agenda de investigación, que había comenzado como un proyecto general sobre perfiles de datos y resistencia, a una de vigilancia, en respuesta a los problemas expresados ​​por las propias comunidades. 61

Incluso dentro de las grandes tecnologías, hay evidencia de un creciente sentido de reflexión entre los equipos de trabajo por su papel en la creación de sistemas de datos dañinos. De hecho, han rechazado el trabajo de Google con el Departamento de Defensa (DoD) en el Proyecto Maven, que utiliza IA para mejorar la precisión de los ataques con drones; o la decisión de Microsoft de tomar $480 millones del Departamento de Defensa para desarrollar aplicaciones militares de sus auriculares de realidad aumentada HoloLens; y el contrato de Amazon con el Servicio de Inmigración y Control de Aduanas (ICE, por sus siglas en inglés) de EE. UU. para desarrollar su plataforma Rekognition con el fin de usarla en la detección de personas para su detención y deportación en las fronteras de EE. UU. 62 Este retroceso ha llevado a la cancelación de los proyectos de Google y Microsoft, así como al aumento de conciencia política en todo el sector, que discutiremos más adelante en la conclusión del libro.63

Diseñar conjuntos de datos y sistemas de datos que desmantelen la opresión y trabajen hacia la justicia, la equidad y la co-liberación requiere nuevos recursos en nuestra caja de herramientas colectiva. Tenemos algunos buenos puntos de partida; construir algoritmos más comprensibles es un objetivo de investigación digno de elogio. Y, sin embargo, lo que debemos explicar y dar cuenta no es solo el funcionamiento interno del aprendizaje automático, sino también la historia, la cultura y el contexto que conducen a resultados discriminatorios en primer lugar. Por ejemplo, no es un incidente aislado que el software de análisis facial no pudiera “ver” el rostro de Joy Buolamwini, como discutimos en el capítulo 1. No es un incidente aislado que la imagen de “Lena” usada para probar la mayoría de los algoritmos de procesamiento de imágenes haya sido la página central de la edición de noviembre de 1972 de Playboy, recatadamente recortada por los hombros.64 Tampoco lo es que las mujeres que trabajaron en la computadora ENIAC no hayan sido invitadas a la celebración del cincuentenario en 1995. Y tampoco que Christine Darden no haya sido ascendida tan rápido como sus compañeros varones de trabajo. Ninguno de estos son incidentes aislados: son puntos de datos conectados y resultados eminentemente medibles y predecibles de la matriz de dominación. Pero solo puedes detectar el patrón si conoces la historia, la cultura y el contexto que lo rodea.

Las personas que trabajan con datos, en términos generales, tienen opciones: opciones sobre para quién trabajan, en qué proyectos trabajan y qué valores rechazan.65 Partiendo del supuesto de que la opresión es el problema, la equidad es el camino y la co-liberación es el objetivo deseado que conduce a proyectos fundamentalmente diferentes que desafían el poder en su origen. También conduce a diferentes métricas de éxito. Estos se extienden más allá de la eficacia de una base de datos bajo presión, la precisión de un algoritmo de clasificación o el tamaño de una base de usuarios un año después del lanzamiento. El éxito de un proyecto diseñado con la co-liberación en mente también dependerá de cuánta confianza se construirá entre las instituciones y las comunidades, qué tan efectivamente aquellas personas con poder y recursos los compartieron, cuánto aprendizaje ocurrió en ambas direcciones, cuánto las personas y las organizaciones se transformaron en el proceso, y cuánta inspiración para el trabajo futuro, en conjunto, fue co-creado. Estas métricas son un poco más blandas que los números y las clasificaciones que tendemos a creer que son nuestra única opción, pero no obstante, son total y completamente medibles.

Enseña (sobre) datos como una feminista interseccional

Cuando Gwendolyn Warren y los investigadores del DGEI recolectaron sus datos sobre atropellos y fugas de las infancias Negras o recorrieron los patios de recreo de Detroit para pesar y medir los vidrios rotos que encontraron, no solo estaban haciendo este trabajo para crear un caso basado en datos para lograr un cambio. La parte del "instituto" del Detroit Geographic Expedition and Institute (Instituto de Expedición Geográfica de Detroit) describía el ala educativa de la organización que impartía clases de recopilación de datos, mapeo y cartografía. Surgió ante la insistencia de Warren de que el equipo académico devolviera algo a la comunidad cuyo conocimiento estaban utilizando para su investigación. Reconoció que si bien un solo mapa o proyecto podría hacer una intervención enfocada, la educación le permitiría a su comunidad obtener una estrategia a largo plazo para desafiar el poder. Resultó que las afiliaciones institucionales del equipo les permitieron ofrecer cursos universitarios gratuitos y con crédito, que enseñaron en la comunidad para miembros de la comunidad.

Al poner énfasis en la educación, Warren reconoció su papel perdurable como mecanismo tanto de empoderamiento como de transformación. Esta creencia no es nueva. Como dijo el estadounidense Horace Mann en 1848, reformista en cuestiones educativas: “La educación, más allá de todas las demás divisiones de origen humano, es un gran igualador de las condiciones de los hombres: la rueda de equilibrio de la maquinaria social”. Sin embargo, realmente importa cómo hacemos esa igualación y a quién imaginamos que le sirve esa igualación. Por su parte, Mann fue literal sobre los “hombres”: la educación debía ser un igualador de hombres, pero solo de ciertos hombres (léase: blancos, anglosajones, cristianos) y explícitamente no de mujeres.66 Warren, por otro lado, reconoció que el acceso a la educación, y a la educación en ciencia de datos en particular, tendría que expandirse para que alcance su fuerza igualadora.

Desafortunadamente, la visión transformadora de Warren aún no se evidencia en la enseñanza de la ciencia de datos. Como ocurría en la época de Mann, los hombres siguen liderando. Las profesoras representan menos de un tercio de la facultad de ciencias de la computación y estadística en los Estados Unidos. Más del 80% de la comunidad docente de inteligencia artificial son hombres.67 Esta desigualdad de género, y la estrechez de visión que resulta de ello, se ve agravado por el hecho de que la ciencia de datos a menudo se enmarca como una actividad técnica y abstracta. El paso de la limpieza de datos se presenta como un enigma únicamente técnico. Hay menos discusión sobre el contexto social, la ética, los valores o la política de los datos.68 Esto perpetúa el mito de que la ciencia de datos sobre astrofísica es lo mismo que la ciencia de datos sobre justicia penal o es lo mismo sobre emisiones de carbono. Esto limita el trabajo transformador que se puede hacer. Finalmente, debido a que el objetivo de aprender ciencia de datos se modela como el dominio individual de conceptos y habilidades técnicas, las comunidades no participan y las conversaciones están restringidas. En cambio, quienes se dedican a educar, imparten conocimientos técnicos a través de conferencias y sus estudiantes completan tareas y cuestionarios individualmente. Podríamos llamar a este modelo de enseñanza "el modelo de fábrica de ciencia de datos de Horace Mann", porque representa la visión excluyente que el propio Mann apuntó. Pero llamémoslo La Fábrica de Hombres (Man Factory, en inglés) para abreviar.

La fábrica de varones realmente buena produciendo varones, principalmente varones blancos de élite como los que ya lideran las clases. No es tan buena para producir científicas de datos, o científiques de datos no binaries, o científicas de datos cuyas identidades no sean blancas. Durante años, investigadores y activistas han reconocido que existen problemas con esta “tubería” para los campos técnicos. Sin embargo, esta investigación se enmarca en torno a preguntas como "¿Por qué hay tan pocas mujeres científicas informáticas?" y “¿por qué las mujeres están dejando la informática?”.69 Ten en cuenta que estas preguntas implican que son las mujeres las que tienen el problema, y así se perpetúa, sin darnos cuenta, una narrativa deficiente (Nota de traducción: este concepto alude a la idea que se generan narrativas deficientes cuando se enfatiza en los grupos sobre los que cae la opresión esa condición de opresión. Esto conlleva a que muchas veces se piense que esos son solo problemas de los grupos minorizados). Las académicas feministas que están estudiando el tema, como era de esperar, hacen preguntas muy diferentes, como: "¿Cómo pueden los hombres que dirigen La Fábrica de Hombres compartir su poder?" y “¿cómo podemos transformar estructuralmente la educación STEM en conjunto?”.70

Una persona que actualmente modela una respuesta a estas preguntas es Laurie Rubel, la educadora de matemáticas detrás del proyecto Local Lotto. Si estuviste en las calles de Brooklyn o del Bronx en los últimos cinco años, es posible que sin darte cuenta te hayas cruzado con una de sus clases de ciencia de datos. Probablemente no te diste cuenta porque las clases no se parecían en nada a un salón de clases tradicional (figura 2.4). Los grupos de adolescentes del barrio se movían en pequeños grupos. Tenían tabletas, lápiz y papel, cámaras y mapas. Periódicamente tomaban fotos en la calle, entraban a bodegas, conversaban con los transeúntes en español o inglés e ingresaban información en sus tabletas.

Rubel es líder en un área llamada “matemáticas para la justicia espacial”, que tiene como objetivo mostrar cómo los conceptos matemáticos se pueden enseñar de manera que se relacionen con las preocupaciones de justicia que surgen de la vida cotidiana de las/os/es estudiantes, y hacerlo en diálogo con las personas en sus vecindarios y comunidades. El objetivo de Local Lotto era desarrollar una forma específica de enseñar conceptos relacionados con datos y estadísticas basados ​​en consideraciones de equidad.71 Específicamente, Rubel y parte del equipo de Local Lotto querían que el grupo de jóvenes aprendices encontraran una respuesta basada en datos a la pregunta: “¿La lotería es buena o mala para tu barrio?”.

En Nueva York, como en otros estados de EE. UU. donde funcionan loterías, las ventas de boletos de lotería regresan al presupuesto estatal, a veces, pero no siempre, para financiar programas educativos.72 Pero los boletos de lotería no se compran por igual en todos los niveles de ingresos o en todos los vecindarios. Quienes perciben bajos salarios compran más boletos que sus contrapartes de mayores ingresos. Además, los ingresos por la compra de boletos no se asignan nuevamente a esos trabajadores ni a los lugares donde viven. Debido a esto, el equipo académico ha argumentado que el sistema de lotería es una forma de tributación regresiva, esencialmente un "impuesto a la pobreza", por el cual los vecindarios de bajos ingresos pagan más impuestos porque apuestan más, pero no reciben una parte proporcional de la ganancia.73

El plan de estudios de Local Lotto se diseñó para exponer a estudiantes de secundaria a esta instancia de desigualdad social. Comienzan hablando sobre la lotería y la idea de probabilidad jugando juegos basados ​​en el azar. Luego, consideran juegos con premios mayores como la lotería Sweet Millions, anunciada por el Estado de Nueva York como “la mejor oportunidad de la Lotería de Nueva York para ganar un millón de dólares por solo un dólar”. Sin embargo, la mejor oportunidad de ganar un millón resulta ser de una entre cuatro millones; toda una sesión de la clase se dedica a una discusión sobre otros casos de “cuatro millones” que se relacionan más estrechamente con la vida del alumnado.74

Luego, el grupo de estudiantes sale del aula con el objetivo de recopilar datos sobre cómo otras personas experimentan la lotería, lo que les lleva de regreso a sus vecindarios. Mapean las tiendas que venden boletos de lotería. Graban entrevistas con comerciantes y compradores de boletos en sus tabletas y luego los geolocalizan en sus mapas. Toman fotografías de la publicidad de la lotería. Posteriormente, analizan sus resultados y los presentan a la clase. Examinan mapas de coropletas de los niveles de ingresos, elaboran tablas de proporciones y correlacionan el gasto estatal de las ganancias de la lotería con el ingreso familiar medio. (No sorprende: no hay correlación). Finalmente, crean un argumento basado en datos: un artículo de opinión respaldado con evidencia de sus análisis estadísticos y espaciales, así como de su trabajo de campo (figuras 2.5 y 2.6).

Por lo expuesto en las medidas oficiales, el enfoque de Local Lotto funcionó: antes de la implementación de Local Lotto en una escuela, solo dos de cuarenta y siete estudiantes podían determinar el número correcto de combinaciones posibles en un ejemplo de lotería. Luego, casi la mitad (veintiuno de cuarenta y siete) pudieron calcular con éxito el número de combinaciones. Pero quizás lo más importante, el enfoque de Local Lotto hizo que las matemáticas y las estadísticas fueran relevantes para sus vidas. Un estudiante compartió que lo que aprendió fue “algo nuevo que podría ayudarme en mi entorno, en mi casa de hecho”, y que después del curso trató de convencer a su madre de gastar menos dinero en la lotería “al mostrarle su libro de matemáticas y todo el trabajo”. Las mujeres de habla hispana de la clase que no participaban con frecuencia en las discusiones en el aula se convirtieron en traductoras fundamentales durante el módulo de mapeo participativo. El estudiantado continuó enseñándoles a sus docentes sobre el plan de estudios, tanto a nivel local como nacional.75

¿Qué tiene de diferente el enfoque de Local Lotto para enseñar análisis de datos y conceptos estadísticos en comparación con La Fábrica del Hombre? ¿De qué manera Local Lotto desafía el poder tanto dentro como fuera del aula? En primer lugar, lo llevaron adelante mujeres: el proyecto fue concebido por tres mujeres líderes que representaban a tres instituciones.76 Al igual que con el mapa y la escuela del DGEI, dirigidos por Gwendolyn Warren, las identidades de quienes crean cosas importan. En segundo lugar, en vez de modelar la ciencia de datos como abstracta y técnica, Local Lotto modeló una ciencia de datos que se basaba en resolver cuestiones éticas sobre la desigualdad social que tenían relevancia para la vida cotidiana de cada estudiante: ¿La lotería es buena o mala para su vecindario? El proyecto valoró la experiencia vivida: el grupo de estudiantes se convirtió en "experto en el área" en sus vecindarios. Y también valoró tanto los datos cualitativos como los cuantitativos: hablaron con residentes del vecindario y conectaron sus creencias, actitudes y preocupaciones con los cálculos de probabilidad. Utilizaron las voces de los miembros de la comunidad como evidencia en sus proyectos finales. En tercer lugar, en lugar de valorar el dominio individual de las habilidades técnicas como referencia, trabajaron en grupos durante cada fase del proyecto. Usaron métodos del arte y el diseño (como la creación de infografías y presentaciones de diapositivas digitales) para practicar la comunicación con datos.

Incluso mientras celebramos estas elecciones pedagógicas intencionales, el proyecto Local Lotto aún tenía sus deficiencias, como señalaron sus organizadores en un artículo de 2016 para Cognition and Instruction.77 Muchas de estas surgieron de un hecho básico: las personas encargadas de enseñar y diseñar los cursos del proyecto eran personas blancas y asiáticas, mientras que quienes asistían a las clases eran predominantemente personas latinas y Negras. Esto llevó a varios problemas. Por ejemplo, las/os/es diseñadoras/es del plan de estudios habían tenido la intención de centrarse principalmente en la desigualdad de ingresos, pero descubrieron que "los estudiantes constantemente mencionaron la raza". Debido a que la raza y el origen étnico no formaban parte del material didáctico, el grupo de docentes sintió que no tenían la experiencia o los antecedentes para discutirlos explícitamente y desviaron esas conversaciones. Como escriben en el periódico, “Las juventudes , y en este caso las juventudes racializadas, tienen diferentes interpretaciones sobre los límites raciales; las suyas tienen matices y escalas diferentes a las de las perspectivas ricas, blancas o adultas”. El equipo que organiza ahora está tomando medidas para integrar explícitamente debates en el plan de estudios sobre datos relacionados a la racialización, al origen étnico y a la edad en los proyectos del curso.78

También se encontraron "casos limitados pero recurrentes de resistencia del grupo de estudiantes" al enfoque central del proyecto de la desigualdad de ingresos. Atribuyen esta resistencia al hecho de que el curso fue desarrollado e impartido por personas ajenas (a la comunidad) y podría verse como un (pre)juicio sobre las personas de sus barrios: que debido a que no eran de la comunidad, sus docentes perpetuaban una narrativa deficiente sobre las personas de bajos ingresos. Este es un retroceso sofisticado y muy justo por parte de jóvenes estudiantes. La mayoría de las personas, independientemente de su riqueza o nivel de educación, saben que, después de todo, no van a ganar la lotería. Hay un elemento de fantasía imaginativa en la compra de un billete. El eslogan de la campaña: "Nunca se sabe..." apela tanto a esta fantasía como a la realidad de las probabilidades, y esta fantasía también tiene valor. Al reflexionar sobre el sentido de juicio involuntario experimentado por el grupo de estudiantes,las/os/es diseñadoras/es del curso determinaron que, en la próxima edición, trabajarían para conectar a estudiantes con personas en las propias comunidades que están trabajando activamente para abordar problemas de desigualdad de ingresos.

Tanto en sus éxitos como en sus fracasos, así como en su compromiso con la reiteración y el volver a intentarlo, Local Lotto resume lo que significa desafiar el poder y los privilegios y trabajar por la justicia. La justicia es un recorrido. La incomodidad que acompaña este recorrido es parte del curso. No existe tal cosa como una maestría en feminismo porque quienes ocupan puestos de privilegio, como de la ciencia de datos, o quienes diseñan los cursos de Local Lotto y, como nosotras, las autoras de este libro, estamos aprendiendo constantemente cómo ser mejores aliadas y cómplices en las diferencias. En este proceso, lo más importante es “seguir con el problema”, como diría la filósofa feminista Donna Haraway.79 Seguir con el problema significa persistir en tu trabajo, especialmente cuando se vuelve incómodo, poco claro o totalmente molesto. Una de las mayores fortalezas del proyecto Local Lotto es el coraje de sus creadores para cuestionarse a sí mismos y su proceso de manera pública, transparente y reflexiva, para detallar sus obstáculos y describir sus compromisos para hacerlo mejor en el futuro.

Desafiar el poder

Luego de examinar el poder, el siguiente paso es desafiarlo: mapa por mapa, auditoría por auditoría, comunidad por comunidad y aula por aula. La recopilación de contradatos para cuantificar y visualizar la opresión estructural, como lo hicieron Gwendolyn Warren y el DGEI con su mapa, ayuda a quienes ocupan posiciones de poder a comprender el alcance, la escala y el carácter de los problemas de los que, de otro modo, estarían muy alejados. El análisis de algoritmos sesgados, como lo hicieron Julia Angwin y ProPublica, puede mostrar los daños reales y materiales de los sistemas automatizados, así como construir una base de evidencia para el cambio político o institucional. Al mismo tiempo, es importante recordar que las personas y los grupos minorizados no deberían tener que probar repetidamente que sus experiencias de opresión son reales. Y los datos por sí solos no siempre conducen al cambio, especialmente cuando ese cambio también requiere que los grupos dominantes compartan sus recursos y su poder.

Quienes usamos datos en nuestro trabajo debemos modificar algunas de nuestras suposiciones más básicas e imaginar nuevos puntos de partida. Cambiar el marco de los conceptos que aseguran el poder, como la equidad y la responsabilidad, a quienes desafían el poder, como la equidad y la co-liberación, puede ayudar a garantizar que la comunidad científica, de diseño e investigación de datos tome la opresión y la desigualdad como su suposición fundamental para crear productos y sistemas computacionales. Debemos aprender de las comunidades que buscamos apoyar y diseñar con ellas. Un compromiso con la justicia de datos comienza con el reconocimiento del hecho de que la opresión es real, histórica, continua y vale la pena desmantelarla. Este compromiso es algo que debemos enseñarle a la próxima generación de científicas/os/ques de datos y a las personas usuarias, en las comunidades y en las aulas, si queremos ampliar nuestro camino hacia la justicia.