Cómo Twitter acertó en la investigación

No ha sido una época feliz para los investigadores de las grandes empresas tecnológicas. Contratados para ayudar a los ejecutivos a comprender las deficiencias de las plataformas, los equipos de investigación inevitablemente revelan verdades inconvenientes. Las empresas contratan equipos para construir una «IA responsable», pero se enfurecen cuando sus empleados descubren un sesgo algorítmico. Se jactan de la calidad de su investigación interna, pero la desautorizan cuando llega a la prensa. En Google, esta historia se desarrolló en la partida forzada del investigador ético de IA Timnit Gebru y las consecuencias posteriores para su equipo. En Facebook, condujo a Frances Haugen y los archivos de Facebook .

Por estas razones , siempre es importante que una plataforma tecnológica tome uno de esos hallazgos poco halagadores y lo publique para que el mundo lo vea. A finales de octubre, Twitter hizo precisamente eso. Aquí está Dan Milmo en el Guardian :

Twitter ha admitido que amplifica más tweets de políticos de derecha y medios de comunicación que el contenido de fuentes de izquierda.

La plataforma de redes sociales examinó los tweets de funcionarios electos en siete países: Reino Unido, Estados Unidos, Canadá, Francia, Alemania, España y Japón. También estudió si el contenido político de las organizaciones de noticias se amplificó en Twitter, centrándose principalmente en fuentes de noticias estadounidenses como Fox News, el New York Times y BuzzFeed .

La investigación encontró que en seis de siete países, además de Alemania, los tweets de políticos de derecha recibieron más amplificación. del algoritmo que los de la izquierda; las organizaciones de noticias de derecha estaban más amplificadas que las de izquierda; y, en general, los tweets de los políticos estaban más amplificados por una línea de tiempo algorítmica que por la línea de tiempo cronológica.

La publicación de blog de Twitter sobre el tema estaba acompañada de un documento de 27 páginas que describe con más detalle los hallazgos del estudio, la investigación y la metodología. No era la primera vez este año que la compañía ofrecía apoyo empírico voluntario para críticas especulativas de hace años de su trabajo. Este verano, Twitter organizó una competencia abierta para encontrar sesgos en sus algoritmos de recorte de fotografías. James Vincent describió los resultados en The Verge :

La entrada en primer lugar mostró que el algoritmo de recorte de Twitter favorece los rostros «delgados, jóvenes, de color de piel claro o cálido y textura de piel suave, y con rasgos faciales estereotípicamente femeninos». Las entradas del segundo y tercer lugar mostraron que el sistema estaba sesgado contra las personas con cabello blanco o gris , lo que sugiere discriminación por edad, y favorece el inglés sobre la escritura árabe en las imágenes .

Estos resultados no se ocultaron en un grupo de chat cerrado, nunca se discutieron. En cambio, Rumman Chowdhury, que lidera la ética y la responsabilidad del aprendizaje automático en Twitter, las presentó públicamente en DEF CON y elogió a los participantes por ayudar a ilustrar los efectos del sesgo algorítmico en el mundo real. A los ganadores se les pagó por sus contribuciones. Por un lado, No quiero exagerar la valentía de Twitter aquí. Los resultados que publicó la empresa, aunque la abren a algunas críticas, no son nada que vaya a resultar en una investigación completa del Congreso. Y el hecho de que la empresa sea mucho más pequeña que Google o la empresa matriz de Facebook, Meta, que atienden a miles de millones de personas, significa que cualquier cosa que encuentren sus investigadores tiene menos probabilidades de desencadenar una tormenta de fuego global.

Al mismo tiempo, Twitter no tiene para hacer este tipo de trabajo de interés público. Y, a la larga, creo que hará que la empresa sea más fuerte y más valiosa. Pero sería relativamente fácil para cualquier ejecutivo de la empresa o miembro de la junta presentar un caso en contra de hacerlo.

Por esa razón, estaba ansioso por hablar con el equipo responsable. Esta semana, me reuní virtualmente con Chowdhury y Jutta Williams, líder de producto del equipo de Chowdhury. (Inconvenientemente, a partir del

28 de octubre

: el equipo de Twitter El nombre oficial es Ética, transparencia y responsabilidad del aprendizaje automático: META). Quería saber más sobre cómo Twitter está haciendo este trabajo, cómo se ha recibido internamente y hacia dónde se dirige a continuación. Esto es algo de lo que aprendí.

Twitter apuesta a que la participación pública acelerará y mejorará sus hallazgos . Uno de los aspectos más inusuales de la investigación sobre ética de la inteligencia artificial de Twitter es que está pagando a investigadores voluntarios externos para que participen. Chowdhury recibió formación como hacker ético y observó que sus amigos que trabajan en ciberseguridad a menudo pueden proteger los sistemas de forma más ágil creando incentivos económicos para que las personas ayuden.

“Twitter fue la primera vez que pude trabajar en una organización que era lo suficientemente visible e impactante para hacer esto y también lo suficientemente ambicioso como para financiarlo ”, dijo Chowdhury, quien se unió a la compañía hace un año cuando adquirió su startup de gestión de riesgos de IA. «Es difícil encontrar eso». Por lo general, es difícil obtener buenos comentarios del público sobre el sesgo algorítmico, me dijo Chowdhury. A menudo, solo se abordan las voces más fuertes, mientras que los problemas importantes se dejan persistir porque los grupos afectados no tienen contactos en las plataformas que puedan abordarlos. Otras veces, los problemas se difunden entre la población y es posible que los usuarios individuales no sientan los efectos negativos directamente. (La privacidad tiende a ser un problema como ese.)

La recompensa por parcialidad de Twitter ayudó a la empresa a crear un sistema para solicitar e implementar esa retroalimentación, me dijo Chowdhury. Desde entonces, la compañía ha anunciado que dejará de recortar fotos en las vistas previas después de que se descubrió que sus algoritmos favorecen en gran medida a los jóvenes, los blancos y los hermosos.

La IA responsable es difícil en parte porque nadie comprende comprende completamente las decisiones tomadas por algoritmos . Los algoritmos de clasificación en los feeds sociales son probabilísticos: te muestran cosas en función de la probabilidad de que te gusten, compartas o comentes sobre ellas. Pero no hay un algoritmo que tome esa decisión; por lo general, es una malla de múltiples (a veces docenas) de modelos diferentes, cada uno haciendo conjeturas que luego se ponderan de manera diferente según factores que cambian constantemente.

Esa es una de las principales razones por las que es tan difícil construir IA con confianza sistemas que son “responsables” – simplemente hay muchas conjeturas involucradas. Chowdhury señaló aquí la diferencia entre trabajar en IA responsable y ciberseguridad. En seguridad, dijo, generalmente es posible descifrar por qué el sistema es vulnerable, siempre que pueda descubrir dónde ingresó el atacante. Pero en la IA responsable, encontrar un problema a menudo no dice mucho sobre lo que lo creó.

Ese es el caso de la investigación de la compañía sobre la amplificación de las voces de la derecha, por ejemplo. Twitter confía en que el fenómeno es real, pero solo puede teorizar sobre las razones detrás de él. Puede ser algo en el algoritmo. Pero también podría ser un comportamiento del usuario: tal vez los políticos de derecha tienden a tuitear de una manera que provoque más comentarios, por ejemplo, lo que hace que sus tuits sean más ponderados por los sistemas de Twitter.

“Existe esta ley de consecuencias para los grandes sistemas ”, dijo Williams, quien anteriormente trabajó en Google y Facebook. “Podría ser tantas cosas diferentes. La forma en que ponderamos la recomendación algorítmica puede ser parte de esto. Pero no pretendía ser una consecuencia de la afiliación política. Así que hay mucha investigación por hacer ”.

No hay consenso real sobre lo que «deberían» hacer los algoritmos de clasificación

. Incluso si Twitter resuelve el misterio de qué está causando que el contenido de derecha se difunda más ampliamente, no estará claro qué debería hacer la compañía al respecto. ¿Qué pasa si, por ejemplo, la respuesta no está en el algoritmo sino en el comportamiento de ciertas cuentas? Si los políticos de derecha simplemente generan más comentarios que los políticos de izquierda, es posible que Twitter no tenga una intervención obvia.

“No creo que nadie quiera que estemos en el negocio de forzar algún tipo de ingeniería social de las voces de la gente ”, me dijo Chowdhury. “Pero también, todos estamos de acuerdo en que no queremos la amplificación de contenido negativo o contenido tóxico o prejuicios políticos injustos. Así que estas son todas las cosas que me encantaría que desempaquemos ”.

Esa conversación debería llevarse a cabo públicamente, dijo.

Twitter cree que los algoritmos se pueden guardar . Una posible respuesta a la idea de que todas nuestras fuentes sociales son insondablemente complejas y sus creadores no pueden explicarlas es que deberíamos cerrarlas y eliminar el código. El Congreso ahora presenta con regularidad proyectos de ley que convertirían los algoritmos de clasificación en ilegales, o harían que las plataformas fueran legalmente responsables por lo que recomiendan, o obligarían a las plataformas a permitir que las personas opten por no participar.

El equipo de Twitter, por ejemplo, cree que el ranking ha a futuro.

“El algoritmo es algo que se puede guardar”, dijo Williams. “El algoritmo debe entenderse. Y las entradas al algoritmo deben ser algo que todos puedan administrar y controlar ”.

Con un poco de suerte, Twitter creará ese tipo de sistema.

Por supuesto, el riesgo de escribir un artículo como este es que, en mi experiencia, equipos como este son frágiles. Un minuto, el liderazgo está satisfecho con sus hallazgos y con entusiasmo contrata para ello; el siguiente, se está debilitando por desgaste en medio de recortes presupuestarios o reorganizado hasta desaparecer en medio de conflictos de personalidad o preocupaciones regulatorias. El éxito inicial de Twitter con META es prometedor, pero el futuro a largo plazo de META no está asegurado.

Mientras tanto, es probable que el trabajo se vuelva más difícil. Twitter ahora está trabajando activamente en un proyecto para

descentralizar su red

, lo que podría proteger partes de la red de sus propios esfuerzos para construir la red de manera más responsable. El CEO de Twitter, Jack Dorsey, también ha imaginado un “

tienda de aplicaciones para algoritmos de redes sociales ”, lo que brinda a los usuarios más opciones sobre cómo se clasifican sus feeds.

Ya es bastante difícil clasificar un feed de manera responsable: lo que significa hacer que toda una tienda de aplicaciones de algoritmos sea “responsable ”Será un desafío mucho mayor.

«No estoy seguro de que sea factible para nosotros saltar directamente a un mercado de algoritmos», dijo Williams. “Pero creo que es posible que nuestro algoritmo comprenda la señal seleccionada por usted. Entonces, si hay blasfemias en un tweet, por ejemplo: ¿qué tan sensible eres a ese tipo de lenguaje? ¿Hay palabras específicas que consideraría muy, muy profanas y no quiere ver? ¿Cómo te damos controles para que establezcas cuáles son tus preferencias para que esa señal pueda ser utilizada en cualquier tipo de recomendación?

“Creo que hay una tercera «La señal de la parte es más que un grupo de algoritmos de terceros», dijo Williams. «Tienes que tener cuidado con lo que hay en un algoritmo».

Lee mas

Deja un comentario

Tu dirección de correo electrónico no será publicada.