Los hombres son escoria: dentro de la guerra de Facebook contra el discurso de odio

VIENTRE DE LA BESTIA
Monika Bickert (centro), ex fiscal federal, dirige una reunión sobre los estándares de contenido de Facebook. La vigilancia del discurso del odio, dice, se ve obstaculizada por un sistema a máxima escala, con información muy imperfecta.Fotografía de Balazs Gardi.

Los hombres son escoria.

No puedes decir eso en Facebook. Los hombres son cerdos . Tampoco puedes decir eso. Los hombres son basura. Los hombres son fuegos de basura. También prohibido.

Son las nueve de la mañana un martes de otoño, y estoy asistiendo a una reunión sobre hombres son escoria en el campus de Facebook en Menlo Park, California. El problema comenzó hace un año, en el otoño de 2017. El movimiento #MeToo había comenzado recientemente. Nicole Silverberg, actualmente escritora en Frontal completo con Samantha Bee , había compartido en su página de Facebook un tesoro de comentarios biliosos dirigidos a ella después de haber escrito una lista de las formas en que los hombres deben mejorar. En la sección de comentarios debajo de su publicación, otra cómic, Marcia Belsky, escribió: Los hombres son escoria. Facebook expulsó a Belsky de la plataforma durante 30 días.

Esto parecía absurdo. En primer lugar, las noticias en ese momento estaban dominadas por historias de hombres que actuaban de manera repugnante. En segundo lugar, Facebook había estado dejando mucha basura bien documentada. Para entonces, la compañía estaba sumida en un ciclo prolongado de mala prensa sobre el contenido tóxico, fraudulento y / o encubierto ruso que había contaminado su plataforma durante la campaña presidencial de 2016. En Europa occidental, la extrema derecha estaba utilizando el sitio para vilipendiar a los inmigrantes de Oriente Medio. En el sudeste asiático, los regímenes autoritarios lo estaban utilizando para marcar la ira contra las minorías religiosas y los enemigos políticos. ¿Pero Facebook estaba derribando a los hombres?

Belsky se subió a un grupo de cómics femeninos de 500 personas (Facebook). Un montón de ellos fueron prohibidos por infracciones similares, incluso cuando informaron que se les había lanzado una invectiva sexista. Decidieron protestar enviando spam a la plataforma. El 24 de noviembre, decenas de hombres subieron puestos de escoria. Y luego ... bajaron directamente. Belsky fue devuelto a la cárcel de Facebook. Las mujeres de Men Are Scum se convirtió en una breve causa célebre en Internet, otro punto de datos en la narrativa interminable que Facebook no se preocupa por ti .

Diez meses después, el problema no ha desaparecido y Facebook C.E.O. Mark Zuckerberg ha hecho saber dentro de la empresa que él también está preocupado por la política. La reunión de hoy es parte de un intento continuo de resolver el problema. La sesión tiene lugar en el Edificio 23, que, en comparación con las gloriosas oficinas diseñadas por Frank Gehry al otro lado del campus, es pequeño y relativamente anodino. Sin majestuosas secuoyas, sin un parque en la azotea inspirado en High Line. Incluso su letrero (ilustraciones fotográficas inspiradoras de Elie Wiesel y Malala) sugiere una era más inocente, cuando el espíritu de la empresa parecía más tontamente utópico que siniestro. La sala de reuniones se llama Oh, Semantics. Todas las habitaciones de Facebook tienen nombres lindos como Atticus Finch o Marble Rye, después de la Seinfeld episodio. En su mayoría parecen aleatorios, pero este parece apropiado, porque Oh, Semantics es donde el gobierno en la sombra de la compañía se ha estado reuniendo, cada dos semanas, para debatir lo que se puede y no se puede publicar en Facebook.

La imagen y reputación de ninguna empresa está tan fuertemente ligada a su C.E.O. como de Facebook. (¿Quién en la población general puede nombrar al director ejecutivo de Google? ¿De Walmart?) Esto se debe en parte a que el C.E.O. inventó la empresa. En parte, se debe a que su imagen de fundador inteligente fue inmortalizada en una película exitosa de Hollywood. Y es en parte porque es joven y torpe y parece cometer errores todo el tiempo. Como resultado, la gente tiende a juzgar a Facebook a través del prisma de los errores y errores de Mark Zuckerberg. Llámelo la teoría de la historia del no tan gran hombre.

Pero cuando se trata de averiguar cómo funciona Facebook, cómo decide qué contenido está permitido y qué no, la persona más importante de la empresa no es Mark Zuckerberg. Es Monika Bickert, ex fiscal federal y graduada de la Facultad de Derecho de Harvard. A sus 42 años, Bickert es actualmente una de las pocas personas, junto con sus contrapartes en Google, con poder real para dictar normas de libertad de expresión para todo el mundo. En Oh, semántica, se sienta a la cabecera de una mesa larga, acompañada de varias docenas de diputados de entre 30 y 40 años. Entre ellos se encuentran ingenieros, abogados y personal de relaciones públicas. Pero en su mayoría son legisladores, las personas que redactan las leyes de Facebook. Al igual que Bickert, algunos son veteranos del sector público, refugiados de la administración Obama ansiosos por mantener algo parecido al pragmatismo que ha perdido el favor de Washington.

Bickert, alto y delgado, con largo cabello rubio rojizo, está sentado detrás de una computadora portátil decorada con una pegatina de TORTUGAS NINJA MUTANTES ADOLESCENTES. Ella no habla en corporaciones cautelosas ni en el argot falso-altruista particular de Silicon Valley. Como relativamente nueva en la industria de la tecnología, considera a Facebook con la ambivalencia de una persona normal y me dice que se siente aliviada de que sus dos hijas adolescentes no tengan que ver con compartir todo en las redes sociales. Cuando cito la misión declarada de Facebook de hacer del mundo un lugar más abierto y conectado, literalmente pone los ojos en blanco. Es una empresa. Es un negocio, dice ella. Supongo que no me disculpo por la realidad de que tenemos que responder ante los anunciantes, el público o los reguladores. Para ella, Facebook no es ni utópico ni distópico. Es enormemente influyente y, por el momento, no va a ninguna parte.

A raíz de las elecciones de 2016, Zuckerberg se embarcó en una ridícula gira de escucha a nivel nacional. Mientras estaba alimentando terneros en Wisconsin, Bickert y su equipo comenzaron a reescribir metódicamente muchas de las políticas que habían alimentado la animadversión anti-Facebook del mundo. El otoño pasado, Facebook acordó mostrarme exactamente cómo lo hicieron. Se me concedió acceso irrestricto a reuniones a puertas cerradas como la de Oh, Semantics, se me permitió revisar las deliberaciones internas sobre el sistema de mensajería similar a Slack de la empresa y se me proporcionaron diapositivas y hojas de cálculo de Excel que explican los detalles de las nuevas políticas.

temporada 4 final juego de tronos

Los temas discutidos en las reuniones de política de Bickert son casi siempre fastidiosos. La agenda de hoy: terrorismo, desnudez adulta no sexual, editar contenido perturbador en las páginas de personas fallecidas y, finalmente, los hombres son escoria. Mary deBree, quien trabajó en el Departamento de Estado de Obama, presenta el tema. No queremos silenciar a las personas cuando intentan crear conciencia sobre, por ejemplo, la agresión sexual, comienza. Sin emabargo. Sin embargo, um, la tensión en esto es que, si permitimos más ataques basados en el género, esto también puede llevar a más contenido misógino en la plataforma.

De ahí el dilema.

Cuando Facebook elimina en masa los hombres son escoria, no es gracias a un sesgo de arriba hacia abajo en la empresa, o a algún Facebooker rebelde que defiende los derechos de los hombres y que se opone a la misandria. Tampoco es un error de aplicación descarado causado por uno de los 15.000 moderadores de contenido humano de Facebook en todo el mundo. Las publicaciones se eliminan debido a una de las políticas bien intencionadas, aunque posiblemente condenadas, de Monika Bickert.

SOLUCIONANDO EL ODIO
En la sede de Facebook, en Menlo Park, el equipo de expertos de la empresa, incluidos veteranos de la administración Obama, está trabajando para identificar y combatir el discurso de odio. Andy O'Connell, que está ayudando a diseñar una nueva corte suprema, se encuentra en su escritorio.

Fotografía de Balazs Gardi.

Monika Bickert, quien lidera el equipo, sentada en una mesa.

Fotografía de Balazs Gardi.

Facebook tiene un libro de reglas de 40 páginas que enumera todas las cosas que no están permitidas en la plataforma. Se llaman Estándares Comunitarios y se hicieron públicos en su totalidad por primera vez en abril de 2018. Uno de ellos es el discurso de odio, que Facebook define como un ataque contra una característica protegida, como el género, la sexualidad, la raza o la religión. . Y una de las formas más serias de atacar a alguien, ha decidido Facebook, es compararlo con algo deshumanizante.

Como: Animales que se perciben culturalmente como intelectualmente o físicamente inferiores .

O: Suciedad, bacterias, enfermedades y heces .

Eso significa que las declaraciones de que los negros son monos y los coreanos son la escoria de la tierra están sujetas a eliminación. Pero entonces, los hombres también son basura.

¿Ves el problema? Si elimina los ataques deshumanizantes contra el género, puede bloquear el discurso diseñado para llamar la atención sobre un movimiento social como #MeToo. Si permites ataques deshumanizantes contra el género, bueno, estás permitiendo ataques deshumanizantes contra el género. Y si lo hace, ¿cómo defiende a otros grupos protegidos de ataques similares?

DeBree y uno de sus colegas, un experto en China llamado David Caragliano, presentan algunas correcciones. Idea uno: castigar los ataques contra el género con menos dureza que, digamos, los ataques contra la raza. Los hombres son escoria se quedarían despiertos. Pero también lo serían las mujeres. Esto no parece del todo correcto.

Otra idea es tratar a los propios géneros de manera diferente. Caragliano muestra una plataforma de diapositivas. En él hay un gráfico que muestra una investigación interna de que los usuarios de Facebook están más molestos por los ataques contra las mujeres que por los ataques contra los hombres. Las mujeres estarían protegidas contra todo discurso de odio, mientras que los hombres solo estarían protegidos contra los llamamientos explícitos a la violencia. Las mujeres son escoria se eliminaría. Los hombres son escoria que podrían quedarse.

¿Problema resuelto? Bueno ... no del todo. Bickert prevé otro obstáculo. Mi instinto no es tratar a los géneros de manera diferente, me dice. Vivimos en un mundo en el que ahora reconocemos que hay muchos géneros, no solo hombres y mujeres. Sospecho que los ataques que ves son desproporcionadamente contra esos géneros y mujeres, pero no contra los hombres. Sin embargo, si crea una política basada en esa lógica, terminará en este espacio en el que es como, 'Nuestra política de incitación al odio se aplica a todos, excepto a los hombres'. Imagínese cómo funcionaría eso.

Para entender cómo Facebook las políticas de incitación al odio son para entender cómo Facebook el cerebro funciona .

Para cualquiera que haya seguido a los hombres desde lejos, la falta de acción de Facebook lo hizo parecer distante. En verdad, los hombres son escoria es un tema muy conocido y muy debatido en Menlo Park, con implicaciones improbablemente grandes para la filosofía rectora de la plataforma y, por tanto, de Internet. Por razones filosóficas y financieras, Facebook se estableció con un conjunto de valores compartidos universalmente. Y para facilitar el intercambio tanto como sea posible, ningún grupo o individuo sería tratado de manera diferente a otro. Si no puedes llamar escoria a las mujeres, tampoco puedes llamar escoria a los hombres.

Si das un paso atrás, es una forma idealista de pensar en el mundo. También es una forma liberal y clásica occidental de pensar el mundo. Deles a todos la misma oportunidad de libertad de expresión, y la democracia y la libertad florecerán naturalmente. Desafortunadamente, cuanto más crece Facebook, menos democracia y libertad parecen florecer. Del mismo modo, cuanto más permisiva sea la plataforma de Facebook, más propensa a ser corrompida por trolls, bots, noticias falsas, propaganda e intolerancia. Sin embargo, cuanto más toma Facebook medidas enérgicas contra esas cosas, más parece que la premisa de la empresa se vio comprometida desde el principio.

Ese es el problema de dirigir un gobierno en la sombra que busca regular el discurso de 2.300 millones de personas. Gobernar, por su naturaleza, exige compensaciones. Pero gran parte del mundo en este momento no está de humor para concesiones. Las personas gravitan hacia Facebook, en parte, para vivir en capullos de su propia creación. Si Facebook ha creado una sociedad en línea paralela para que viva una cuarta parte del mundo, la pregunta que enfrentan Monika Bickert y su equipo es: ¿Qué tipo de sociedad va a ser?

Al principio no había un gobierno en la sombra en Facebook. Solo estaba Dave. Dave Willner, el primer creador de reglas de Facebook. Cuando Willner llegó a la empresa, en 2008, Facebook tenía unos 145 millones de usuarios mensuales. Antes de su llegada, las personas que decidían qué se permitía en la plataforma eran también las personas que respondían los correos electrónicos de servicio al cliente. En su mayoría, los usuarios se quejaron de que querían eliminar las fotos vergonzosas de las fiestas. La política de la compañía era esencialmente derribar a Hitler y a personas desnudas, además de cualquier otra cosa que te hiciera sentir incómodo. Willner comenzó a hacer clic en 15,000 fotos al día, eliminando cosas que lo hacían sentir incómodo.

Eso no fue ideal. Willner redactó la primera constitución de Facebook, un conjunto de leyes llamadas Normas comunitarias. Él y su pequeña confianza mental generalmente se adhirieron al principio fundamental de John Stuart Mill de que el habla debe prohibirse solo si se usa para avivar la violencia contra los demás. Esta filosofía de no intervención también se alineó con el interés propio de Facebook. Más voz equivale a más usuarios y más usuarios equivale a más ingresos publicitarios. Además, al posicionarse como una plataforma abierta en lugar de un editor, Facebook no podría ser demandado por difamación, como lo haría un periódico. La información falsa se mantendría. Solo se reduciría el contenido obviamente tóxico como la propaganda terrorista, el acoso y la violencia gráfica, además de la actividad delictiva, como la pornografía infantil y el tráfico de drogas. Al igual que el discurso de odio.

En 2013, cuando Willner dejó Facebook, la base de usuarios de la empresa se había multiplicado casi por diez, hasta los 1.200 millones. La compañía, que se estaba expandiendo para incluir las compras de WhatsApp e Instagram, se había vuelto demasiado grande para los Estándares Comunitarios 1.0. Ese año, Bickert asumió el cargo de zar de contenido de Facebook. Nacida en el sur de California, Bickert pasó la primera fase de su carrera en el Departamento de Justicia de Chicago, enjuiciando la violencia de las pandillas y la corrupción pública. Pasó la segunda fase en la Embajada de los Estados Unidos en Bangkok, donde extraditó a los traficantes sexuales de niños. Si bien su enfoque principal era proteger a los niños, también comenzó a pensar más en la libertad de expresión, gracias a las estrictas leyes contra las críticas a la monarquía tailandesa. En otras palabras, ya estaba sopesando las versiones de la tensión fundamental (seguridad frente a voz) que sustenta todas las decisiones políticas de Facebook.

Cuando Bickert comenzó el trabajo, Facebook estaba en modo de pánico. El atentado con bomba del Maratón de Boston acababa de ocurrir y los moderadores señalaban el fotoperiodismo como violencia gráfica. Se eliminaron imágenes de extremidades arrancadas, que claramente violaban la política. Y, sin embargo, eran claramente de interés periodístico. Las imágenes fueron finalmente restauradas.

Un mes después, el problema contrario. Internet comenzó a protestar contra las bromas violentas sobre violaciones que no eran siendo arrancado de la plataforma. Facebook explicó que sus políticas permitían el discurso tóxico que no parecía probable que provocara daño físico. Pero después de que varias empresas retiraron sus anuncios, Facebook eliminó los chistes y se comprometió a reescribir sus políticas. Lo que había comenzado como una plataforma anodina para que la gente compartiera fotos y reflexiones aleatorias ahora era un gigante de los medios en el que una parte cada vez mayor del mundo dependía para obtener noticias. Ya no era tan obvio qué contenido era o no inapropiado.

Las diferencias entre vigilar el mundo real y vigilar Internet se hicieron evidentes. El nivel de contexto que tiene cuando está mirando las leyes penales: hay investigación de hechos, proporciona evidencia de ambos lados, en realidad mira el problema de una manera de 360 grados, dice Bickert. No lo hacemos. Tenemos un fragmento de algo en línea. No sabemos quién está detrás de esto. O cómo son. Así que es un sistema a máxima escala con información muy imperfecta.

Bickert comenzó a construir el equipo de políticas a su propia imagen. Aunque está entrenada como litigante, sus modales atractivos y su intelecto fácil recuerdan más a una profesora de derecho. En el campus de Facebook, contrató a un profesor de secundaria, un consejero de crisis de violación, un experto en antiterrorismo de West Point, un investigador del Departamento de Defensa. Contrataba a personas que no venían aquí porque necesariamente se preocupaban por Facebook, dice, pero porque creían que podían ejercer más influencia en Menlo Park que en la academia o en el estancamiento de Washington.

Para 2015, Bickert se había asociado con otros dos ejecutivos de Facebook, Ellen Silver y Guy Rosen, para vigilar el mal contenido de una manera más específica. Bickert establecería las políticas. Silver trabajaría con moderadores de contenido para implementarlos. Y Rosen crearía herramientas de detección proactiva para estar frente a ellos. Se llamaron a sí mismos la moneda de tres caras. (Deje que Facebook nombre su estructura de gobierno con el nombre del dinero).

sinopsis de los capitulos de la temporada 5 de juego de tronos

Gracias a los esfuerzos de Rosen, la empresa logró erradicar la pornografía y la propaganda terrorista, que eran bastante fáciles de clasificar para la inteligencia artificial. El resto de las cosas difíciles de ver (amenazas violentas, solicitación sexual y tráfico, imágenes de autolesión y suicidio, acoso, doxing y discurso de odio) dependía en gran medida de que los humanos lo atraparan. Primero, los usuarios individuales de Facebook tenían que marcar el contenido que no les gustaba. Luego, los moderadores de Facebook, que trabajaban en tres continentes, consultaban manuales preparados por el equipo de Silver para ver si realmente violaba alguna de las políticas de Bickert.

Sin embargo, después de las elecciones de 2016, este sistema comenzó a sentirse inadecuado para la enormidad de la tarea. Cuando le pregunto a Bickert cuál es la mayor diferencia en su trabajo ahora con respecto a hace cinco años, ella responde sin dudarlo. Clima social, dice ella. Inmigración a Europa. Tensión étnica. Elecciones muy disputadas. El auge del discurso candente. Mientras tanto, problemas que nadie había anticipado, como noticias falsas y desinformación, también se habían anunciado en la plataforma. Y todo eso fue antes del escándalo de Cambridge Analytica, en el que se reveló que Facebook había entregado la información personal de decenas de millones de usuarios a una consultora política vinculada a Trump.

La reputación de Facebook se hundió. Muchos ancianos de Silicon Valley, incluidos algunos de los primeros patrocinadores de la empresa, se volvieron completamente apóstatas y denunciaron la plataforma. Zuckerberg escribió un mea culpa en el que reconoció que la empresa pudo haber tenido un impacto negativo en nuestra infraestructura social. Surgió un sombrío consenso. Para ganar dinero, observó el ex editor de Slate, Jacob Weisberg, Facebook nos había hecho adictos y había vendido nuestros ojos a los anunciantes. A cambio, nos hizo egoístas, desagradables y solitarios, mientras corroía la democracia, la verdad y la igualdad económica.

En medio de toda la mala prensa, en 2017, ProPublica lanzó un informe explosivo que impugnaba directamente los estándares comunitarios de la empresa. Examinando tesoros de manuales filtrados de moderación de contenido, ProPublica descubrió una serie de políticas extrañas y aparentemente inexplicables. Lo más alarmante: los hombres blancos estaban protegidos por las leyes de incitación al odio de la empresa, mientras que los niños negros no. Después de un año de titulares condenatorios sobre Facebook, la cobertura mediática de la política supuso lo peor sobre las motivaciones de la empresa.

Bickert decidió que necesitaba reescribir las leyes de discurso de odio de Facebook. Cuatro años en su trabajo, este era su momento para ver si podía, a su manera, redimir a la empresa. Al solucionar los problemas, el movimiento original se movió rápido y rompió cosas que la generación no previó, o creó en primer lugar, tal vez el cuerpo legislativo oculto de Facebook finalmente podría hacer del mundo un lugar mejor.

Bickert, con los gerentes de políticas Gaurav Upot, Mary deBree y David Caragliano.

Fotografía de Balazs Gardi.

Es un cliché de Silicon Valley que los campus tecnológicos están equipados con beneficios infantiles y comida gratis. La sabiduría convencional es que estas cosas evitan que los empleados abandonen las instalaciones. Otra razón queda clara cuando visita Facebook: no hay absolutamente nada que hacer en un radio de cinco millas del campus. Salga de One Hacker Way, en Menlo Park, y se encontrará con la autopista a un lado y los estanques de sal picante y pantanoso del otro. Toda la zona se siente desprovista de belleza natural. Todo lo cual hace que sea obsceno y muy agradable sentarse a la sombra de las secuoyas que fueron desenterradas y transportadas a un espacio de reunión al aire libre en los terrenos del Edificio 21. El campus de Facebook existe, en otras palabras, como una manifestación física de su modelo de negocio: una privatización de la plaza pública. Y ese estado híbrido plantea preguntas novedosas sobre cómo una empresa individual puede, o debería, regular el discurso de miles de millones.

2001 una odisea espacial entre bastidores

De todo el contenido prohibido en la plataforma, el discurso de odio es, con mucho, el más difícil de juzgar. Primero, no hay una forma obvia de definirlo. En los EE. UU., No existe una categoría legal para el discurso de odio; en Europa, está delineado de manera bastante específica. En segundo lugar, debido a que las personas publican cosas que generan odio por todo tipo de razones personales e idiosincrásicas, no existe una forma sistémica de desincentivarlas. Comprender cómo Facebook controla el discurso del odio es comprender cómo funciona el cerebro de Facebook.

Me dirijo a una pequeña habitación en forma de cápsula en el Edificio 23 para reunirme con los dos arquitectos principales de la renovación del discurso de odio: Gaurav Upot, un veterano de siete años en la compañía, y David Caragliano, de los hombres son escoria powwow. Caragliano comienza, levantando una plataforma de diapositivas. La forma en que pienso sobre esto es que estábamos en el peor de los mundos. En cierto modo, la antigua política de incitación al odio era demasiado estricta. De la forma en que estaba escrito, no se podía decir que quisieras matar a un miembro de un grupo protegido, como una católica o una latina. Pero podrías decir que querías matar al católico teólogos o latina actrices . El pensamiento era, si estás siendo tan específico, es casi seguro que estás exagerando, o bromeando, o tal vez simplemente estás molesto por una película de mala muerte. El problema era que la edad, al igual que los teólogos o las actrices, no estaba clasificada como una categoría protegida. Así es como los ataques a los niños negros se filtraron a través de la red, mientras que el odio a los hombres blancos estaba prohibido.

De otra manera, la política también era demasiado amplia. En 2017, muchos L.G.B.T.Q. la gente estaba publicando la palabra dique en Facebook. Eso se consideró un insulto y se eliminó debidamente. Se expuso un punto ciego. Se ha observado que Facebook es capaz de juzgar el contenido, pero no la intención. Matt Katsaros, un investigador de Facebook que trabajó extensamente en el discurso del odio, cita un problema inesperado con los insultos marcados. La política había establecido una distinción entre 'nigger' y 'nigga', explica. El primero fue prohibido, el segundo fue permitido. Tiene sentido. Pero luego descubrimos que en África muchos usan 'nigger' de la misma manera que la gente en Estados Unidos usa 'nigga'. Volvamos a la mesa de dibujo.

Caragliano y Upot comenzaron a redactar una política granular destinada a resolver ambos problemas. Una matriz de leyes sobre el discurso de odio de toda la Unión Europea que preparó Caragliano destaca la complejidad de su esfuerzo y una admisión tácita de que los estándares globales de Facebook no son realmente factibles en la práctica. En el eje y del gráfico hay varios ejemplos hipotéticos de incitación al odio. En el eje x hay varios E.U. la tolerancia de las naciones al discurso. Entonces, por ejemplo, los musulmanes son criminales es claramente ilegal en Bélgica y Francia, probablemente legal en Dinamarca e Italia, y probablemente ilegal en Inglaterra y Alemania. (Y prohibido por Facebook).

Caragliano y Upot obtuvieron aportes de siete departamentos de Facebook y más de 30 académicos, ONG y grupos activistas. Les tomó cuatro meses terminar una revisión inicial de la política. Cuando terminaron, en octubre de 2017, se veía así: los ataques se dividirían en tres categorías de gravedad. El primero incluyó llamadas a la violencia (matar), palabras deshumanizantes (escoria) y estereotipos visuales ofensivos (que representan a una persona judía como una rata). El segundo incluía declaraciones de inferioridad. El tercero englobaba los llamamientos a la exclusión. Mientras tanto, los insultos se pondrían en cuarentena en su propia minicategoría dependiente del contexto.

La renovación permitió a Facebook enfocarse en el discurso problemático de manera más específica. El equipo de Guy Rosen, por ejemplo, entrenó su clasificador de detección automática para buscar solo el nivel más severo de discurso de odio. Desde entonces, Facebook ha pasado de marcar aproximadamente una cuarta parte de todos los discursos de odio antes que los usuarios, a más de la mitad, sin eliminar accidentalmente los orgullosos usos de dyke. Las nuevas reglas también permitieron a Facebook clasificar mejor las categorías pasadas por alto, como los teólogos católicos o los niños negros, que ahora estaban protegidos de los ataques de odio.

Así es como funciona en la práctica: a fines del año pasado, Facebook eliminó varias publicaciones de Yair Netanyahu, el hijo del primer ministro de Israel. Netanyahu había llamado monstruos a los palestinos y había abogado por que todos los musulmanes abandonaran la tierra de Israel. Tanto los palestinos como los musulmanes son grupos protegidos. Monster es deshumanizante, salir es un llamado a la exclusión y ambos están clasificados como discurso de odio. La remoción fue consistente con la nueva política. En respuesta, Netanyahu llamó a Facebook la policía del pensamiento.

Sin embargo, todos estos cambios ocurrieron en privado. En septiembre pasado, cuando Facebook C.O.O. Sheryl Sandberg testificó ante el Congreso sobre la amenaza de interferencia extranjera en las próximas elecciones de mitad de período, la senadora Kamala Harris aprovechó la ocasión para interrogarla sobre el incidente de los niños negros. Sandberg respondió con una respuesta enlatada y confusa que reforzó la percepción generalizada de que Facebook está lleno de basura. Nos preocupamos enormemente por los derechos civiles, dijo Sandberg. Hemos trabajado en estrecha colaboración con grupos de derechos civiles para encontrar discursos de odio en nuestra plataforma y eliminarlos. Harris le pidió que especificara cuándo se había cambiado la política problemática. Sandberg no pudo responder.

Si Bickert estaba mirando en Menlo Park, debe haber estado fuera de sí. El vacío legal de los niños negros, que en su raíz era un problema operativo, se había cerrado más de un año antes. La brecha entre la competencia de los expertos en políticas que escriben las reglas de Facebook y los ejecutivos de alto perfil que las defienden en público difícilmente podría haber parecido más amplia.

No mucho después El testimonio de Sandberg, en un restaurante de Palo Alto, le pregunto a Bickert quién es su John Stuart Mill. Louis Brandeis, me dice, el ex juez de la Corte Suprema que ayudó a consagrar la libertad de expresión como un fundamento de la democracia estadounidense del siglo XX. La idea de Brandeis de que se necesita que la gente pueda tener la conversación, que así es como aprenden, que así es como desarrollamos una sociedad informada que puede gobernarse a sí misma, eso es importante, creo.

En general, Bickert preferiría no censurar el contenido que forma parte del discurso nacional, incluso cuando es descaradamente odioso. Un buen ejemplo: en 2017, justo antes de que Facebook comenzara a reescribir sus políticas de incitación al odio, el representante estadounidense Clay Higgins de Louisiana publicó un mensaje en su muro de Facebook exigiendo que todos los sospechosos islámicos radicalizados fueran ejecutados. Cazarlos, identificarlos y matarlos, escribió. Matarlos a todos. La gente, obviamente, estaba indignada. Pero Facebook dejó el mensaje, ya que no violó las reglas de incitación al odio de la empresa. (Los sospechosos islámicos radicalizados no eran una categoría protegida). Después de la renovación, ese arrebato iría en contra de las Normas de la Comunidad. Sin embargo, Facebook no ha eliminado el mensaje, citando una exención para contenido de interés periodístico. ¿No le gustaría poder discutir eso? Pregunta Bickert, cuando señalo la publicación de Higgins. Realmente queremos darle espacio a las personas para que compartan sus opiniones políticas, incluso cuando sean de mal gusto.

Bickert está articulando no solo la posición clásica de Facebook de que compartir es bueno, pero también lo que solía ser una idea bastante controvertida, protegida por la Primera Enmienda, de que una sociedad democrática funciona mejor cuando las personas tienen derecho a decir lo que quieren, sin importar cuán ofensivo sea. Este principio brandeisiano, teme, se está erosionando. Da miedo, dice ella. Cuando hablan con personas en los campus universitarios de EE. UU. Y les preguntan qué tan importante es para usted la libertad de expresión, algo así como el 60 por ciento dice que no es importante en absoluto. La indignación por Facebook tiende a empujar en la dirección de eliminar más discursos. Menos grupos están dispuestos a defender un discurso impopular.

Cada vez más, los eventos del mundo real están probando si Facebook puede aferrarse a una visión del liberalismo en la que un conjunto de leyes se aplica a todos, o si necesita hacer la transición a un modelo orientado a la justicia social en el que ciertos grupos merecen más protección que otros. . A raíz de la crisis de refugiados sirios, por ejemplo, los comentarios negativos sobre los inmigrantes musulmanes comenzaron a inundar las páginas de Facebook en Europa. Algunos abogaron por fronteras estrechas. Algunos eran francamente racistas. El objetivo, como lo vio Bickert, era encontrar un término medio, para evitar pintar el discurso político cargado con el mismo pincel que el discurso legítimo del odio. En 2016, Facebook ideó una solución. Los inmigrantes estarían cuasi protegidos. No se les puede llamar escoria, pero se puede pedir su exclusión de un país. Facebook estaba comenzando a trazar líneas que nunca antes había trazado.

Cuando el problema de los hombres son escoria aterrizó por primera vez en su radar, a fines de 2017, Facebook comenzó a considerar un paso aún más radical. ¿Deberían protegerse algunos grupos más que otros? ¿Mujeres más que hombres, digamos, o gays más que heterosexuales? Las personas reconocen las dinámicas de poder y sienten que somos sordos para no abordarlas, dice Caragliano. Después de la reunión de políticas en Oh, Semantics el otoño pasado, Caragliano y deBree formaron cuatro grupos de trabajo separados para idear una solución para que los hombres son escoria. En el transcurso de los siguientes cuatro meses, estudiaron 6.800 ejemplos de discursos de odio basados en el género que habían aparecido en la plataforma. DeBree dijo que era fácil encontrar razones para defender una declaración como si los hombres fueran repugnantes. Pero se sintió mal permitir que los usuarios dijeran que los hombres homosexuales son repugnantes o que los hombres chinos son repugnantes. Al final, a finales de enero de este año, Facebook llegó a un consenso desinflador: nada cambiaría.

En resumen, casi todos en el equipo de Bickert estaban a favor de una política de incitación al odio que tomara en cuenta los desequilibrios de poder entre los diferentes grupos. Pero para una base de usuarios de más de dos mil millones de personas, tales cambios resultaron imposibles de escalar. En cierto nivel, no existen soluciones a los problemas de Facebook. Solo hay compensaciones. Como un gobierno real, al parecer, lo mejor que podía esperar Facebook era un montón de compromisos medio decentes. Y como un gobierno, cualquier cosa que hiciera todavía cabrearía al menos a la mitad de sus electores.

Hay un Una suposición amplia, no infundada, de que Facebook tiene un interés financiero en dejar basura total en su sitio. Montones de evidencia, anecdótica y académica, sugieren que su algoritmo News Feed recompensa el contenido inflamatorio y adictivo. Incluso cuando la compañía se comprometió durante el año pasado a priorizar el contenido local, significativo e informativo, un descarado sitio británico de clickbait llamado LadBible se ubica constantemente como su principal editor. Unilad.com, que es básicamente lo mismo, rara vez se queda atrás. También lo son Breitbart, TMZ y el Correo diario . Facebook, como Cableado dice el editor Nicholas Thompson, nos da de comer Cheetos en lugar de col rizada.

El problema de erradicar este tipo de comida chatarra es que News Feed premia las cosas en las que la gente hace clic. Reemplácelo de manera paternalista con contenido de alta mentalidad y perderá clientes. Escribiendo en La Revista del New York Times Hace un par de años, Farhad Manjoo dio a entender que Facebook, aparte de ganar dinero con los clics, en realidad no tenía una agenda política en absoluto. Las personas que trabajan en News Feed no toman decisiones que se basan en ideas humanas confusas como la ética, el juicio, la intuición o la antigüedad, escribió. La misión final del equipo de News Feed es averiguar qué quieren los usuarios [y] ofrecerles más de eso. Y lo que la gente quiere, evidentemente, son Cheetos.

Pero el discurso de odio, fascinantemente, no funciona así. Si les das demasiado a los usuarios de Facebook, en realidad desaparecen. En una de mis visitas a Facebook, salgo a cenar con Matt Katsaros, el investigador del discurso del odio. Vive en Outer Sunset de San Francisco, que se encuentra en el borde del Pacífico, y es uno de los últimos vecindarios de la ciudad que aún no ha sido estropeado por los multimillonarios de la tecnología. La somnolencia del lugar le sienta bien a Katsaros, un joven de 30 años que en su tiempo libre trabaja como artista textil.

último rey español antes de juan carlos

Habiendo pasado los últimos años mirando el discurso del odio en Internet, Katsaros es probablemente uno de los expertos del mundo en contenido perturbador de redes sociales. (Hay muchas mujeres a las que se está comparando con los electrodomésticos de la cocina en este momento, me dice). El costo emocional de su trabajo ha disminuido significativamente su propio apetito por publicar algo en Facebook. Me paso el día hablando con personas que dicen: 'Oh, me tomaron una foto y me escribieron maricón además de eso. ”Eso, dice, es exactamente la razón por la que la empresa tiene un gran interés en erradicar el discurso de odio. Cierta cantidad de discurso inflamatorio acelera a la gente. Pero la investigación muestra que el dial de la fealdad se lleva demasiado lejos y la gente se retrae. No hay ningún incentivo para que tengamos esas cosas, dice. Las personas son silenciadas, no se involucran y luego se van a hacer otra cosa.

Bickert presenta un argumento similar. La gente dirá: 'Oh, sus intereses comerciales no están alineados con los intereses de seguridad de la comunidad'. Estoy completamente en desacuerdo con eso, dice. El discurso de odio no solo apaga a los demás, sino que las personas que lo publican pueden no ser las fuentes de ingresos ideales para la empresa. Es poco probable que esas personas hagan clic en un anuncio de zapatos, ya sabes, en medio de su odio. La persona que mira videos de cachorros es mucho más probable.

El año pasado, Facebook finalmente comenzó a publicar métricas sobre la cantidad de contenido prohibido que estaba eliminando del sitio. Es imposible saber exactamente cuánto de las cosas malas están eliminando, ya que muchos usuarios no reportan contenido tóxico en primer lugar. (Esta es una de las razones por las que puede ser difícil identificar el discurso de odio contra las minorías perseguidas en todo el mundo: muchos usuarios no lo consideran en absoluto un discurso de odio). Aún así, las cifras son alentadoras. De octubre a diciembre de 2017, Facebook eliminó alrededor de 1,6 millones de discursos de odio. De julio a septiembre de 2018, ese número se disparó a 2,9 millones, o unas 30.000 piezas por día.

Es de suponer que Facebook no estaría haciendo todo esto si realmente se dedicara a mantener a su base de usuarios echando espuma por la boca. De hecho, en comparación con las primeras plataformas de redes sociales fallidas como MySpace, Facebook está altamente regulado. Al mismo tiempo, es preocupante que la plataforma albergue tanta toxicidad en primer lugar. La teoría de Bickert es que Facebook se ha vuelto tan grande que ha llegado a reflejar la fealdad del resto del mundo. No estoy loca por el nivel de discurso que veo en línea en general, admite. Al mismo tiempo, se resiste a poner todo eso a los pies de las burbujas de filtro de Facebook. Desde principios de los 70, cuando se mide a las personas en función de sus sentimientos hacia los partidos políticos opuestos, ha ido subiendo de esta manera: sus manos vuelan hacia arriba y hacia afuera. Entonces, en la medida en que esa es mucha basura que está en las redes sociales, eso refleja lo que hay en la sociedad.

Quizás Bickert tenga razón. Pero también se puede argumentar que Facebook, al tratar de erradicar el contenido malicioso, está enfrascado en una guerra imposible de ganar con el mundo que ayudó a crear. Después de acelerar la desaparición de los medios de comunicación tradicionales desviando gran parte de sus ingresos publicitarios, luego entregando su plataforma a los blogs, publicadores de mierda y especuladores de noticias falsas que se alimentan desde el fondo y que puedan generar la mayor indignación de los usuarios, bueno, por supuesto, hay mucho discurso tóxico para que la empresa lo elimine. Y mientras que en el mundo real, o incluso en plataformas de redes sociales más rudimentarias como Reddit, el poder de un contra-discurso robusto puede hacer mucho para rechazar los comentarios nocivos, en Facebook, los usuarios con ideas afines son agrupados por ellos mismos. -Algoritmo de clasificación de News Feed.

Le presento el argumento a Katsaros de que, al menos a corto plazo, los incentivos financieros de la empresa están desalineado. Una forma de hacer retroceder la basura en su plataforma sería invertir sus ganancias en la construcción de herramientas de detección activa y contratar más moderadores de contenido. Facebook, por ejemplo, tiene solo cuatro verificadores de datos a tiempo completo en Nigeria, un país de 200 millones.

¿No sucedió eso? Pregunta Katsaros. El precio de las acciones sufrió un gran impacto.

El tiene razón. Lo hizo. El verano pasado, después de que Facebook dijera que invertiría en expandir su red de seguridad, los inversores se rebelaron. Lo que sugiere ...

¿Estás diciendo que el capitalismo es malo? Pregunta Katsaros. ¿Es a eso a lo que te refieres? Me mira inexpresivo durante un par de segundos, antes de que una sonrisa de humor negro se extienda por su rostro. Si. Definitivamente.

La próxima vez que me registré con Katsaros, él había dejado la empresa.

Si Facebook tiene un comandante en jefe (Zuckerberg) y un cuerpo legislativo (el equipo de Bickert), recientemente decidió agregar una tercera rama del gobierno. En noviembre, Zuckerberg escribió una publicación en la que señalaba su compromiso de establecer una junta externa e independiente con el poder de evaluar y anular las decisiones más controvertidas de la empresa. En otras palabras, Facebook crearía una Corte Suprema.

La idea parecía vaga y abstracta, una especialidad de Zuckerberg. De hecho, dos personas en Facebook han estado planeando la Corte Suprema durante más de un año. Andy O'Connell llegó a Facebook desde el Departamento de Estado y Heather Moore se unió desde el Departamento de Justicia. Ambos trabajan bajo Monika Bickert. O'Connell explica la motivación de Zuckerberg. Su fuerte opinión es que todos los problemas de contenido son problemas para la comunidad, que no están motivados por intereses comerciales, dice. Pero nadie cree eso, por supuesto. El tribunal mejoraría no solo la toma de decisiones de Facebook, sino también la percepción de legitimidad.

La tarea fue abrumadora. Nadie ha construido un sistema judicial para una circunscripción de 2.300 millones de personas antes. ¿Cuántos casos escucharía? ¿De dónde vendrían los jueces? ¿Se les pagaría? ¿Quién les paga? ¿Las deliberaciones se llevan a cabo en sesiones irregulares de Skype? En una megacámara gigantesca, como la que usó el Senado en la horrible Guerra de las Galaxias precuelas?

Mientras discutimos la idea en el Edificio 23, O'Connell comienza reduciendo la jurisdicción del tribunal. De la forma en que lo pienso, dice, son decisiones realmente difíciles, cosas de interés público significativo, o lugares donde un caso nuevo podría hacernos reconsiderar una política establecida desde hace mucho tiempo. Eso, a su vez, conduce a preguntas sobre cómo elegir los casos. ¿Facebook elige? ¿Dejas que el público decida? Luego se mete en todos los problemas de votación pública de Boaty McBoatface, el desafortunado nombre que los usuarios de Twitter seleccionaron para un buque de investigación británico.

Moore interviene. Y luego, ¿debería ser esa una decisión pública, de la misma manera que la Corte Suprema de los Estados Unidos toma una decisión pública? Solo alrededor del 4 por ciento del contenido de Facebook son noticias. El resto es personal. Así que imagina un caso de acoso escolar o pornografía de venganza. ¿Qué implicaciones tendría eso para la privacidad de los usuarios involucrados? Ya sea que te parezca alentador o aterrador que Facebook esté trabajando felizmente para mejorar su gobierno en la sombra mientras que la versión esclerótica del mundo real en Washington no hace nada, hay algo emocionante en presenciar cómo se construye una sociedad en tiempo real.

La semana que nos reunimos, a fines de octubre, O'Connell y Moore deciden probar una versión preliminar del tribunal con un par de docenas de jueces de todo el mundo, con experiencia en derechos humanos, privacidad y periodismo. La sesión se lleva a cabo en una sala de conferencias ventilada en una parte relativamente aislada del campus. El caso en el que me presento involucra una pieza de contenido incendiario publicado en Myanmar, donde Facebook ha sido ampliamente acusado de instigar la limpieza étnica de los musulmanes rohingya, al no eliminar los ataques contra ellos. Si bien Facebook no me permitirá informar sobre los detalles del caso, puedo decir que la pregunta ante los jueces es la siguiente: si el tribunal anula la decisión de Facebook de no eliminar el contenido ofensivo, que técnicamente no violó el odio de la compañía. reglas del habla?

Los jueces se dividen en pequeños paneles para debatir el caso. A medida que el personal de Facebook introduce aspectos contextuales que hacen que el caso sea más difícil de decidir, los jueces luchan por sopesar dos de los principios declarados por Facebook. ¿Debería la plataforma defender la voz de una publicación anti-rohingya? ¿O debería proteger la seguridad de aquellos que fueron amenazados por él?

Cuando los jueces se reúnen para emitir un fallo, la votación es de seis a dos para retirar el cargo. La decisión de Facebook, en abstracto, ha sido revocada. Pero dadas las complicaciones del caso, nadie parece particularmente satisfecho.

Una de las ironías de los esfuerzos de Facebook por limpiar su plataforma es inherente al encuadre del problema. Si va a ser un gobierno benevolente, ¿por qué se centra casi por completo en vigilar a los usuarios? Además de monitorear y castigar el mal comportamiento, ¿no debería incentivar el buen comportamiento? En noviembre, Facebook publicó un estudio de Matt Katsaros y tres académicos que buscaban responder esa pregunta. Actualmente, cuando los usuarios publican desnudos o discursos de incitación al odio, reciben un mensaje breve y automático que les informa de la infracción y la eliminación de su contenido. Katsaros y sus coautores encuestaron a casi 55.000 usuarios que habían recibido el mensaje. El 52 por ciento sintió que no había sido tratado de manera justa, mientras que el 57 por ciento dijo que era poco probable que Facebook entendiera su perspectiva. Pero entre aquellos que hizo sentirse tratado justamente, disminuyó la probabilidad de que se repitieran las violaciones.

Con base en los hallazgos, argumentó el documento, Facebook debería centrarse menos en castigar a los que odian y más en crear un sistema de justicia procesal que los usuarios puedan respetar y confiar. Después de todo, el gobierno de Facebook puede ser un organismo deliberativo, pero de ninguna manera es democrático. El año pasado, por primera vez, la compañía comenzó a permitir que los usuarios presentaran una apelación cuando Facebook eliminó sus publicaciones individuales. Pero ahora Katsaros se ha ido. También lo es su coautor, Sudhir Venkatesh, quien regresó a su puesto de sociología en la Universidad de Columbia después de dos años en Facebook.

A fines de enero, Facebook lanzó algunas pepitas más sobre la composición de su Corte Suprema. La primera iteración probablemente presentaría a 40 jueces pagados, que trabajarían a tiempo parcial por períodos de tres años. El tribunal tendría el poder de anular a los moderadores de contenido de Facebook, pero no de reescribir los Estándares Comunitarios de la empresa. Poco se dijo sobre el papel o los derechos de los usuarios individuales que llevarían sus apelaciones al tribunal superior.

Por ahora, la cancha está en manos de Monika Bickert. Al final de la sesión a la que asisto, Bickert se comunica por videoconferencia. Varios jueces comentan que sería mucho más fácil resolver los casos si entendieran las motivaciones detrás de ellos. Bickert asiente con simpatía. La Corte Suprema de Facebook contará con mucho contexto cuando decida sus casos. Pero hay un número limitado de apelaciones que puede escuchar. La realidad es que, con miles de millones de publicaciones todos los días y millones de informes de usuarios todos los días, dice Bickert, simplemente no es algo que podamos poner en funcionamiento a esta escala.

Fue un resultado que el juez Louis Brandeis, el defensor de la libertad de expresión, podría haber predicho. Brandeis también era un antimonopolista abierto, y los críticos de Facebook a menudo lo invocan para justificar la ruptura de la empresa. Incluso con una Corte Suprema independiente, al parecer, Facebook puede ser demasiado grande para tener éxito.

Un par de semanas antes de las elecciones de mitad de período, que Facebook no está acusado de torpeza, Bickert está jugando un juego. Caminamos por un hermoso vecindario de Palo Alto llamado Professorville, adyacente al vecindario de Crescent Park de Zuckerberg. Es casi Halloween, y nunca en mi vida había visto tantas decoraciones de jardín extravagantemente espeluznantes. Hogar tras hogar, encerrados en una carrera armamentista burguesa para acumular los ghouls y los esqueletos animatrónicos más realistas. Nos acompaña Ruchika Budhraja, mi asistente de relaciones públicas de Facebook y una de las amigas cercanas de Bickert en la empresa. El juego es: ¿Cuánto cuesta esa casa?

La casa que estamos viendo es enorme: tres pisos de altura, de color marrón con ribetes verdes, más una terraza envolvente. Bickert evalúa. Mmmm, dice ella. Nueve millones. Supongo que $ 8,25 millones. Budhraja busca el precio en su teléfono. Después de un momento, el veredicto. Dice cuatro y medio, nos informa.

¿Qué? Eso no puede ser correcto. Estamos en medio del mercado inmobiliario más caro del país. Bickert consulta a Zillow. Esto dice 12,9. Eso es más parecido. Budhraja no se opone. Busqué en Google en Internet, dice. Bickert niega con la cabeza. Noticias falsas.

Este es un juego de salón arriesgado para jugar con un periodista. Una ejecutiva de tecnología, cuantificando juguetonamente cómo su industria ha vuelto inasequible un área metropolitana completa. Pero en el momento, no se siente tan sordo. Cuando Bickert se maravilla de la obscenidad de los valores de las propiedades de Silicon Valley, se puede decir que es desde un punto de vista antropológico. Este no es realmente su mundo. Puede que esté en Facebook, pero no lo es.

Debido a que no es miembro de la generación fundadora de Facebook, no se pone a la defensiva ante las deficiencias de la empresa. Y debido a que se ha liberado de los engaños del altruismo del sector tecnológico, no es valiosa para tratar de hacer felices a todos los usuarios de Facebook. Si el ala izquierda de Internet generalmente quiere un Facebook más seguro y saneado, y el ala derecha quiere una libertad de expresión para todos, Bickert se está aferrando a un incrementalismo obamiano cada vez más anticuado. Lidera desde atrás. No hagas estupideces . Cualquier cosa más ambiciosa sería utópica.

El mundo es demasiado diverso, dice. Y la gente ve el habla de manera diferente y la seguridad de manera diferente. No creo que alguna vez vayamos a elaborar el conjunto perfecto de políticas en las que decimos: 'Lo hemos clavado'. No creo que lo hagamos nunca.