Joy Buolamwini e o preconceito algorítmico

Joy Buolamwini

Joy Buolamwini é uma estudante de pós-graduação no MIT (o Massachusetts Institute of Technology, uma das instituições de ensino superior mais respeitadas dos EUA). O currículo dessa mina é surreal: antes de entrar no MIT, ela se formou em Ciências da Computação no Georgia Institute of Technology e tem mestrado em Aprendizado e Tecnologia na Universidade de Oxford.

Parte de seu trabalho como pesquisadora no MIT consiste em explorar a ligação entre tecnologia de impacto social e inclusão. Nesse sentido, a Joy lidera a Algorithmic Justice League (Liga da Justiça Algorítmica), uma iniciativa para combater os preconceitos existentes nos algoritmos que regem as tecnologias que usamos.

No TEDTalk abaixo a Joy fala sobre como passou a se interessar por esse tema:

 
Lá no MIT, ela tem a oportunidade de trabalhar vários projetos bizarros, incluindo o Espelho de Desejar, um projeto que ela criou para poder projetar máscaras digitais fantásticas para o seu reflexo. Para construir o sistema do espelho, ela usou um software genérico de reconhecimento facial, mas logo descobriu que era difícil testá-lo a menos que ela usasse uma máscara branca. Ou seja, o software de reconhecimento facial não estava preparado para reconhecer pessoas negras, só pessoas brancas. Segundo a Joy, isso é bem problemático: “o preconceito algorítmico, como o preconceito humano, resulta da injustiça. Porém, os algoritmos, tal como os vírus, podem espalhar preconceitos numa grande escala num ritmo rápido. O preconceito em algoritmos também pode levar a experiências de exclusão e a práticas discriminatórias.” 

Esse tipo de desvio na tecnologia é criado da seguinte forma: cientistas criam um grupo de formação com exemplos de rostos. As pessoas que participam do estudo vão determinando o que é um rosto e não é.  Contudo, se os grupos de formação não forem diversificados, qualquer rosto que se desvie da norma estabelecida será difícil de detectar. E foi isso que aconteceu com a Joy: as máquinas não foram ensinadas a ler rostos negros, só tinham visto exemplos de rostos brancos. 

O ponto é que o preconceito algorítmico pode ser bem escroto e discriminatório, como explica Joy: “Nos meus exemplos com os robôs sociais que foi como eu descobri a exclusão com o preconceito algorítmico. Mas o preconceito algorítmico também pode levar a práticas discriminatórias. Nos Estados Unidos da América, os departamentos da polícia começam a usar o software de reconhecimento facial no seu arsenal de luta contra o crime. A Faculdade de Direito de Georgetown publicou um relatório mostrando que um em dois adultos, nos EUA — ou seja, 117 milhões de pessoas — têm os rostos em redes de reconhecimento facial. Os departamentos da polícia podem procurar nessas redes não regulamentadas, usando algoritmos que não foram auditados quanto ao seu rigor”.

A boa notícia é que esse cenário pode mudar com a criação de grupos de pesquisa mais diversos. “Há a oportunidade de criar grupos de formação com um espetro completo que reflitam um retrato mais rico da humanidade“, diz Joy. O documentário da Joy, o Coded Gaze: Unmasking Algorithmic Bias (algo como “o olhar codificado: desmascarando o preconceito algorítmico”) foi lançado no Museu de Belas Artes de Boston. O documentário mostra como a falta de diversidade na tecnologia levou à construção de algoritmos falhos e preconceituosos.

No começo deste ano, a Joy foi ganhadora do prêmio Search for Hidden Figures. Nesse link aqui ela fala um pouco mais sobre isso e no vídeo abaixo dá pra aprender um pouco sobre a trajetória dela:

Em uma entrevista para a BBC, a Joy conta que espera que a situação comece a melhorar, conforme as pessoas tomem consciência dos potenciais problemas decorrentes do preconceito algorítmico. “Qualquer tecnologia que criamos reflete tanto nossas aspirações quanto nossas limitações”, diz Joy, “se formos limitados na hora de pensar inclusão, isso vai ser refletido e incorporadona tecnologia que criamos”.

Segue a Joy no Twitter pra acompanhar os projetos dela!

 

Mais de Bárbara Paes

Quem são os millennials da África do Sul

O Generation Soweto é um documentário que vai falar sobre a vida dos jovens sul-africanos. A Nisa Ahmad idealizou o projeto enquanto viajava pela África do Sul. O filme vai explorar a cultura da geração millennial do país, acompanhando quatro jovens sul-africanos que cresceram após a democratização e o fim do apartheid.

 
generation soweto
 
Gravado em Johannesburgo e na Cidade do Cabo, além de mostrar a situação política e social da África do Sul, o projeto também pretende abordar assuntos como racismo, xenofobia e o processo de gentrificação que vem acontecendo em várias cidades do país.

O Generation Soweto conta com a participação de gente super criativa, como as blogueiras Twiggy e Sedi, do Sleepless in Soweto, e a Neema Nouse.

 

 
A produção do Generation Soweto ainda não acabou, por isso tá rolando uma campanha no IndieGogo para arrecadar dinheiro e finalizar esse projeto super legal.


Siga o Generation Soweto: Facebook

Leia mais
Algorithmic Justice League (Liga da Justiça Algorítmica), uma iniciativa para combater os preconceitos existentes nos algoritmos que regem as tecnologias que usamos.

No TEDTalk abaixo a Joy fala sobre como passou a se interessar por esse tema:

 
Lá no MIT, ela tem a oportunidade de trabalhar vários projetos bizarros, incluindo o Espelho de Desejar, um projeto que ela criou para poder projetar máscaras digitais fantásticas para o seu reflexo. Para construir o sistema do espelho, ela usou um software genérico de reconhecimento facial, mas logo descobriu que era difícil testá-lo a menos que ela usasse uma máscara branca. Ou seja, o software de reconhecimento facial não estava preparado para reconhecer pessoas negras, só pessoas brancas. Segundo a Joy, isso é bem problemático: “o preconceito algorítmico, como o preconceito humano, resulta da injustiça. Porém, os algoritmos, tal como os vírus, podem espalhar preconceitos numa grande escala num ritmo rápido. O preconceito em algoritmos também pode levar a experiências de exclusão e a práticas discriminatórias.” 

Esse tipo de desvio na tecnologia é criado da seguinte forma: cientistas criam um grupo de formação com exemplos de rostos. As pessoas que participam do estudo vão determinando o que é um rosto e não é.  Contudo, se os grupos de formação não forem diversificados, qualquer rosto que se desvie da norma estabelecida será difícil de detectar. E foi isso que aconteceu com a Joy: as máquinas não foram ensinadas a ler rostos negros, só tinham visto exemplos de rostos brancos. 

O ponto é que o preconceito algorítmico pode ser bem escroto e discriminatório, como explica Joy: “Nos meus exemplos com os robôs sociais que foi como eu descobri a exclusão com o preconceito algorítmico. Mas o preconceito algorítmico também pode levar a práticas discriminatórias. Nos Estados Unidos da América, os departamentos da polícia começam a usar o software de reconhecimento facial no seu arsenal de luta contra o crime. A Faculdade de Direito de Georgetown publicou um relatório mostrando que um em dois adultos, nos EUA — ou seja, 117 milhões de pessoas — têm os rostos em redes de reconhecimento facial. Os departamentos da polícia podem procurar nessas redes não regulamentadas, usando algoritmos que não foram auditados quanto ao seu rigor”.

A boa notícia é que esse cenário pode mudar com a criação de grupos de pesquisa mais diversos. “Há a oportunidade de criar grupos de formação com um espetro completo que reflitam um retrato mais rico da humanidade“, diz Joy. O documentário da Joy, o Coded Gaze: Unmasking Algorithmic Bias (algo como “o olhar codificado: desmascarando o preconceito algorítmico”) foi lançado no Museu de Belas Artes de Boston. O documentário mostra como a falta de diversidade na tecnologia levou à construção de algoritmos falhos e preconceituosos.

No começo deste ano, a Joy foi ganhadora do prêmio Search for Hidden Figures. Nesse link aqui ela fala um pouco mais sobre isso e no vídeo abaixo dá pra aprender um pouco sobre a trajetória dela:

Em uma entrevista para a BBC, a Joy conta que espera que a situação comece a melhorar, conforme as pessoas tomem consciência dos potenciais problemas decorrentes do preconceito algorítmico. “Qualquer tecnologia que criamos reflete tanto nossas aspirações quanto nossas limitações”, diz Joy, “se formos limitados na hora de pensar inclusão, isso vai ser refletido e incorporadona tecnologia que criamos”.

Segue a Joy no Twitter pra acompanhar os projetos dela!

 

" />