Joy Buolamwini e o preconceito algorítmico

Joy Buolamwini

Joy Buolamwini é uma estudante de pós-graduação no MIT (o Massachusetts Institute of Technology, uma das instituições de ensino superior mais respeitadas dos EUA). O currículo dessa mina é surreal: antes de entrar no MIT, ela se formou em Ciências da Computação no Georgia Institute of Technology e tem mestrado em Aprendizado e Tecnologia na Universidade de Oxford.

Parte de seu trabalho como pesquisadora no MIT consiste em explorar a ligação entre tecnologia de impacto social e inclusão. Nesse sentido, a Joy lidera a Algorithmic Justice League (Liga da Justiça Algorítmica), uma iniciativa para combater os preconceitos existentes nos algoritmos que regem as tecnologias que usamos.

No TEDTalk abaixo a Joy fala sobre como passou a se interessar por esse tema:

 
Lá no MIT, ela tem a oportunidade de trabalhar vários projetos bizarros, incluindo o Espelho de Desejar, um projeto que ela criou para poder projetar máscaras digitais fantásticas para o seu reflexo. Para construir o sistema do espelho, ela usou um software genérico de reconhecimento facial, mas logo descobriu que era difícil testá-lo a menos que ela usasse uma máscara branca. Ou seja, o software de reconhecimento facial não estava preparado para reconhecer pessoas negras, só pessoas brancas. Segundo a Joy, isso é bem problemático: “o preconceito algorítmico, como o preconceito humano, resulta da injustiça. Porém, os algoritmos, tal como os vírus, podem espalhar preconceitos numa grande escala num ritmo rápido. O preconceito em algoritmos também pode levar a experiências de exclusão e a práticas discriminatórias.” 

Esse tipo de desvio na tecnologia é criado da seguinte forma: cientistas criam um grupo de formação com exemplos de rostos. As pessoas que participam do estudo vão determinando o que é um rosto e não é.  Contudo, se os grupos de formação não forem diversificados, qualquer rosto que se desvie da norma estabelecida será difícil de detectar. E foi isso que aconteceu com a Joy: as máquinas não foram ensinadas a ler rostos negros, só tinham visto exemplos de rostos brancos. 

O ponto é que o preconceito algorítmico pode ser bem escroto e discriminatório, como explica Joy: “Nos meus exemplos com os robôs sociais que foi como eu descobri a exclusão com o preconceito algorítmico. Mas o preconceito algorítmico também pode levar a práticas discriminatórias. Nos Estados Unidos da América, os departamentos da polícia começam a usar o software de reconhecimento facial no seu arsenal de luta contra o crime. A Faculdade de Direito de Georgetown publicou um relatório mostrando que um em dois adultos, nos EUA — ou seja, 117 milhões de pessoas — têm os rostos em redes de reconhecimento facial. Os departamentos da polícia podem procurar nessas redes não regulamentadas, usando algoritmos que não foram auditados quanto ao seu rigor”.

A boa notícia é que esse cenário pode mudar com a criação de grupos de pesquisa mais diversos. “Há a oportunidade de criar grupos de formação com um espetro completo que reflitam um retrato mais rico da humanidade“, diz Joy. O documentário da Joy, o Coded Gaze: Unmasking Algorithmic Bias (algo como “o olhar codificado: desmascarando o preconceito algorítmico”) foi lançado no Museu de Belas Artes de Boston. O documentário mostra como a falta de diversidade na tecnologia levou à construção de algoritmos falhos e preconceituosos.

No começo deste ano, a Joy foi ganhadora do prêmio Search for Hidden Figures. Nesse link aqui ela fala um pouco mais sobre isso e no vídeo abaixo dá pra aprender um pouco sobre a trajetória dela:

Em uma entrevista para a BBC, a Joy conta que espera que a situação comece a melhorar, conforme as pessoas tomem consciência dos potenciais problemas decorrentes do preconceito algorítmico. “Qualquer tecnologia que criamos reflete tanto nossas aspirações quanto nossas limitações”, diz Joy, “se formos limitados na hora de pensar inclusão, isso vai ser refletido e incorporadona tecnologia que criamos”.

Segue a Joy no Twitter pra acompanhar os projetos dela!

 

Mais de Bárbara Paes

Mosqueando: representatividade ilustrada

A Giovana Rodrigues é uma designer de 19 anos que tem um trabalho incrível. O trabalho da Gio é super pautado na representatividade!<3 Na página Mosqueando, ela apresenta ilustrações muito lindinhas de meninas e mulheres que nem sempre ocupam um espaço central na mídia. Fizemos uma entrevista rapidinha pra conhecer um pouco melhor a Gio e o trabalho dela!

 

A photo posted by Queer queen 🔫 (@mosqueando) on


 
Ovelha: Bom, me conta um pouco sobre como começou a página e quando começou a desenhar?

Giovana: Me formei em design gráfico recentemente e depois de ficar sem emprego eu resolvi me dedicar melhor a minha página. Eu já desenhava bem antes, eu comecei muito criança e nunca parei, mas sempre rolou muito medo de mostrar pros outros, timidez, vergonha, toda insegurança, sabe? Então eu criei o instagram pra quebrar esse medo, mas acabei dando pouca atenção pra como eu mostrava o que eu fazia, eu postava desenhos aleatórios e eu tinha um desânimo muito grande em achar que aquilo tudo não tinha um propósito. A gente é acostumada a ser “modesta” a ponto de não aceitar que é boa em algo, e se diminuir repetidamente. Principalmente para a mulher, ser segura e admitir que é boa em alguma coisa é quase um afronte, é arrogância. E não é, então, por que não reconhecer logo que sou boa nisso e mostrar pros outros? Foi isso que decidi fazer, no ano novo a gente lista “objetivos” e pra 2016 eu decidi que iria cuidar melhor das minhas redes sociais e mostrar o que sei fazer, e está funcionando.

Ovelha: Você explora muitos temas relacionados ao feminismo, à negritude, empoderamento feminino. Como começou a abordar essas temáticas? Li que foi com a militância então queria que você falasse um pouco de como foi esse processo.

Giovana: Eu não via muito sentido em apenas postar desenhos aleatórios, os desenhos não carregavam nada além de estética, e foi algo que eu me desprendi muito conforme fui crescendo (como pessoa), eu tinha a necessidade de fazer algo maior com os meus desenhos, mas não sabia como. E então minha mãe me disse uma vez “que bom que você desenha meninas gordas, porque eu to cansada de só ver gente magra em todo lugar” e sem querer ela me mostrou o que eu poderia fazer com aquilo, que era proporcionar uma representatividade pra mulheres fora do padrão. Como eu já participava de grupos que promovem o debate sobre questões sociais como padrão estético, militância negra, feminismo, e vários outros temas, eu já tinha um contato muito grande e foi fácil na hora de pegar tudo que eu sentia falta, e colocar nos desenhos. Então comecei a representar a mulher negra, a mulher gorda, a mulher que não se coloca dentro do molde que a sociedade criou – onde a mulher deve ser feminina, bonita como a revista e a novela mostram, sempre magra, sempre doce, submissa, eu decidi que essas não eram as mulheres que eu precisava desenhar, e antes eu desenhava muitas delas. Elas já têm uma representatividade gritante, o mundo foi feito pra elas, elas estão em tudo que vemos (revistas, novelas, séries, filmes, indústria cosmética, etc). Eu não precisava reforçar isso, e nem queria. Quem precisava de empoderamento eram as outras. Eu decidi fazer algo por elas.

Ovelha: Conta pra gente quem são algumas das suas referências? As artistas que você curte, as pessoas que te inspiram?

Giovana: Eu busco referência na própria mulher, na cultura negra, gosto muito de ficar no Instagram, tem muita menina linda por lá, vez ou outra acabado desenhando algumas delas. Gosto muito de ficar no pinterest, também. Mas no fim tudo acaba sendo referência ou inspiração, pessoas, musicas, livros, filmes, etc. Eu sou apaixonada pelo trabalho da Sirlanney, do Magra de Ruim; da Brendda Costa, do Vanilla Tree; da Evelyn negahamburguer; da Valfré, e de várias outras meninas fodas que eu poderia ficar horas citando, haha.


 
Dá pra ler mais sobre o trabalho da Gio aqui, gente. E recomendo que sigam as páginas dela também:  Instagram | Facebook | Tumblr

Arte da capa por Giovana Rodrigues/Mosqueando.

 

Leia mais
Algorithmic Justice League (Liga da Justiça Algorítmica), uma iniciativa para combater os preconceitos existentes nos algoritmos que regem as tecnologias que usamos.

No TEDTalk abaixo a Joy fala sobre como passou a se interessar por esse tema:

 
Lá no MIT, ela tem a oportunidade de trabalhar vários projetos bizarros, incluindo o Espelho de Desejar, um projeto que ela criou para poder projetar máscaras digitais fantásticas para o seu reflexo. Para construir o sistema do espelho, ela usou um software genérico de reconhecimento facial, mas logo descobriu que era difícil testá-lo a menos que ela usasse uma máscara branca. Ou seja, o software de reconhecimento facial não estava preparado para reconhecer pessoas negras, só pessoas brancas. Segundo a Joy, isso é bem problemático: “o preconceito algorítmico, como o preconceito humano, resulta da injustiça. Porém, os algoritmos, tal como os vírus, podem espalhar preconceitos numa grande escala num ritmo rápido. O preconceito em algoritmos também pode levar a experiências de exclusão e a práticas discriminatórias.” 

Esse tipo de desvio na tecnologia é criado da seguinte forma: cientistas criam um grupo de formação com exemplos de rostos. As pessoas que participam do estudo vão determinando o que é um rosto e não é.  Contudo, se os grupos de formação não forem diversificados, qualquer rosto que se desvie da norma estabelecida será difícil de detectar. E foi isso que aconteceu com a Joy: as máquinas não foram ensinadas a ler rostos negros, só tinham visto exemplos de rostos brancos. 

O ponto é que o preconceito algorítmico pode ser bem escroto e discriminatório, como explica Joy: “Nos meus exemplos com os robôs sociais que foi como eu descobri a exclusão com o preconceito algorítmico. Mas o preconceito algorítmico também pode levar a práticas discriminatórias. Nos Estados Unidos da América, os departamentos da polícia começam a usar o software de reconhecimento facial no seu arsenal de luta contra o crime. A Faculdade de Direito de Georgetown publicou um relatório mostrando que um em dois adultos, nos EUA — ou seja, 117 milhões de pessoas — têm os rostos em redes de reconhecimento facial. Os departamentos da polícia podem procurar nessas redes não regulamentadas, usando algoritmos que não foram auditados quanto ao seu rigor”.

A boa notícia é que esse cenário pode mudar com a criação de grupos de pesquisa mais diversos. “Há a oportunidade de criar grupos de formação com um espetro completo que reflitam um retrato mais rico da humanidade“, diz Joy. O documentário da Joy, o Coded Gaze: Unmasking Algorithmic Bias (algo como “o olhar codificado: desmascarando o preconceito algorítmico”) foi lançado no Museu de Belas Artes de Boston. O documentário mostra como a falta de diversidade na tecnologia levou à construção de algoritmos falhos e preconceituosos.

No começo deste ano, a Joy foi ganhadora do prêmio Search for Hidden Figures. Nesse link aqui ela fala um pouco mais sobre isso e no vídeo abaixo dá pra aprender um pouco sobre a trajetória dela:

Em uma entrevista para a BBC, a Joy conta que espera que a situação comece a melhorar, conforme as pessoas tomem consciência dos potenciais problemas decorrentes do preconceito algorítmico. “Qualquer tecnologia que criamos reflete tanto nossas aspirações quanto nossas limitações”, diz Joy, “se formos limitados na hora de pensar inclusão, isso vai ser refletido e incorporadona tecnologia que criamos”.

Segue a Joy no Twitter pra acompanhar os projetos dela!

 

" />