Neutralidade da Máquina
A busca pela imparcialidade perfeita
Seja bem-vinde a mais um texto da newsletter Ovelha Azul - um reflexo (praticamente) quinzenal das vozes da minha cabeça.
Quando eu era adolescente, fiquei angustiada com o conceito de imparcialidade. Parece um gancho de texto aleatório, mas juro que é verdade: não lembro direito porque eu estava pensando nisso, mas tenho a memória nítida de concluir que nunca conseguiríamos ser cem por cento imparciais e nos despir dos nossos valores e experiências para julgar algo ou alguém. Eu estava no banheiro da escola, se não me engano. Não conseguia nem imaginar direito o que significaria uma imparcialidade real - aleatoriedade? Alguma entidade externa e não humana? Algo divino? Um código rígido de direito montado por milhares de pessoas diferentes??
(Sim, eu era uma adolescente muito divertida e requisitada em festas!!!1!1!1onze)
Eu não tinha vocabulário na época pra realmente explicar e compreender a questão. Hoje, o que eu diria para essa jovem cabeçuda é que a gente vive em sociedade, entrelaçados em relações de poder que formam malhas complicadíssimas, com um mundo de experiências e vivências pessoais que consolidam nossos valores e nossa visão de mundo - e eles são inescapáveis. A gente pode, coletivamente, concordar o que significa ser imparcial nas decisões - montar um código jurídico, estabelecer um processo seletivo impessoal pruma faculdade ou um emprego -, mas ainda assim essa premissa de imparcialidade é um acordo. E acordos não são universais - dependem do como, do quando, do quem e do onde. Já diria Foucault que o saber é contextual de uma época e sociedade. Tudo é inventado.
Além de toda essa bagagem histórica e sociocultural, tem também a forma que funciona a mente humana: nossas decisões sempre passam por processos emocionais, que costumamos confundir com razão e racionalidade, e temos uma lista gigante de viéses cognitivos que nos tornam falíveis. Enfim, confie em qualquer coisa, exceto na imparcialidade humana. O que, de novo, não quer dizer que é bagunça: podemos trabalhar com nossos acordos comuns em paz.
Quando eu tive essas reflexões na adolescência, fiquei pensando se não seria maneiro poder procurar algo além de nós mesmos para tomar certas decisões. Ter a tranquilidade de que as escolhas são neutras, imparciais, o melhor para todo. Algo como uma entidade divina ou, sei lá, uma máquina.
Cá estou eu, quinze anos depois, para pensar sobre isso. Entendo de onde veio isso: existe no imaginário a ideia de neutralidade tecnológica. Afinal, a máquina segue segundo programação, implacável, sem interesses ou viéses que possam modificar seus resultados. Essa imagem dá a impressão de que computadores e máquinas são a-históricos, removidos de contexto, um fruto natural da progressão linear da técnica do ser humano. Pois é, não é bem assim. Praticamente nada é linear nessa vida.
Tecnologia é contextual - como eu comentei ali em cima, Foucault já cantou essa bola ao dizer que saberes dependem do contexto e são construções históricas. Isso não muda quando falamos de tecnologia: a lente e o flash da fotografia podem parecer imparciais, mas esses aparatos foram desenvolvidos na Europa do século XVIII - o epicêntro da visão colonial branca. Não é coincidência que ela foi desenvolvida de forma que funciona melhor na pele branca do que a pele negra, mesmo que a câmera seja um objeto inanimado que não saiba o que está fazendo. As pessoas por trás delas estavam interessadas só no sujeito branco, intencionalmente ou não.
O progresso técnico não é “linear” ou “natural”, porque pesquisas são direcionadas para as necessidades específicas de uma época e por quem financia o trabalho. Pesquisas são feitas por pessoas que tem uma visão de mundo, que vivem de acordo com determinados costumes sociais. Existe uma gama de tecnologias que poderiam ter sido inventadas, mas nunca foram, porque não houve tempo, dinheiro ou interesse de trabalhar nelas. Apaguemos esse delírio de progresso e desenvolvimento técnico imparcial, pelo amor de deus.
Então, a partir do momento que a gente delega algo como decisões para máquinas, estamos aceitando os temos e condições da visão de mundo na qual ela foi criada. Isso se complica ainda mais quando a gente pensa na realidade de inteligência artificial e machine learning, que chega a lugares e conclusões que nem os criadores sabem explicar direito. Pode ser bom, e aprender a detectar câncer precocemente?? Pode. Mas também pode reproduzir racismo estrutural e mandar pessoas erradas para a cadeia, ou dizer para um adolescente matar os pais.
No meio disso tudo, pensemos numa das IAs que mais toma decisões por nós: os algoritmos de curadoria em redes sociais, que decide quais informações são relevantes para cada indivíduo, de forma hipercustomizada. No livro Mundo do Avesso, Letícia Cesarino destrincha a tese de que esses algoritmos agem nos usuários e reforçam tendências individualistas liberais, que podem eventualmente radicalizá-los para extrema direita. Ela deixa claro que provavelmente não é algo intencional e minuciosamente planejado na programação pelo pessoal do Vale do Silício, mas sim um reflexo de seus interesses de negócio e do contexto em que estão inseridos. Vale sempre reforçar que a complexidade dessas plataformas é gigante e envolve uma gama de decisões humanas - como as regras de moderação, que tem sido ostensivamente reduzidas e atacadas pelos CEOs das plataformas. São pessoas com nome e sobrenome tomando decisões, e elas moldam as máquinas.
Uma tecnologia ou descoberta científica nunca é inerentemente boa ou ruim, mas também tampouco neutra. São frutos de um contexto e de visões de mundo. Elas são tudo, menos imparciais. A questão é: humanidade é inescapável. Essas tecnologias são humanas, e nós também.
Eu diria para meu eu adolescente que acho bonito isso, só precisamos aprender melhor a lidar.
Ovelha recomenda
Bom, eu aprendi a fazer ponto cruz e estou meio obcecada pela estética de pixel art. Quando fui procurar algo assim para ilustrar o texto, encontrei o BraceletBook, um site colaborativo de modelos para fazer braceletes da amizade (pois é). Escolhi uns designs temáticos pro texto, pelos usuáries @elmoduck e @kashvi
Eu já falei do O Mundo do Avesso: Verdade e política na era digital, e sigo recomendando a pesquisa da Letícia Cesarino
Estou lendo Sinuca debaixo d’água, primeiro romance da
, e como toda a obra dela estou curtindo bastante.Recomendo Sing Sing, que está concorrendo ao Oscar de roteiro e tem um projeto muito maneiro de elenco.
Os vídeos do
fazendo a psicanálise selvagem do álbum Brat é sensacional! Parte 1 e 2 no Insta.Textos que me pegaram essa semana:
E só pra não esquecer…
Meu livro de contos, Museu das Pequenas Falhas de Caráter, está à venda na editora Mondru!
Quer me seguir por aí?
Xwitter - @essabiamesmo
Instagram - @essabiamesmo
Medium - @essabiamesmo
Meus textos na Delirium Nerd
Labirintos Digitais, falando sobre internet
que texto bom e bem construído! preciso ler o mundo do avesso!!
Eu até sei um pouco de ponto cruz, mas eu faço mais arraiolos, e minha dificuldade é encontrar um padrão em pixel art que não fique gigante se eu converter pra uma tela de juta kkkk Eu invejo o ponto cruz poder ser feito em telas pequenas com linhas fininhas
Quando eu era adolescente eu pensava muito sobre IA's sencientes no sentido romântico - esse cérebro digital que a gente por algum motivo quis colocar num corpo humano desenvolveu sentimentos e se apaixonou, olha só! - e eu pensava muito sobre como a visão dos criadores podia ferrar com a vida dos meus bebês digitais inocentes. O propósito original, o que era escolhido como diretriz de segurança, etc. Porque no fim, tudo começa com uma escolha humana.