Pedro Saleiro trabalha na Feedzai, onde é Data Science Manager, com formação em inteligência e, muito em concreto, em machine learning. O que é que faz o Pedro? Simplificando, trabalha com dados na área da inteligência artificial, ou colocando de outra forma, ensina máquinas a pensar. Quando nos questionamos sobre o que pode mudar na nossa vida nos próximos dez anos, não podemos descurar o impacto desta inovação. Do imaginário para o cinema, do laboratório para as empresas. A inteligência artificial tem acelerado nos últimos anos e com ela vêm grandes questões.
I’ll be back ou Hasta la vista, baby!
Estas frases são clássicos de Arnold Schwarzenegger no "The Terminator", mais conhecido em terras lusas como "O Exterminador Implacável". O primeiro filme é de 1984, já lá vão 35 anos e continuamos e recear o dia em que os robôs nos vão perseguir. Pedro Saleiro faz questão de nos descansar: "estamos muito longe do dia do julgamento". Em boa verdade, "a tecnologia não está a avançar tão rápido, ainda não é robusta o suficiente para pequenas alterações nos dados e comete erros muito estúpidos".
Mas está a caminhar, a pergunta é: para onde? O objetivo é que a máquina nos ajude em tarefas — "não deve dizer-nos o que comprar", mas "no futuro haverá ferramentas em que basicamente dizemos 'quero comprar um automóvel e tenho este orçamento disponível' e o nosso smartphone vai encarregar-se de negociar com diferentes vendedores, perceber as características das viaturas e fazer este tipo de ações por nós".
No entanto, há riscos que podemos identificar já hoje do ponto de vista da humanização e da socialização. A título de exemplo, os sistemas de recomendações hoje utilizados em plataformas como a Netflix são "muito básicos", mas podemos passar a estar mais isolados na nossa "bolha" quando tivermos recomendações de tal forma sofisticadas "que perpetuam este ciclo em que só vemos o que gostamos e vamos sempre gostar da mesma coisa". É a chamada filter bubble, mas num expoente ainda maior do que nós vemos nas redes sociais".
O risco de manipulação, neste contexto, existe. É "obvio". Ou seja, "determinadas empresas podem desenvolver mecanismos para tentarem, no fundo, influenciar-nos em relação aos nossos receios, os nossos medos, tentarem influenciar população para pensar de determinada forma em relação a determinados assuntos". Exagero? Talvez valha a pena recordar o escândalo da Cambridge Analytica, uma empresa que trabalhava dados de forma a produzir conteúdos capazes de influenciar os indecisos em contextos eleitorais usando as redes sociais.
Pedro Saleiro defende que a legislação, a regulação, deve ser mais proativa em vez de reativa. "Hoje em dia o nível de controlo já é muito reduzido", diz o cientista de dados. E explica: "Por exemplo, podemos treinar um modelo que maximize o número de likes sem ter em consideração que está muitas vezes a propagar conteúdo demasiado polémico, sensível ou com risco de incentivar à violência, à discriminação. Hoje em dia muitos dos escândalos que vemos noticiados já é por essa falta de controlo e de consciência do impacto desses algoritmos".
E não é uma questão de "a máquina em si desenvolver a tal consciência e querer perpetuar algum tipo de mau comportamento, mas porque o que está a acontecer é que nós humanos e as organizações estamos a apostar muito na automatização de processos. Muitas vezes está-se a reduzir o fator humano na tomada de decisão e está-se, basicamente, a definir uma métrica que queremos otimizar", acrescenta.
Até porque "não é o algoritmo que discrimina por si só", ressalva. A máquina só "aprende os padrões e os comportamentos dos dados que lhe são dados para a aprendizagem".
E daí para as questões éticas é um pulo. Pedro não gosta particularmente do clássico exemplo do carro autónomo que tem de escolher quem sacrificar num acidente. Não escusa responder, mas lembra que por vezes "estamos fixados em dilemas éticos de um futuro talvez até mais distante que esta década" e não olhamos para o que já está à nossa frente.
"Quando estive nos Estados Unidos estive em alguns projetos na justiça criminal e hoje em dia os tribunais já usam algoritmos para prever o risco de reincidência, de fuga ou de falsa comparência no julgamento e já são utilizados. Em Portugal, tanto quanto sei, ainda não são utilizados, mas claramente será esse o caminho e há aí uma discussão a ser feita", exemplifica.
O alerta está feito: "Há esta corrida para a utilização de machine learning a todo o custo sem ter a consciência dos efeitos secundários" e nesta "revolução em tempo real" as "entidades públicas, os estados e o poder judicial, legislador e governamental ainda estão um bocadinho atrás e têm que andar um pouco mais rápido para tentar acompanhar esta evolução".
Pedro conhece os riscos, mas diz-se "otimista". "Acho que vai ser uma revolução fantástica. Nós hoje em dia já temos qualidade de vida que nunca tivemos e acredito que a evolução vai ser para melhor", diz.
Quando lhe perguntamos o qual é a próxima grande questão nesta área o enfoque é na transparência da tomada de decisão.
"Até que ponto é que vamos conseguir fazer com que os modelos se expliquem a eles próprios e às decisões que tomam, quando eles olham para milhões de dados e milhões de sinais", questiona. "Vai para além da nossa compreensão as relações que a máquina está a descobrir ou que o modelo está a descobrir e penso que esse é o grande desafio, pelo menos a curto prazo. Eu próprio não sei se será possível explicar todas essas relações", assume.
E sobre robôs com emoções? Diz-se cético. “Acredito na inteligência aumentada, mas a emoção tem de ser a nossa”.
Esta primeira pergunta é se calhar a mais senso comum, mas é um bocadinho o que vem dos filmes que vimos em crianças, nos livros que lemos e agora também de algumas preocupações que têm sido partilhadas, que é a probabilidade ou a possibilidade de as máquinas um dia poderem-nos vir a fazer mal com aquilo que nós temos vindo a ensiná-las a fazer. Isto é uma possibilidade?
Antes de mais, muito obrigado pelo convite. Eu gosto de ser um pouquinho desmancha prazeres e queria dizer que estamos muito longe do dia do julgamento, como no filme “Terminator”, em que as máquinas vêm para nos dominar e conquistar. É verdade que têm havido imensos progressos nesta área [da inteligência artificial], mas estão muito focados em tarefas específicas e tarefas que nós humanos muitas vezes somos capazes de fazer sem grande esforço, não temos é a capacidade de escalar. Por exemplo, se quisermos reconhecer a face de alguém que nós já conhecemos numa imagem fazemos isto automaticamente, agora ensinar uma máquina a fazer isto requer muitos exemplos, muitos dados de treino e redes relativamente grandes, mas para nós humanos isto é uma tarefa muito trivial. Ou seja, tem havido muito burburinho à volta da inteligência artificial, mas o nível cognitivo da tecnologia atual está muito longe desse “Terminator” e dessa supremacia robótica.
Mas estando muito longe pode encaminhar-se nessa direção ou esse não é sequer um rumo que para ti, enquanto cientista e investigador nesta área, achas plausível, pelo menos à data de hoje?
Aí podemos abrir um bocadinho a conversa. Há duas possibilidade que normalmente têm vindo a ser discutidas, uma tem a ver com a chamada inteligência artificial genérica, ou em inglês AGI, que tem a ver com, no fundo, a máquina ser capaz de mimetizar um cérebro humano e ter a nossa capacidade de inteligência — e ir até mais além do ponto de vista da supremacia intelectual, de forma que nos pudesse controlar e dominar. Eu penso que não será por aí o caminho, acho é que faz sentido pensarmos em ferramentas super inteligentes, como por exemplo, deixarmos de ter assistentes. Eu acredito muito que no futuro haverá ferramentas em que basicamente dizemos “quero comprar um automóvel e tenho este orçamento disponível” e o nosso smartphone vai encarregar-se de negociar com diferentes vendedores, perceber as características das viaturas e fazer este tipo de ações por nós. Não é dizer-nos necessariamente se devemos ou não comprar um automóvel ou tentar influenciar-nos a tomar determinado tipo de ações, mas sim ferramentas que nos assistam — que assistam na medicina, onde nós podemos falar de vários exemplos.
Achas que nessa área em concreto — que me parece uma área menos ameaçadora e mais benigna — o impacto é sobretudo um impacto facilitador da nossa vida, mas pergunto se não há um impacto também desumanizador ? Ou seja, nós começamos, já hoje acontece, a ter cada vez menos contacto humano para realizar determinado tipo de tarefas?
Há sem dúvida alguma, penso que isso é um dos riscos. Eu como investigador posso não ser a pessoa mais capacitada para discutir alguns desses impactos de um ponto de vista mais psicológico e sociológico, mas sem dúvida que sim, que podemos passar a isolar-nos cada vez mais. [Por exemplo] podemos passar [a isolar-nos] quando tivermos recomendações de tal forma sofisticadas — e agora gostaria de fazer um parêntesis porque muitas das recomendações que temos hoje em dia, e que podem parecer mais ou menos sofisticadas, são óbvias. Quando nós num website pesquisámos por determinado produto e há um retargetting desses produtos para um outro website, isto não é necessariamente inteligente do ponto de vista de [ser capaz de] perceber todos os aspetos da nossa vida e recomendar-nos algo que ainda não sabemos que queremos, mas vamos querer muito rapidamente.
O que estás a dizer é que isso é relativamente básico neste momento?
Neste momento as recomendações que temos são muito básicas, mesmo no Netflix, que nos recomenda filmes baseado nos filmes que nós vimos, não tanto nos nossos gostos pessoais, nas nossas ânsias, nos nossos recantos mais escondidos da consciência. A recomendação não está tão sofisticada a esse nível e obviamente quando a recomendação estiver sofisticada a esse nível há riscos. Porquê? [Hoje] nós continuamos a interagir com o conteúdo que não é exatamente adequado para nós — adequado no sentido de que não corresponde muitas vezes aos nossos pontos de vista — ainda muitas vezes lemos conteúdo que é um bocadinho contraditório face à nossa forma de pensar em relação a muitos aspetos.
Isso não é bom?
É bom termos acesso ao contraditório, a pontos de vista diferentes. Não é bom é o tal risco de a recomendação ser de tal maneira sofisticada que perpetua este ciclo em que só vemos o que gostamos e vamos sempre gostar da mesma coisa. É a chamada filter bubble, mas num expoente ainda maior do que nós vemos nas redes sociais. Isso sem dúvida que é um risco do ponto de vista da humanização e do ponto de vista social.
Para tentarmos materializar isto para quem está menos familiarizado: nós já podemos, à data de hoje, estar rodeados de um conjunto de dispositivos que aprendem com a nossa vida e que nos devolvem soluções ou respostas em função disso, desde o frigorífico que percebe o que é que nós consumimos mais ao assistente virtual que põe a música de acordo com o nosso estado de espírito, passando pela possibilidade de entrarmos no carro e ele saber que aquele é o percurso que fazemos todos os dias e, assim, sugere alternativas se houver trânsito. Ou seja, todos estes processos à data de hoje já existem e nós temos assumido que têm sido confortáveis, porque têm trazido mais qualidade de vida, têm-nos libertado tempo para outras coisas. A pergunta é: na próxima etapa de evolução desta aprendizagem das máquinas em relação aos nossos hábitos, às nossas preferências, àquilo que nós queremos fazer, ainda estamos em território seguro? Ou seja, ainda estamos a ensinar as máquinas a tornarem a nossa vida melhor sem risco absolutamente nenhum?
Obviamente que há sempre riscos associados e aí eu penso que teremos oportunidade de falar um bocadinho do papel de determinadas organizações e do Estado e sobre o papel da regulação e das leis — que muitas vezes é reativo e não proactivo em relação a determinados riscos da tecnologia. Há claramente riscos de manipulação, como é óbvio, há riscos de determinadas empresas desenvolverem mecanismos para tentarem, no fundo, influenciar-nos em relação aos nossos receios, os nossos medos, tentarem influenciar população para pensar de determinada forma em relação a determinados assuntos.
Nós estamos a ensinar as máquinas a fazer coisas que facilitam a nossa vida e tendemos a esquecer-nos que na realidade estamos a repetir padrões humanos. Na prática quem está a ensinar as máquinas são os humanos e, portanto, se as máquinas nos manipularem estão a fazê-lo porque alguém as ensinou ou programou esse nível de resposta. Mas, algures neste desenvolvimento tecnológico, é possível que as máquinas passem a desenvolver estes processos por si mesmos?
Hoje em dia o nível de controlo já é muito reduzido, não por causa da máquina em si desenvolver a tal consciência e querer perpetuar algum tipo de mau comportamento, mas porque o que está a acontecer é que nós humanos e as organizações estamos a apostar muito na automatização de processos. Muitas vezes está-se a reduzir o fator humano na tomada de decisão e está-se, basicamente, a definir uma métrica que nós queremos otimizar — seja lucro, seja número de likes, seja número de horas de visualização ininterrupta num canal de vídeo. O que acontece é que muitas vezes não temos em consideração outras características associadas a estes fenómenos. Por exemplo, podemos treinar um modelo que maximize o número de likes sem ter em consideração que está muitas vezes a propagar conteúdo demasiado polémico, sensível ou com risco de incentivar à violência, discriminação. Hoje em dia muitos dos escândalos que vemos noticiados já é por essa falta de controlo e de consciência do impacto desses algoritmos. Eu percebo que a pergunta vai muito numa de “e a seguir será que o próprio algoritmo vai ter consciência disso?”
"Hoje em dia temos machine learning a ser utilizado sem controlo e sem regulação em muitos aspetos da nossa vida e na próxima década vai ser cada vez mais."
Eu estou mais preocupada com o fator humano do que com o fator máquina. Acho que tudo isto tem muito mais a ver com a forma como nós vamos olhar para estas possibilidades do que a tal singularidade, pelo menos acho que não é disso que estamos a falar. No entanto, com a possibilidade que hoje temos de poder ter as máquinas a servir estes propósitos, entramos de facto num território complicado do ponto de vista mais ético que é: qual é o bem e o mal que nós conseguimos fazer com as ferramentas que temos hoje.
Sim, absolutamente. Há vários aspetos, um importante de referir é que não é o algoritmo que discrimina por si só, o algoritmo só aprende os padrões e os comportamentos dos dados que lhe são dados para a aprendizagem. O que acontece é que hoje em dia temos muitos mais dados disponíveis e estamos, primeira vez, a aperceber-nos dos chamados enviesamentos inconscientes — a tal descriminação inconsciente que acontece na nossa sociedade em diferentes tipos de organizações. O que é que acontece? Imaginemos que há um professor que discrimina inconscientemente os alunos com base no facto de estes responderem bem a questões na sala de aula, ou seja, alunos que são extrovertidos por natureza, em relação aos alunos mais tímidos, que são muito bons no exame escrito e sabem muito bem a matéria, mas sentem-se inibidos de comunicar. Se isto for só um professor é muito difícil perpetuar a discriminação sistemática. Agora, se damos a um algoritmo dados baseados nisto para a avaliação dos alunos, para, por exemplo, selecionar alunos para a universidade. A mesma coisa com um médico que pode ser muito cauteloso em relação a pacientes que fumam e pacientes que não fumam. Assim, vai recomendar exames médicos muito mais frequentemente a pacientes fumadores. Se calhar há certas doenças que são detetadas mais rapidamente porque há este enviesamento do médico de achar que fumar aumenta a propensão para o desenvolvimento de doenças. O algoritmo ao aprender isto vai considerar que se o paciente for fumador então há um elevado risco de desenvolver uma doença nos próximos três anos; assim como pode considerar que se um aluno for mais tímido não vai ter tanto sucesso.
O risco está quando nós não avaliamos a discriminação em relação ao impacto destes modelos. Ou seja, imaginemos que queremos só maximizar o número de doentes que são detetados previamente, de maneira que tenham acesso a serviços de saúde preventiva. O que é que o algoritmo vai fazer? Comparando com um médico atual, o algoritmo consegue detetar três ou quatro vezes mais pacientes em risco de desenvolverem uma doença nos próximos três anos. Excelente, mas se calhar se formos ver percebemos que o algoritmo é muito mais falível com mulheres do que com homens, ou muito mais falível para não brancos do que brancos. Então o que é que estamos a fazer? Se esse algoritmo estiver em produção e continuar na próxima década a funcionar, e se nós temos essa consciência, o que vai acontecer no futuro é que estamos a melhorar a qualidade de vida de determinados grupos da população e estamos a aumentar as desigualdades. Muitas vezes tem a ver com esta consciência, com ter essa perceção dos enviesamentos históricos e, neste caso, o machine learning acaba por ser uma oportunidade para detetar isso.
Como tu sabes uma das situações que é muito recorrente ouvir em conferências ou em conversas é a seguinte história: imaginemos um veículos autónomo que está programado de uma determinada forma porque naquela cultura se privilegia os mais jovens. Já noutra cultura queremos defender quem tem o seguro com características que podem ser mais benéficas para quem se vê naquela situação. Este tipo de situação-limite é eticamente aflitiva porque estamos a falar de decisões de vida ou de morte, de ferimento mais grave ou menos grave. Sabendo que, provavelmente, este exemplo é muito fatigante para quem trabalha com coisas mais complexas do que estas, isto é uma probabilidade? Ou seja, algures no futuro podemos estar num carro que vai decidir por nós qual é que é a decisão que toma numa situação de perigo de acidente? Podes dizer que não gostas do exemplo.
Pessoalmente não gosto, porque esse exemplo está muito focado em dilemas éticos de um futuro talvez até mais distante que esta década. Muitas vezes estamos a gastar energia a discutir esses dilemas éticos de um futuro distante, quando temos os problemas que falei anteriormente. Hoje em dia temos machine learning a ser utilizado sem controlo e sem regulação em muitos aspetos da nossa vida e na próxima década vai ser cada vez mais. Quando estive nos Estados Unidos estive em alguns projetos na justiça criminal e hoje em dia os tribunais já usam algoritmos para prever o risco de reincidência, de fuga ou de falsa comparência no julgamento e já são utilizados. Em Portugal, tanto quanto sei, ainda não são utilizados, mas claramente será esse o caminho e há aí uma discussão a ser feita.
Em relação ao dilema dos carros autónomos, o dilema de sacrificar a vida do condutor ou sacrificar a vida de terceiros, essa é mais uma questão do ponto de vista legal e ético do que do ponto de vista tecnológico. O ponto de vista tecnológico tem muito a ver com a função que nós queremos que a máquina otimize. Nós definimos determinados tipos de regras que a máquina pode ou não seguir. Há uma discussão clássica dos utilitaristas do ponto de vista ético que, basicamente, defendem maximização do bem estar humano. [Segundo o seu ponto de vista] pode-se, por exemplo, pôr fim a uma vida para salvar quatro vidas, porque precisamos de quatro órgãos para salvar quatro vidas. Ou seja, isso são dilemas que já vão um bocadinho além da tecnologia, mas uma coisa é certa: nesta década eu penso que vamos ver veículos autónomos, mas em transportes de mercadorias que vão do ponto A ao ponto B passando sempre por autoestradas ou em autocarros de serviços de passageiros em rotas muito controladas. A tecnologia não está a avançar tão rápido, ainda não é robusta o suficiente para pequenas alterações nos dados e comete erros muito estúpidos.
Essa tecnologia ainda não nos coloca nesse dilema ético extremo, mas já nos coloca coisas que nos levam a questionar, porque não achamos normal, porque tem uma certa invisibilidade e uma certa normalidade nas nossas vidas, mas que na tua opinião já deveriam servir como um fator de alerta?
Eu aqui tenho de enaltecer o papel dos jornalistas neste domínio, porque tem sido através de reportagens — por exemplo, quando estava nos Estados Unidos fomos contratados por jornalistas para avaliar e auditar modelos que estavam a ser utilizados por entidades públicas —, através destes chamados escândalos noticiosos, que a comunidade e as empresas em geral, os tais gigantes tecnológicos, têm acordado um bocadinho para este problema da tal falta de consciência sobre as consequências da inteligência artificial. Nomeadamente, há um caso clássico que é o do Facebook, que mostrava anúncios para uma vaga de emprego só para homens e não mostrava a mulheres. Ora, a empresa que tem a vaga de emprego aberta só recebia candidaturas de homens, logo, a empresa poderia alegar que só recrutava homens porque só homens é que concorreram à vaga de emprego.
Mas provavelmente a própria empresa definiu assim. Há um caso recente de uma mulher que processou o Facebook porque estava num target — por ser mulher e por estar acima dos 45 anos — e, portanto, não recebia comunicação de produtos financeiros – cartões, créditos, etc. Então juntou um conjunto de pessoas que estavam na mesma circunstância e processaram também. O Facebook tem estado muito visível, se calhar porque é também a plataforma que tem mais pessoas neste momento a utilizar de forma tão intensa e com a capacidade de trabalhar esses dados todos.
Sim, [o Facebook] acaba por ser um veículo para a interação entre os humanos e a inteligência artificial. Há muitos modelos de machine learning em uso quando navegamos pelo Facebook. O exemplo que dei é de algo em que não há legislação que impeça ou que regule qual é o grupo que deve ver determinada publicidade.
Mas há regulação ou há legislação sobre discriminação.
Há, mas não sobre publicidade. Ou seja, no ponto de vista destas grandes empresas há aqui um vazio legal. Elas neste momento andam a navegar nesse navio porque basicamente querem maximizar o lucro e acabam por criar os tais enviesamentos ao maximizar a tal métrica que eu tinha falado há pouco, escondendo muitas vezes outros efeitos secundários.
Enquanto cientista nesta área e enquanto investigador, tens medo, neste momento, de partilhar dados? Sabendo o que sabes e tendo o conhecimento que tens sobre a forma como os dados são utilizados?
Eu acho que tem um bocadinho a ver com a educação. Quando as pessoas vão ao banco e subscrevem um produto financeiro, se estiverem informadas e souberem ler as letras pequeninas, se tiverem educação financeira, usam esses produtos de uma maneira muito diferente das pessoas que simplesmente vão pelo conselho de um amigo ou de um funcionário do banco. Aqui passa-se um bocadinho isso. Tenho uma consciência acrescida dos efeitos que tem esta relação em que eu tenho acesso a serviços de uma forma gratuita ou muito barata em troca de algo. Tenho controlo sobre o consentimento que eu dou a determinados serviços e empresas para terem acesso aos meus dados e eu ter acesso aos serviços dessas empresas. Portanto, tem muito mais a ver com esta consciencialização, para mim é mais transparente este tipo de interação.
Mas não vês em nenhum momento que haja uma marcha-atrás nisso? Ou seja, é uma questão de educação e garantidamente temos de fazer melhor na próxima década do que fizemos nesta. Também sabemos mais hoje do que sabíamos há 10 anos, mas não vês que haja qualquer tipo de inflexão?
Bem, eu quando falo da questão da educação é no sentido de eu ter a consciência do que estou a fazer. Não estou a dizer que só as pessoas que souberem sobre isto é que podem utilizar estes serviços. O que eu quero dizer é que há muito caminho a percorrer nesta área. A Regulação Geral de Proteção de Dados (RGPD) veio estabelecer um pouquinho uma fronteira e as empresas tiveram que se adaptar. Se eu aceder a um site de uma determinada empresa através da Europa e fizer uma compra empresa tem que respeitar o RGPD. A Europa acaba por ser um bocadinho progressista e está a avançar nesta área da legislação e regulamentação. Todo o resto do globo acaba por ir um pouquinho atrás. Mas ainda há muito caminho a ser percorrido nesta área. Ainda não é claro que quando as pessoas acedem a um site existem cookies que estão a propagar a informação dessa pessoa, do seu consumo da pessoa, sobre onde é que ela perdeu mais tempo e que está a ser utilizado em diversos sites. O Facebook faz tracking das pessoas fora do próprio Facebook e tem que haver mais transparência nisso, tem de haver mecanismos em que as pessoas possam optar por esta relação quid pro quo.
Temos desde coisas supostamente mais superficiais, como eu numa loja de roupa dizer quanto é que peso, meço e qual é o meu número de calçado, até coisas mais sérias. Estavas a falar há pouco nos Estados Unidos no facto de os tribunais já estarem a usar dados relativos a pessoas que têm processos, sejam ou não sejam arguidos, sejam ou não sejam condenados, e esses dados estão a ser coletados, tratados, guardados algures. Outro exemplo, ao fazermos um seguro de saúde damos um conjunto de informação que nos é pedida e que fica também guardada, sendo passível de ser usada para tantos outros fins que não apenas aquele que nos parece mais óbvio. Nós não questionamos isto no nosso dia-a-dia, no sentido que passamos a achar natural o tal custo-benefício – “eu estou a fazer uma coisa que, na prática, está a melhorar a minha vida, portanto, vou aceitar por bem que o preço (e já temos a noção de que há um preço) é que estou a ceder os meus dados”. Considerando, nos próximos anos, uma necessidade de recuperar algum controlo sobre a forma como esta informação está a ser usada, o que achas que pode ser feito além da regulação e da educação?
Aqui eu gostava de distinguir o que eu acho que vai acontecer e o que eu gostava que acontecesse. Eu gostava que essas relações fossem ainda mais transparentes. Falando do caso das seguradoras: uma coisa é eu dar consentimento à seguradora para me dar um serviço e um preço adequado dado o meu risco — e quanto mais dados a seguradora tiver sobre mim mais o risco vai ser adequado. Agora podemos discutir se isto pode ser prejudicial para mim ou não e se vai ser prejudicial para um grupo da população e benéfico para outro. Por exemplo, eu deixo a minha seguradora ter acesso ao meu Fitbit, que conta os meus passos, que sabe a minha atividade física, que tem acesso a uma app qualquer onde está a minha dieta ou os restaurantes a que eu vou. Faço-o porque sei que, dado o meu estilo de vida, vou obter prémios muito mais baratos e vou gastar muito menos dinheiro em seguro. Na minha perspetiva isso pode ser um benefício, mas para grupos da população que têm estilos de vida menos saudáveis, que estão mais em risco, isso pode funcionar ao contrário, porque para uns pagarem menos outros vão ter de pagar mais pelos seus prémios do seguro.
Mas o que tu estás a dizer é que aí o limite tem sempre a ver com a tal liberdade e o tal consentimento de quem é avisado num processo desses.
Mas que seja transparente, o que não pode acontecer é a seguradora ir ao Facebook ou a terceiros recolher dados sobre mim sem eu saber e utilizar esses dados para aplicar o meu prémio de seguro personalizado. Isso é que não pode acontecer.
Ou tu teres, por exemplo, empresas que trabalham dados dos colaboradores a partir de algumas aplicações ou através de alguns dispositivos tão simples quanto um relógio para penalizar as pessoas em função do estilo de vida que levam — atendendo que há custos elevados com ausências de trabalho por razões de doença, por questões que tem também a ver com alimentação ou estilo de vida. Isso é um cruzamento total da nossa vida privada e das nossas escolhas privadas com as nossa vida profissional e aquilo que a entidade patronal pode saber sobre nós.
Aí eu acho que é um caso um pouquinho diferente, porque já um caso específico do ponto de vista legal e da relação empregado-empregador, que é um pouco diferente do exemplo anterior do acesso a serviços.
Mas, por exemplo, há empresas que promovem ativamente o exercício físico entre os seus colaboradores porque sabem que é um fator de promoção da saúde. Já existiram situações em que houve queixas de discriminação depois de a informação sobre quem fez o quê e que estilo de vida tem ser partilhada com, neste caso, o empregador. Não é uma seguradora, é quem te paga o ordenado.
Pois, mas exatamente por ser um caso diferente é que eu digo que aí com certeza que há um vazio legal. Eu penso que na Europa isso não poderia acontecer por causa do RGPD, que já legisla e regula a relação entre colaboradores e empresas.
Nós estamos aqui a andar às voltas a chegar à conclusão de que isto tem muito pouco a ver com tecnologia.
Mas sem dúvida.
É uma coisa muito curiosa, nós estamos sempre a falar disto como o perigo das máquinas, mas, na realidade dos factos, estamos sempre a falar do que é que nós humanos fazemos com as possibilidades.
Sem dúvida, e por mim gostava muito de entrar na conversa nesse aspeto, tenho dado algumas palestras sobre este assunto, porque é um chamado hot topic, está muito em voga. Uma das mensagens que gosto de passar é que as pessoas não podem assustar-se com complexidade do machine learning e da inteligência artificial, porque no fim do dia o impacto é muito tangível, são muitas vezes decisões de "sim" e "não", e a tomada de decisão é algo que já existe há milhares de anos, e a ética já existe há milhares de anos, e há, sem dúvida, outras áreas de atividade, nomeadamente as humanidades, onde se tem consciência sobre as consequências da tomada de decisão e o impacto na sociedade. Eu gosto muito de fazer esta chamada à ação das pessoas de se interessarem por estes assuntos, não se assustarem e questionarem sempre se algum serviço lhes é fornecido através de machine learning ou através destes métodos mais sofisticados de computação.
"A minha entidade de análise deixou de ser uma frase e um texto e passou a ser uma pessoa, a vida de uma pessoa num determinado contexto, a perceção que nós temos sobre o que estamos a fazer muda radicalmente"
O que também me leva a uma questão que tem sido mais falada ao nível académico que é esta ser a primeira revolução que nós estamos a ter a capacidade de pensar em tempo real. Tipicamente as revoluções eram avaliadas anos depois de estarem a acontecer, neste momento as coisas estão a acontecer e nós estamos a pensá-las em tempo real. Consideras que esta será para nós, enquanto humanidade no seu todo, uma melhor revolução porque estamos a ter capacidade de a processar e de a discutir e de tomar decisões em tempo real?
Sem dúvida, eu sou um otimista em relação ao uso da inteligência artificial, acho que vai ser uma revolução fantástica. Nós hoje em dia já temos qualidade de vida que nunca tivemos e acredito que a evolução vai ser para melhor. Se é uma revolução quase em tempo real? Sim, mas ainda assim acho que as entidades públicas, os estados e o poder judicial, legislador e governamental ainda estão um bocadinho atrás e têm que andar um pouco mais rápido para tentar acompanhar esta evolução. Eu sei que nós não podemos legislar todos os dias, do ponto de vista da confiança dos cidadãos e do bom funcionamento das instituições, mas é importante serem um bocadinho mais céleres a perceber o impacto e a preocuparem-se com o que aí vem e tentarem ser um pouquinho mais proativos na legislação. No entanto, acho também que o facto de termos estas discussões — muitas vezes diz-se que é o algorithmic bias (o enviesamento do algoritmo), mas a expressão não é correta, é o enviesamento dos dados —, o facto de primeira vez estamos a ter consciência dessas tais descriminações inconscientes... Muitas vezes, na conversa de café, as pessoas dizem que não existe discriminação de género, mas depois vemos que quando tentamos usar o machine learning para automatizar determinados processos, como o do recrutamento, o que verificamos é que historicamente ainda existe esse enviesamento e aí é uma oportunidade que temos de o corrigir e tentar criar novos fenómenos e novos processos daqui para a frente, e a Inteligência Artificial permite-nos fazer isso.
Mas aí significa o tal uso pela positiva, a partir do momento em que conseguimos medir temos a possibilidade de tomar uma ação efetiva em cima de uma realidade que deixa de ser vaga.
É preciso é as empresas terem consciência de que quando vão medir um conjunto de teste — normalmente nós separamos um conjunto de treino e um conjunto de teste para utilizar efetivamente —, se percebem que há discriminação, terem a consciência de dizer assim “nós ainda não estamos preparados para automatizar este processo, não estamos preparados para usar machine learning hoje, vamos alterar as nossas políticas internas, vamos criar um novo data set a partir de hoje, de recrutamento, por exemplo, para daqui a um ano ou dois anos podermos, aí sim, utilizar um machine learning que não seja enviesado”. Há esta corrida para a utilização de machine learning a todo o custo sem ter a consciência desses efeitos secundários.
Vamos entrar aqui na nossa reta final e uma das perguntas que eu gostava de fazer, esta claramente mais pessoal, é tu estás há vários anos a trabalhar numa área que passou, nesta última década, de ser uma área promissora para uma área que está completamente debaixo de radar e que está completamente no centro de uma série de preocupações, mas também desafios bastante positivos. Qual foi a tua maior surpresa nestes últimos 10 anos?
Eu acho que tem a ver com determinados aspetos relacionados com perceção. O meu primeiro contacto com machine learning foi em 2010, já lá vão 10 anos. E comecei a trabalhar na área de texto e o meu doutoramento foi muito na área de texto. Eu estava a desenvolver modelos em que o ponto, a entidade, é uma frase. Uma menção de um político, um tweet, e todas as operações e transformações que eu fazia nos dados estavam relacionadas com uma frase. A partir do momento que fui para Chicago e estive a interagir e a trabalhar em projetos em que machine learning ia alterar processos decisórios e a criar novas intervenções para ajudar a população. A minha entidade de análise deixou de ser uma frase e um texto e passou a ser uma pessoa, a vida de uma pessoa num determinado contexto, a perceção que nós temos sobre o que nós estamos a fazer muda radicalmente. Penso que a grande alteração que eu tive foi efetivamente durante o meu pós-doc, em que tive consciência de como é que os modelos eram utilizados, como é que eles podiam afetar a vida das pessoas, para o bem, e os riscos que podem estar associados se as coisas não forem bem feitas. E é um bocadinho esse abrir de olhos, porque quando estamos a ler livros sobre machine learning e matemática, quando estamos na faculdade não nos dão bases nem ferramentas para pensarmos sobre estes assuntos, para pensarmos sobre o impacto daquilo que estamos a fazer – de onde vêm estes dados, houve consentimento, houve controlo, como é que vai ser utilizado, que impacto tem nós sacrificarmos um pouco da utilidade e do nosso objetivo global em troca de diminuir desigualdades? Ninguém nos ensinou e os data scientists, por mais racionais e inteligentes que se considerem, não estão equipados para tomar esse tipo de decisões. Penso que esse tipo de perceção foi a grande transformação que tive nestes 10 anos. Pegar no machine learning e sair da internet e sair do laboratório e ser utilizado para alterar processos que antigamente estavam apenas confinados aos humanos, como juízes ou médicos.
Falamos do passado, agora vou pedir-te que olhes para a frente. O que é que, neste momento, com o que tu já sabes, com tudo o que aprendeste, qual é para ti, neste momento, o teu maior desafio dos próximos 10 anos?
Eu penso que o maior desafio tem a ver com esta relação entre inteligência e capacidade, complexidade e falta de transparência. Neste momento o paradigma tem sido muito de aumentar o tamanho dos modelos, de aumentar o número de dados, é muito o paradigma desta revolução mais recente – the bigger the better. E o que é que acontece? O nosso cérebro tem cerca de 100 biliões de neurónios, as nossas redes atuais standard ainda estão longe de ter esse número, mas o paradigma tem sido muito esse. Só que à medida que aumentamos a complexidade, as relações que o modelo está a aprender entre os dados e o que nós queremos prever começa a não ser perceptível para nós humanos. É um bocadinho como é que nós podemos fazer com que as máquinas possam explicar-se a elas próprias a sua própria tomada de decisão e as relações que aprenderam. E há aqui uma grande questão, porque há toda uma área dedicada a isto que é a Explainable AI, mas para mim não é completamente claro se é mesmo possível explicar todas as decisões a um humano e como é que nós podemos interagir com estas máquinas sem percebermos tudo o que elas fazem e o risco que está associado a isso, a falta de confiança que nós podemos desenvolver.
"As crianças aprendem com muitos poucos exemplos, e conseguem fazer inferências e transferem conhecimento. O modelo machine learning ainda não é capaz de se adaptar a este tipo de tarefas"
Para ti não é claro que a máquina consiga processar todo esse tipo de decisões?
Não, para mim não é claro que nós consigamos desenvolver ferramentas e métodos que consigam tornar esses modelos, que são muito grandes, mais transparentes. Neste momento, quando um modelo faz uma previsão nós ainda não percebemos muito bem porque é que aquela previsão foi feita, e há uma série de áreas de ação, como por exemplo, na medicina, na justiça, etc., em que é importante. Nessa área muitos dos modelos que estão em utilização são simples, exatamente por causa disso, porque o médico tem de perceber porque é que aquela decisão está a ser tomada, porque é que aquela previsão está a ser feita, e muito do progresso recente em texto e em imagem não está a ser ainda aplicado nessas áreas por causa dessa relação entre complexidade, inteligência ou capacidade e, no fundo, falta de transparência. Vai para além da nossa compreensão as relações que a máquina está a descobrir ou que o modelo está a descobrir e penso que esse é o grande desafio, pelo menos a curto prazo. Eu próprio não sei se será possível explicar todas essas relações. Nós na Feedzai estamos a trabalhar nessa área, mas é sempre a minha grande questão – até que ponto é que vamos conseguir fazer com que os modelos se expliquem a eles próprios e as decisões que tomam, quando eles olham para milhões de dados e milhões de sinais.
Uma última pergunta que tem mais a ver com uma perspetiva de não cientistas, como aliás tentámos que fosse a nossa conversa. O que tu acabaste de descrever sobre os processos de decisão tem a ver com algo que nós não nos consciencializamos no nosso dia-a-dia, mas que acontece a cada microssegundo: o nosso cérebro está sempre a tomar decisões. Nós ligamos o interruptor e não temos a noção de que uma decisão foi tomada. Para nós é um ato banal, mas o nosso cérebro fez isso. Nós não tocamos com água numa corrente elétrica porque o cérebro sabe que aquilo é algo potencialmente perigoso. Toda essa componente adaptativa, que tem a ver com a aprendizagem, é algo que nós humanos conseguimos fazer bem, mas depois é uma componente que, e eu provavelmente não vou usar a expressão mais correta, mas tu vais-me perceber, é emocional. Nós também conseguirmos tomar decisões à luz daquilo que sentimos, sendo o processo do que é um sentimento é algo que tem várias leituras possíveis. Essa dimensão do sentimento tem sido aquela, pelo menos daquilo que tenho lido, que se considera mais difícil, pelo menos à data de hoje, que as máquinas consigam apreender. Tu achas que essa dimensão é plausível de ser também ensinada ou aprendida pelas máquinas?
Eu diria que durante o início dos anos 2000 houve muita investigação sobre incutir emoção em sistemas multiagentes. Uma pessoa que nós conhecemos, o Luís Sarmento, trabalhou muito nessa área da emoção nos agentes, muito do ponto de vista negocial, de tentar codificar essa emoção. Eu sou um bocadinho cético em relação ao uso da emoção na inteligência artificial, porque acredito na inteligência aumentada, ou seja, as ferramentas vão-nos servir um propósito, mas a emoção tem de ser a nossa, e a experiência é a nossa e não a das máquinas. Mas um dos aspetos que ainda é mais difícil que a emoção tem a ver com a capacidade de generalização e adaptação a novos contextos. Hoje em dia temos modelos que podem aprender muito bem a detetar cancro em determinados raios-X, ou são muito bons a jogar um determinado jogo, mas muda-se um bocadinho as imagens, muda-se um bocadinho a resolução, muda-se um bocadinho o tabuleiro e a máquina já não sabe nada. Tem havido uma discussão muito recente, há um livro do Daniel Kahneman que é sobre o sistema 1 e sistema 2 do nosso cérebro, em que a tecnologia atual está muito focada no sistema 1, que são tarefas intuitivas que nós fazemos em menos de um segundo: reconhecer uma imagem, reconhecer um tópico de um texto, etc., versus o sistema dois, e está-se a fazer um forcing para a área, para caminhar um bocadinho para esse sistema 2, que é perceber como é que adaptamos o conhecimento que temos quando caminhamos numa rua nova e como transferimos esse conhecimento para este novo contexto. As crianças aprendem com muitos poucos exemplos, e conseguem fazer inferências e transferem conhecimento. O modelo machine learning ainda não é capaz de se adaptar a este tipo de tarefas do sistema 2. E mais que a emoção, eu penso que é um pouco por aí.
Obrigada Pedro, foi uma bela conversa e daqui a 10 anos, no mesmo sítio, ou noutro sítio, mas pelo menos com a mesma vontade de discutir o que é que aprendemos nos 10 anos que se seguem e qual será o desafio dos 10 anos que virão a seguir.
Daqui a 10 anos com hologramas. Obrigado.
Comentários