À medida que a América corporativa se orienta para a IA, os consumidores rejeitam empréstimos e empregos

Cidade de Nova York – Rachel S mora em um bairro onde se pode caminhar no Brooklyn, Nova York. Na maioria dos dias ela consegue viver confortavelmente sem carro. Ela trabalha remotamente com frequência, mas ocasionalmente precisa ir ao escritório. É aí que a situação dela fica um pouco desafiadora. Seu espaço de trabalho não é facilmente acessível por transporte público.

Como ela não precisa dirigir com frequência, ela se inscreveu na plataforma de compartilhamento de carros Zipcar para atender às suas necessidades ocasionais. O processo de inscrição é bastante rápido, permitindo que os consumidores peguem a estrada usando sua frota de carros com relativa rapidez.

Infelizmente, esse não foi o caso de Rachel. Assim que ela pressionou o botão enviar, ela foi considerada inelegível pelo software de inteligência artificial que a empresa usa. Intrigada com o resultado, Rachel entrou em contato com a equipe de atendimento ao cliente da empresa.

Afinal, ela não tem deméritos que sugiram que ela é uma motorista irresponsável. Ela não tem pontos em sua licença. O único problema foi uma multa de trânsito que ela recebeu quando tinha dezessete anos e essa multa foi paga anos atrás.

Embora a multa de trânsito já tenha sido corrigida, agora na casa dos trinta ela ainda está lidando com as consequências.

Ela conversou com a equipe de atendimento ao cliente da Zipcar sem sucesso. Apesar de um histórico de direção limpo, ela foi rejeitada. Ela afirma que a empresa disse que não tinha recurso e que a decisão não poderia ser substituída por um humano.

“Não havia nenhum caminho ou processo para apelar a um ser humano e, embora seja razoável, a única maneira de tentar novamente seria candidatar-se novamente”, para o qual existe uma taxa de candidatura não reembolsável, disse Rachel à Al Jazeera, relembrando a sua conversa com a empresa.

A Zipcar não respondeu ao pedido de comentários da Al Jazeera.

Rachel é um dos muitos consumidores que tiveram empréstimos, adesões e até oportunidades de emprego recusados ​​pelos sistemas de IA sem qualquer recurso ou política de recurso, uma vez que as empresas continuam a confiar na IA para tomar decisões importantes que têm impacto na vida quotidiana.

Isso inclui D, que recentemente perdeu o emprego.

Como condição da entrevista, D solicitou que apenas utilizássemos a sua inicial por respeito à sua privacidade. D procurou religiosamente por uma nova oportunidade, sem sucesso.

Depois de meses procurando, D finalmente conseguiu um emprego, mas havia um grande problema: o momento.

Ainda se passaram várias semanas até que D começasse no novo emprego e várias semanas depois que D recebeu o primeiro contracheque.

Para obter ajuda extra, D solicitou um empréstimo pessoal em várias plataformas, em um esforço para contornar os empréstimos consignados predatórios, apenas para sobreviver enquanto isso.

D foi rejeitado para todos os empréstimos solicitados. Embora D não tenha confirmado quais empresas específicas, o setor tem múltiplas opções, incluindo Upstart, Upgrade, SoFi, Best Egg e Happy Money, entre outras.

D diz que quando ligaram para as empresas após submeterem uma candidatura online, ninguém pôde ajudar nem houve recurso.

Quando D tinha vinte e poucos anos, eles tinham um cartão de crédito com o qual não conseguiam pagar as contas. Esse era o único cartão de crédito deles. Eles também alugam um apartamento e contam com transporte público.

De acordo com os credores online impulsionados pela IA, a falta de histórico de crédito e de garantias torna-os inelegíveis para um empréstimo, apesar de terem pago a sua dívida pendente há seis anos.

D não confirmou quais empresas específicas tentaram obter um empréstimo. A Al Jazeera entrou em contato com cada uma dessas empresas para comentar seus processos – apenas duas responderam – Upgrade e Upstart – responderam no momento da publicação.

“Há casos em que podemos alterar a decisão sobre o empréstimo com base em informações adicionais, ou seja, provas de outras fontes de rendimento, que não foram fornecidas no pedido original, mas quando se trata de um 'julgamento humano', ' há muito espaço para preconceitos pessoais, algo que os reguladores e os líderes da indústria têm trabalhado arduamente para remover”, disse um porta-voz da empresa Upgrade num e-mail à Al Jazeera. “A tecnologia trouxe objetividade e justiça ao processo de empréstimo, e as decisões agora são tomadas com base no verdadeiro mérito do solicitante.”

Vieses históricos amplificados

Mas não é tão simples assim. Os preconceitos históricos existentes são frequentemente amplificados com a tecnologia moderna. De acordo com uma investigação de 2021 do veículo The Markup, os negros americanos têm 80% mais probabilidade de serem rejeitados automaticamente pelas agências de concessão de empréstimos do que os seus homólogos brancos.

“A IA é apenas um modelo treinado com base em dados históricos”, disse Naeem Siddiqi, consultor sénior da SAS, uma empresa global de IA e dados, onde aconselha bancos sobre risco de crédito.

Isso é alimentado pela longa história de práticas discriminatórias nos Estados Unidos no setor bancário em relação às comunidades de cor.

“Se você pegar dados tendenciosos, tudo o que a IA ou qualquer modelo fará é essencialmente repetir o que você alimentou”, disse Siddiqui.

“O sistema foi projetado para tomar tantas decisões quanto possível com o mínimo de preconceito e julgamento humano possível para torná-la uma decisão objetiva. Esta é a ironia da situação… claro, há alguns que passam despercebidos”, acrescentou Siddiqi.

Não é apenas com base na raça. Empresas como a Apple e a Goldman Sachs foram até acusadas de conceder sistematicamente limites de crédito mais baixos às mulheres do que aos homens.

Essas preocupações também são geracionais. Siddiqi diz que tais negações também limitam esmagadoramente a mobilidade social entre as gerações mais jovens, como os jovens millennials (aqueles nascidos entre 1981 e 1996) e a Geração Z (aqueles nascidos entre 1997 e 2012), em todos os grupos demográficos.

Isto porque o apelido padrão de forte saúde financeira – incluindo cartões de crédito, casas e carros – ao avaliar a responsabilidade financeira de alguém está a tornar-se cada vez menos relevante. Apenas cerca de metade da Geração Z tem cartão de crédito. Isso é um declínio em relação a todas as gerações anteriores.

A Geração Z também é menos propensa a ter garantias, como um carro, para apostar ao solicitar um empréstimo. De acordo com um recente estudar pela McKinsey, a faixa etária tem menos probabilidade de optar por obter uma carteira de motorista do que as gerações anteriores. Apenas um quarto dos jovens de 16 anos e 45 por cento dos jovens de 17 anos possuem carta de condução. Isso representa uma queda de 18% e 17%, respectivamente.

O Consumer Financial Protection Bureau intensificou suas salvaguardas para os consumidores. Em setembro, a agência anunciado que as agências de crédito terão agora de explicar o raciocínio por detrás da recusa de um empréstimo.

“Os credores alimentam frequentemente estes algoritmos complexos com grandes conjuntos de dados, por vezes incluindo dados que podem ser recolhidos a partir da vigilância do consumidor. Como resultado, o crédito pode ser negado a um consumidor por razões que pode não considerar particularmente relevantes para as suas finanças”, afirmou a agência num comunicado.

No entanto, a agência não aborda a falta de um processo de recurso humano, uma vez que D afirma ter tratado pessoalmente.

D disse que tiveram de adiar o pagamento de algumas contas que prejudicarão a sua saúde financeira a longo prazo e poderão afectar a sua capacidade de obter um empréstimo com taxas de juro razoáveis, se é que o conseguirão, no futuro.

'Deixado de fora das oportunidades'

Siddiqi sugere que os credores devem começar a considerar dados alternativos ao tomar uma decisão sobre empréstimos, que podem incluir pagamentos de aluguel e serviços públicos e até mesmo comportamento nas redes sociais, bem como padrões de gastos.

Nas redes sociais, os check-ins estrangeiros são um indicador chave.

“Se você tem mais dinheiro, tende a viajar mais ou se segue páginas como Bloomberg, Financial Times e Reuters, é mais provável que seja financeiramente responsável”, acrescenta Siddiqi.

O problema da rejeição automática não é apenas um problema para pedidos de empréstimo e adesão, mas também oportunidades de emprego. Em plataformas de mídia social, como usuários do Reddit publicar e-mails de rejeição que eles recebem imediatamente após enviar uma inscrição.

“Eu atendi a todos os requisitos e acertei todas as palavras-chave e, um minuto depois de enviar minha inscrição, recebi tanto o reconhecimento da inscrição quanto a carta de rejeição”, disse Matthew Mullen, o postador original, à Al Jazeera.

O editor de vídeo de Connecticut diz que esta foi a primeira vez para ele. Especialistas como Lakia Elam, chefe da empresa de consultoria de recursos humanos Magnificent Differences Consulting, afirmam que entre os sistemas de rastreamento de candidatos e outras ferramentas baseadas em IA, este está se tornando cada vez mais um tema maior e cada vez mais problemático.

Os sistemas de rastreamento de candidatos muitas vezes ignoram habilidades transferíveis que nem sempre podem estar alinhadas no papel com o conjunto de habilidades do candidato.

“Muitas vezes, os candidatos que têm uma carreira não linear, muitos dos quais vêm de diversas origens, são deixados de fora das oportunidades”, disse Elam à Al Jazeera.

“Continuo dizendo às organizações que precisamos manter o toque humano neste processo”, disse Elam.

Mas cada vez mais as organizações confiam mais em programas como ATS e ChatGPT. Elam argumenta que isso deixa de fora muitos candidatos a empregos que valem a pena, incluindo ela mesma.

“Se eu tivesse que passar por um sistema de IA hoje, garanto que seria rejeitado”, disse Elam.

Ela tem um GED – a equivalência ao diploma do ensino médio – em oposição a um diploma de quatro anos.

“Eles veem o GED no meu currículo e dizem que devemos ficar longe disso”, acrescentou Elam.

Em parte, é por isso que os americanos não querem a IA envolvida no processo de contratação. De acordo com um abril de 2023 relatório da Pew Research, 41% dos americanos acreditam que a IA não deve ser usada para revisar pedidos de emprego.

“Faz parte de uma conversa mais ampla sobre perder o caminho para o devido processo”, disse Rachel.