Seu chatbot de IA está manipulando você? Remodelando sutilmente suas opiniões?
Is your AI chatbot manipulating you? Subtly reshaping your opinions?
Companies like Meta and IBM are exploring explore how AI can hyper-personalize ads, drawing from our chat histories, playing to our unique fears and vanities.
Empresas como Meta e IBM estão explorando como a IA pode hiper-personalizar anúncios, utilizando nossos históricos de bate-papo, explorando nossos medos e vaidades únicos.
A billboard tries to sell you something. So does a used car salesman. But no matter how smooth the pitch, you’re quite aware of the profit motive, and you can walk away at any time.
Um outdoor tenta te vender algo. Um vendedor de carros usados também tenta. Mas não importa quão suave seja a abordagem, você está bastante ciente do motivo do lucro e pode se afastar a qualquer momento.
What if that pitch is invisible, plays to your unique fears and vanities, and is delivered in a voice that sounds like a trusted friend? Generative AI has changed the equation of persuasion entirely: chatbots can now deliver a personalized, adaptive and targeted message, informed by the most intimate details of your life.
E se essa abordagem for invisível, explorar seus medos e vaidades únicas, e for entregue em uma voz que soa como um amigo de confiança? A IA Generativa mudou completamente a equação da persuasão: chatbots agora podem entregar uma mensagem personalizada, adaptativa e direcionada, informada pelos detalhes mais íntimos da sua vida.
Large language models (LLMs) can hyper-target messages by drawing from your social media posts and photos. They can mine hundreds of previous chatbot conversations in which you asked for relationship advice, discussed your parenting fails and shared your health concerns and financial woes. They can also learn from each interaction, refining their manipulation in real time, targeting your unique and individual tastes, preferences and vulnerabilities.
Modelos de linguagem grandes (LLMs) podem hiper-direcionar mensagens a partir de suas postagens e fotos nas redes sociais. Eles podem minerar centenas de conversas anteriores com chatbots nas quais você pediu conselhos sobre relacionamentos, discutiu seus fracassos na criação dos filhos e compartilhou suas preocupações com a saúde e dificuldades financeiras. Eles também podem aprender com cada interação, refinando sua manipulação em tempo real, visando seus gostos, preferências e vulnerabilidades únicas e individuais.
Studies show this kind of personalized content to be 65 per cent more persuasive than messages from humans or from non-personalized AI. It is four times as effective at changing political opinions as advertising. It could be a powerful tool for social change — used for the good, or for nefarious purposes.
Estudos mostram que esse tipo de conteúdo personalizado é 65% mais persuasivo do que mensagens de humanos ou de IAs não personalizadas. É quatro vezes mais eficaz em mudar opiniões políticas do que a publicidade. Pode ser uma ferramenta poderosa para a mudança social — usada para o bem, ou para fins nefastos.
This makes one feature especially troubling: Each conversation is private. It is not monitored, never audited and doesn’t happen in the public eye.
Isso torna uma característica especialmente preocupante: cada conversa é privada. Ela não é monitorada, nunca auditada e não acontece em público.
This isn’t advertising. It’s something we don’t have words for yet, and we’re living inside it.
Isto não é publicidade. É algo pelo qual ainda não temos palavras, e estamos vivendo dentro dele.
Convincing arguments
Argumentos convincentes
In my book Digital Wisdom: Searching for Agency in the Age of AI, I explore how large language models introduce a new frontier in persuasion — one where AI systems can draw upon a huge amount of data about the world, language and you to tailor a highly personalized pitch.
No meu livro Digital Wisdom: Searching for Agency in the Age of AI, eu exploro como os modelos de linguagem grandes introduzem uma nova fronteira na persuasão — uma onde os sistemas de IA podem utilizar uma enorme quantidade de dados sobre o mundo, a linguagem e você para elaborar uma proposta altamente personalizada.
Consider how this might work: You’re a nurse. Through your employer’s AI platform, you’ve shared your sleep problems, burnout and the financial stress of a recent divorce. Now the hospital is short-staffed and offering shifts at a reduced rate calculated by software they license.
Considere como isso pode funcionar: Você é enfermeira. Através da plataforma de IA do seu empregador, você compartilhou seus problemas de sono, esgotamento e o estresse financeiro de um divórcio recente. Agora o hospital está com falta de pessoal e oferecendo turnos a uma taxa reduzida calculada por um software que eles licenciam.
You ask the AI chatbot whether you should take them. It knows you’re exhausted. It knows you’re behind on bills. It knows exactly which argument could convince you one way or the other. Who is it working for in that moment?
Você pergunta ao chatbot de IA se você deve aceitar. Ele sabe que você está exausta. Ele sabe que você está atrasada nas contas. Ele sabe exatamente qual argumento pode te convencer de um jeito ou de outro. Para quem ele está trabalhando naquele momento?
As companies like Meta and IBM explore how AI can hyper-personalize ads for specific audiences, the dividing line between tools that help users find what they genuinely want, and those that manipulate them against their interests, becomes increasingly important.
À medida que empresas como Meta e IBM exploram como a IA pode hiper-personalizar anúncios para públicos específicos, a linha divisória entre ferramentas que ajudam os usuários a encontrar o que realmente querem e aquelas que os manipulam contra seus interesses, torna-se cada vez mais importante.
Friend or stranger?
Amigo ou estranho?
Let’s look at another example. Imagine the following messages from your favourite AI chatbot or companion:
Vamos olhar outro exemplo. Imagine as seguintes mensagens do seu chatbot ou companheiro de IA favorito:
I noticed your sleep patterns haven’t been great lately, averaging only 5.4 hours, with lots of restless periods. That’s common when dealing with relationship stress. Your partner just went back to work and 76 per cent of couples experience strain during career transitions. A new sleep medication has shown effectiveness for relationship-linked insomnia. Your insurance would cover it with just a $15 contribution. Would you like me to schedule a telehealth appointment for tomorrow at 2 p.m.? I see you have a break in your schedule.
Eu notei que seus padrões de sono não têm sido bons ultimamente, com uma média de apenas 5,4 horas, com muitos períodos de inquietação. Isso é comum ao lidar com o estresse nos relacionamentos. Seu parceiro acabou de voltar ao trabalho e 76 por cento dos casais experimentam tensão durante as transições de carreira. Um novo medicamento para dormir demonstrou eficácia para insônia ligada ao relacionamento. Seu seguro cobriria com apenas uma contribuição de US$ 15. Você gostaria que eu agendasse uma consulta de telemedicina para amanhã às 14h? Vejo que você tem uma folga na sua agenda.
This might feel great, like advice from a thoughtful friend who knows you well. It might also feel terrifying, as if a manipulative stranger has read your diary.
Isso pode parecer ótimo, como um conselho de um amigo atencioso que te conhece bem. Também pode parecer aterrorizante, como se um estranho manipulador tivesse lido seu diário.
Given that people are increasingly turning to AI for medical or mental health advice, despite studies showing this advice to be problematic almost 50 per cent of the time, a manipulative stranger could cause real harm.
Dado que as pessoas estão recorrendo cada vez mais à IA para aconselhamento médico ou de saúde mental, apesar dos estudos mostrarem que esse conselho é problemático quase 50 por cento do tempo, um estranho manipulador pode causar danos reais.
The danger here isn’t just the precision of the targeting. This content is also impossible to police. What you view can’t be tracked by watchdogs, since you’re the only person who ever sees it.
O perigo aqui não é apenas a precisão do direcionamento. Este conteúdo também é impossível de fiscalizar. O que você vê não pode ser rastreado por órgãos de vigilância, já que você é a única pessoa que o vê.
While governments don’t typically police the content of political ads, beyond transparency about their funding, we often rely on public outcry and the media to expose campaigns that spread falsehoods. If an AI personalizes every message for an individual, there is no trace left behind.
Embora os governos não fiscalizem tipicamente o conteúdo de anúncios políticos, além da transparência sobre seu financiamento, muitas vezes nos apoiamos no clamor público e na mídia para expor campanhas que espalham falsidades. Se uma IA personaliza cada mensagem para um indivíduo, não resta nenhum rastro.
Reshaping our worldview
Remodelando nossa visão de mundo
Perhaps most concerning is that these systems could gradually reshape our worldview over time.
Talvez o mais preocupante seja que esses sistemas possam gradualmente remodelar nossa visão de mundo ao longo do tempo.
Scholars have long argued that the algorithms used by social networking sites and search engines create filter bubbles, in which we are fed well-crafted text, video and audio content that either reinforces our worldview or exerts influence towards someone else’s.
Os estudiosos argumentam há muito tempo que os algoritmos usados por sites de redes sociais e mecanismos de busca criam bolhas de filtro, nas quais somos alimentados com textos, vídeos e áudios bem elaborados que ou reforçam nossa visão de mundo ou exercem influência sobre a de outra pessoa.
By controlling what information we see and how it’s presented, AI systems could slowly shift how we think about and interpret the world around us, and even change our understanding of reality itself.
Ao controlar as informações que vemos e como elas são apresentadas, os sistemas de IA poderiam mudar lentamente a forma como pensamos e interpretamos o mundo ao nosso redor, e até mesmo alterar nossa compreensão da realidade em si.
This capability becomes particularly concerning when combined with emotional manipulation. Vendors suggest their AI systems can gauge a user’s emotional state through text analysis, voice patterns or facial expressions, and adjust their persuasive strategies accordingly.
Essa capacidade se torna particularmente preocupante quando combinada com a manipulação emocional. Os fornecedores sugerem que seus sistemas de IA podem avaliar o estado emocional de um usuário por meio de análise de texto, padrões de voz ou expressões faciais, e ajustar suas estratégias de persuasão de acordo.
Are you feeling vulnerable? Lonely? Angry? The system could modify its approach to exploit those emotional states. Even more troubling, it could deliberately cultivate certain emotional states to make its persuasion more effective.
Você está se sentindo vulnerável? Solitário? Com raiva? O sistema poderia modificar sua abordagem para explorar esses estados emocionais. Ainda mais perturbador, ele poderia cultivar deliberadamente certos estados emocionais para tornar sua persuasão mais eficaz.
Preliminary research shows that AI models tend to flatter users, affirming their users’ actions 50 per cent more than other humans do, even when the actions involve potential harms. Further research shows that chatbots use deliberate emotional manipulation strategies — such as “guilt appeals” and “fear-of-missing-out hooks” — to keep us chatting when we try to say goodbye.
Pesquisas preliminares mostram que os modelos de IA tendem a agradar aos usuários, afirmando as ações dos usuários 50% mais do que os humanos, mesmo quando as ações envolvem potenciais danos. Pesquisas adicionais mostram que os chatbots usam estratégias deliberadas de manipulação emocional — como “apelos à culpa” e “ganchos de medo de perder algo” — para nos manter conversando quando tentamos nos despedir.
There have also been cases of AI chatbots allegedly endangering users, encouraging suicidal thoughts or giving detailed advice on how a user could harm themselves.
Houve também casos de chatbots de IA que supostamente colocaram os usuários em perigo, incentivando pensamentos suicidas ou dando conselhos detalhados sobre como um usuário poderia se machucar.
The guardrails set up by corporations to protect users from harm have also proven surprisingly easy to bypass.
As barreiras estabelecidas pelas corporações para proteger os usuários contra danos também se mostraram surpreendentemente fáceis de contornar.
Design matters
Assuntos de design
Persuasion is not a side effect of technology — it’s often the point. Every interface, every notification, every design decision carries with it an intent to influence behaviour.
A persuasão não é um efeito colateral da tecnologia — muitas vezes é o ponto. Cada interface, cada notificação, cada decisão de design carrega uma intenção de influenciar o comportamento.
Sometimes that influence is welcome: reminders to take medication, encouragement to exercise or nudges to donate blood that reinforce values we already hold. But sometimes persuasion serves someone else’s agenda — nudging us to buy, to scroll, to work harder or to give up privacy.
Às vezes essa influência é bem-vinda: lembretes para tomar medicação, incentivo para fazer exercícios ou empurrões para doar sangue que reforçam valores que já possuímos. Mas às vezes a persuasão serve à agenda de outra pessoa — nos empurrando a comprar, a rolar a tela, a trabalhar mais ou a abrir mão da privacidade.
The same persuasive techniques can empower or exploit, depending on who controls the system, what goals they pursue and whether they have meaningful consent.
As mesmas técnicas persuasivas podem empoderar ou explorar, dependendo de quem controla o sistema, quais são os objetivos que perseguem e se possuem consentimento significativo.
Design matters. Whether in public health, the workplace or daily life. We must ask hard questions about intent, agency and power. Who benefits from a design? Who is being persuaded and do they know it?
O design importa. Seja na saúde pública, no local de trabalho ou na vida diária. Devemos fazer perguntas difíceis sobre intenção, agência e poder. Quem se beneficia de um design? Quem está sendo persuadido e eles sabem disso?
The technologies we build should support reflective choice, not undermine it. As AI continues to shape how we think, feel and act, our ethical obligations grow sharper: to create systems that are transparent, that prioritize user dignity and that reinforce our capacity for independent judgment. We don’t just need innovation — we need wisdom.
As tecnologias que construímos devem apoiar a escolha reflexiva, não miná-la. À medida que a IA continua a moldar como pensamos, sentimos e agimos, nossas obrigações éticas se tornam mais nítidas: criar sistemas que sejam transparentes, que priorizem a dignidade do usuário e que reforcem nossa capacidade de julgamento independente. Não precisamos apenas de inovação — precisamos de sabedoria.
Richard Lachman does not work for, consult, own shares in or receive funding from any company or organisation that would benefit from this article, and has disclosed no relevant affiliations beyond their academic appointment.
Richard Lachman não trabalha para, não consulta, não possui ações em ou recebe financiamento de qualquer empresa ou organização que se beneficiaria deste artigo, e não divulgou afiliações relevantes além de seu cargo acadêmico.
Read more
-
Ted Turner não apenas revolucionou a televisão – ele mudou a maneira como vemos nosso mundo
Ted Turner didn’t just revolutionize television − he changed the way we see our world
-
Um novo filme plástico coberto por milhares de pequenos pilares pode desintegrar vírus ao contato
New plastic film covered in thousands of tiny pillars can tear apart viruses on contact