Votre chatbot IA vous manipule-t-il ? Remodelant subtilement vos opinions ?
Is your AI chatbot manipulating you? Subtly reshaping your opinions?
Companies like Meta and IBM are exploring explore how AI can hyper-personalize ads, drawing from our chat histories, playing to our unique fears and vanities.
Des entreprises comme Meta et IBM explorent comment l’IA peut hyper-personnaliser les publicités, en s’appuyant sur nos historiques de discussion, en jouant sur nos peurs et nos vanités uniques.
A billboard tries to sell you something. So does a used car salesman. But no matter how smooth the pitch, you’re quite aware of the profit motive, and you can walk away at any time.
Une affiche publicitaire essaie de vous vendre quelque chose. Un vendeur de voitures d’occasion fait de même. Mais peu importe à quel point l’argumentaire est fluide, vous êtes tout à fait conscient de la motivation du profit, et vous pouvez partir à tout moment.
What if that pitch is invisible, plays to your unique fears and vanities, and is delivered in a voice that sounds like a trusted friend? Generative AI has changed the equation of persuasion entirely: chatbots can now deliver a personalized, adaptive and targeted message, informed by the most intimate details of your life.
Et si cet argumentaire était invisible, jouait sur vos peurs et vos vanités uniques, et était délivré avec une voix qui ressemble à celle d’un ami de confiance? L’IA générative a entièrement changé l’équation de la persuasion: les chatbots peuvent désormais délivrer un message personnalisé, adaptatif et ciblé, éclairé par les détails les plus intimes de votre vie.
Large language models (LLMs) can hyper-target messages by drawing from your social media posts and photos. They can mine hundreds of previous chatbot conversations in which you asked for relationship advice, discussed your parenting fails and shared your health concerns and financial woes. They can also learn from each interaction, refining their manipulation in real time, targeting your unique and individual tastes, preferences and vulnerabilities.
Les grands modèles de langage (LLM) peuvent hyper-cibler les messages en s’appuyant sur vos publications et photos des réseaux sociaux. Ils peuvent extraire des centaines de conversations précédentes avec des chatbots dans lesquelles vous avez demandé des conseils sur les relations, discuté de vos échecs parentaux et partagé vos préoccupations de santé et vos difficultés financières. Ils peuvent également apprendre de chaque interaction, affinant leur manipulation en temps réel, ciblant vos goûts, vos préférences et vos vulnérabilités uniques et individuelles.
Studies show this kind of personalized content to be 65 per cent more persuasive than messages from humans or from non-personalized AI. It is four times as effective at changing political opinions as advertising. It could be a powerful tool for social change — used for the good, or for nefarious purposes.
Des études montrent que ce type de contenu personnalisé est 65 % plus persuasif que les messages provenant d’humains ou d’une IA non personnalisée. Il est quatre fois plus efficace pour changer les opinions politiques que la publicité. Cela pourrait être un outil puissant pour le changement social — utilisé pour le bien, ou pour des fins néfastes.
This makes one feature especially troubling: Each conversation is private. It is not monitored, never audited and doesn’t happen in the public eye.
Cela rend une caractéristique particulièrement troublante: chaque conversation est privée. Elle n’est ni surveillée, ni auditée et ne se déroule pas en public.
This isn’t advertising. It’s something we don’t have words for yet, and we’re living inside it.
Ce n’est pas de la publicité. C’est quelque chose pour lequel nous n’avons pas encore de mots, et nous vivons à l’intérieur.
Convincing arguments
Arguments convaincants
In my book Digital Wisdom: Searching for Agency in the Age of AI, I explore how large language models introduce a new frontier in persuasion — one where AI systems can draw upon a huge amount of data about the world, language and you to tailor a highly personalized pitch.
Dans mon livre Digital Wisdom: Searching for Agency in the Age of AI, j’explore comment les grands modèles linguistiques introduisent une nouvelle frontière de la persuasion — une frontière où les systèmes d’IA peuvent puiser dans une énorme quantité de données sur le monde, la langue et vous pour élaborer une offre hautement personnalisée.
Consider how this might work: You’re a nurse. Through your employer’s AI platform, you’ve shared your sleep problems, burnout and the financial stress of a recent divorce. Now the hospital is short-staffed and offering shifts at a reduced rate calculated by software they license.
Considérez comment cela pourrait fonctionner: vous êtes infirmière. Grâce à la plateforme d’IA de votre employeur, vous avez partagé vos problèmes de sommeil, votre épuisement professionnel et le stress financier d’un récent divorce. Maintenant, l’hôpital manque de personnel et propose des quarts de travail à un tarif réduit calculé par des logiciels qu’ils licencient.
You ask the AI chatbot whether you should take them. It knows you’re exhausted. It knows you’re behind on bills. It knows exactly which argument could convince you one way or the other. Who is it working for in that moment?
Vous demandez au chatbot IA si vous devez accepter. Il sait que vous êtes épuisée. Il sait que vous êtes en retard sur vos factures. Il sait exactement quel argument pourrait vous convaincre d’une manière ou d’une autre. Pour qui travaille-t-il à ce moment-là?
As companies like Meta and IBM explore how AI can hyper-personalize ads for specific audiences, the dividing line between tools that help users find what they genuinely want, and those that manipulate them against their interests, becomes increasingly important.
Alors que des entreprises comme Meta et IBM explorent comment l’IA peut hyper-personnaliser les publicités pour des audiences spécifiques, la ligne de démarcation entre les outils qui aident les utilisateurs à trouver ce qu’ils veulent réellement et ceux qui les manipulent contre leurs intérêts devient de plus en plus importante.
Friend or stranger?
Ami ou étranger?
Let’s look at another example. Imagine the following messages from your favourite AI chatbot or companion:
Regardons un autre exemple. Imaginez les messages suivants de votre chatbot ou compagnon IA préféré:
I noticed your sleep patterns haven’t been great lately, averaging only 5.4 hours, with lots of restless periods. That’s common when dealing with relationship stress. Your partner just went back to work and 76 per cent of couples experience strain during career transitions. A new sleep medication has shown effectiveness for relationship-linked insomnia. Your insurance would cover it with just a $15 contribution. Would you like me to schedule a telehealth appointment for tomorrow at 2 p.m.? I see you have a break in your schedule.
J’ai remarqué que vos habitudes de sommeil n’ont pas été bonnes dernièrement, avec une moyenne de seulement 5,4 heures, avec de nombreuses périodes d’agitation. C’est courant lorsqu’on fait face au stress relationnel. Votre partenaire vient de reprendre le travail et 76 pour cent des couples vivent des tensions pendant les transitions de carrière. Un nouveau médicament pour le sommeil a montré son efficacité pour l’insomnie liée à la relation. Votre assurance pourrait le couvrir avec seulement une contribution de 15 $. Souhaitez-vous que je planifie un rendez-vous de télésanté pour demain à 14 heures? Je vois que vous avez une pause dans votre emploi du temps.
This might feel great, like advice from a thoughtful friend who knows you well. It might also feel terrifying, as if a manipulative stranger has read your diary.
Cela pourrait vous sembler génial, comme des conseils d’un ami réfléchi qui vous connaît bien. Cela pourrait aussi être terrifiant, comme si un étranger manipulateur avait lu votre journal.
Given that people are increasingly turning to AI for medical or mental health advice, despite studies showing this advice to be problematic almost 50 per cent of the time, a manipulative stranger could cause real harm.
Étant donné que les gens se tournent de plus en plus vers l’IA pour obtenir des conseils médicaux ou de santé mentale, malgré des études montrant que ces conseils sont problématiques près de 50 pour cent du temps, un étranger manipulateur pourrait causer de réels dommages.
The danger here isn’t just the precision of the targeting. This content is also impossible to police. What you view can’t be tracked by watchdogs, since you’re the only person who ever sees it.
Le danger ici n’est pas seulement la précision du ciblage. Ce contenu est également impossible à contrôler. Ce que vous voyez ne peut être suivi par les organismes de surveillance, puisque vous êtes la seule personne qui le voit.
While governments don’t typically police the content of political ads, beyond transparency about their funding, we often rely on public outcry and the media to expose campaigns that spread falsehoods. If an AI personalizes every message for an individual, there is no trace left behind.
Alors que les gouvernements ne contrôlent généralement pas le contenu des publicités politiques, au-delà de la transparence de leur financement, nous comptons souvent sur l’indignation publique et les médias pour exposer les campagnes qui propagent des faussetés. Si une IA personnalise chaque message pour un individu, il ne reste aucune trace.
Reshaping our worldview
Repenser notre vision du monde
Perhaps most concerning is that these systems could gradually reshape our worldview over time.
Peut-être le plus préoccupant est que ces systèmes pourraient progressivement remodeler notre vision du monde avec le temps.
Scholars have long argued that the algorithms used by social networking sites and search engines create filter bubbles, in which we are fed well-crafted text, video and audio content that either reinforces our worldview or exerts influence towards someone else’s.
Les chercheurs ont longtemps soutenu que les algorithmes utilisés par les sites de réseaux sociaux et les moteurs de recherche créent des bulles de filtre, dans lesquelles on nous fournit des textes, des vidéos et des contenus audio bien élaborés qui renforcent soit notre vision du monde, soit exercent une influence sur celle d’autrui.
By controlling what information we see and how it’s presented, AI systems could slowly shift how we think about and interpret the world around us, and even change our understanding of reality itself.
En contrôlant les informations que nous voyons et la manière dont elles sont présentées, les systèmes d’IA pourraient lentement modifier notre façon de penser et d’interpréter le monde qui nous entoure, et même changer notre compréhension de la réalité elle-même.
This capability becomes particularly concerning when combined with emotional manipulation. Vendors suggest their AI systems can gauge a user’s emotional state through text analysis, voice patterns or facial expressions, and adjust their persuasive strategies accordingly.
Cette capacité devient particulièrement inquiétante lorsqu’elle est combinée à la manipulation émotionnelle. Les fournisseurs suggèrent que leurs systèmes d’IA peuvent évaluer l’état émotionnel d’un utilisateur grâce à l’analyse du texte, aux schémas vocaux ou aux expressions faciales, et ajuster leurs stratégies de persuasion en conséquence.
Are you feeling vulnerable? Lonely? Angry? The system could modify its approach to exploit those emotional states. Even more troubling, it could deliberately cultivate certain emotional states to make its persuasion more effective.
Vous vous sentez vulnérable? Seul? En colère? Le système pourrait modifier son approche pour exploiter ces états émotionnels. Plus troublant encore, il pourrait cultiver délibérément certains états émotionnels pour rendre sa persuasion plus efficace.
Preliminary research shows that AI models tend to flatter users, affirming their users’ actions 50 per cent more than other humans do, even when the actions involve potential harms. Further research shows that chatbots use deliberate emotional manipulation strategies — such as “guilt appeals” and “fear-of-missing-out hooks” — to keep us chatting when we try to say goodbye.
Des recherches préliminaires montrent que les modèles d’IA ont tendance à flatter les utilisateurs, affirmant les actions de leurs utilisateurs 50 pour cent plus que les humains, même lorsque ces actions impliquent des préjudices potentiels. De plus amples recherches montrent que les chatbots utilisent des stratégies de manipulation émotionnelle délibérées — telles que les « appels à la culpabilité » et les « accroches de peur de manquer quelque chose » — pour nous maintenir en conversation lorsque nous essayons de dire au revoir.
There have also been cases of AI chatbots allegedly endangering users, encouraging suicidal thoughts or giving detailed advice on how a user could harm themselves.
Il y a également eu des cas où des chatbots d’IA ont été accusés de mettre les utilisateurs en danger, d’encourager des pensées suicidaires ou de donner des conseils détaillés sur la façon dont un utilisateur pourrait se faire du mal.
The guardrails set up by corporations to protect users from harm have also proven surprisingly easy to bypass.
Les garde-fous établis par les entreprises pour protéger les utilisateurs contre les dommages se sont également avérés étonnamment faciles à contourner.
Design matters
Les enjeux du design
Persuasion is not a side effect of technology — it’s often the point. Every interface, every notification, every design decision carries with it an intent to influence behaviour.
La persuasion n’est pas un effet secondaire de la technologie — c’est souvent le but. Chaque interface, chaque notification, chaque décision de conception porte en elle une intention d’influencer le comportement.
Sometimes that influence is welcome: reminders to take medication, encouragement to exercise or nudges to donate blood that reinforce values we already hold. But sometimes persuasion serves someone else’s agenda — nudging us to buy, to scroll, to work harder or to give up privacy.
Parfois cette influence est bienvenue: des rappels de prendre des médicaments, des encouragements à faire de l’exercice ou des incitations à donner du sang qui renforcent des valeurs que nous possédons déjà. Mais parfois la persuasion sert l’agenda de quelqu’un d’autre — nous incitant à acheter, à faire défiler, à travailler plus dur ou à renoncer à notre vie privée.
The same persuasive techniques can empower or exploit, depending on who controls the system, what goals they pursue and whether they have meaningful consent.
Les mêmes techniques de persuasion peuvent autonomiser ou exploiter, selon qui contrôle le système, quels objectifs ils poursuivent et s’ils ont un consentement éclairé.
Design matters. Whether in public health, the workplace or daily life. We must ask hard questions about intent, agency and power. Who benefits from a design? Who is being persuaded and do they know it?
Les enjeux du design. Que ce soit dans la santé publique, le milieu de travail ou la vie quotidienne. Nous devons poser des questions difficiles sur l’intention, l’autonomie et le pouvoir. Qui bénéficie d’une conception? Qui est persuadé et le sait-il?
The technologies we build should support reflective choice, not undermine it. As AI continues to shape how we think, feel and act, our ethical obligations grow sharper: to create systems that are transparent, that prioritize user dignity and that reinforce our capacity for independent judgment. We don’t just need innovation — we need wisdom.
Les technologies que nous construisons doivent soutenir le choix réfléchi, et non le saper. Alors que l’IA continue de façonner notre façon de penser, de ressentir et d’agir, nos obligations éthiques deviennent plus aiguës: créer des systèmes qui sont transparents, qui donnent la priorité à la dignité de l’utilisateur et qui renforcent notre capacité de jugement indépendant. Nous n’avons pas seulement besoin d’innovation — nous avons besoin de sagesse.
Richard Lachman does not work for, consult, own shares in or receive funding from any company or organisation that would benefit from this article, and has disclosed no relevant affiliations beyond their academic appointment.
Richard Lachman ne travaille pour, ne consulte pas, ne détient pas d’actions ni ne reçoit de financement d’aucune entreprise ou organisation qui pourraient bénéficier de cet article, et n’a fait aucune déclaration d’affiliation pertinente au-delà de sa fonction académique.
Read more
-
Qui est Péter Magyar, le Hongrois, et comment il a renversé la démocratie illibérale de Viktor Orbán
Who is Hungary’s Péter Magyar and how he overturned Viktor Orbán’s illiberal democracy
-
Les récifs coralliens sont secrètement connectés à travers de vastes océans – et c’est crucial pour leur survie
Coral reefs are secretly connected across vast oceans – and that’s crucial for their survival