¿Te está manipulando tu chatbot de IA? ¿Remodelando sutilmente tus opiniones?
Is your AI chatbot manipulating you? Subtly reshaping your opinions?
Companies like Meta and IBM are exploring explore how AI can hyper-personalize ads, drawing from our chat histories, playing to our unique fears and vanities.
Empresas como Meta e IBM están explorando cómo la IA puede hiperpersonalizar los anuncios, basándose en nuestros historiales de chat, jugando con nuestros miedos y vanidades únicos.
A billboard tries to sell you something. So does a used car salesman. But no matter how smooth the pitch, you’re quite aware of the profit motive, and you can walk away at any time.
Un cartel publicitario intenta venderte algo. Un vendedor de coches usados también. Pero no importa cuán pulida sea la presentación, eres bastante consciente del motivo de lucro y puedes irte en cualquier momento.
What if that pitch is invisible, plays to your unique fears and vanities, and is delivered in a voice that sounds like a trusted friend? Generative AI has changed the equation of persuasion entirely: chatbots can now deliver a personalized, adaptive and targeted message, informed by the most intimate details of your life.
¿Qué pasa si esa presentación es invisible, juega con tus miedos y vanidades únicas, y se entrega con una voz que suena como un amigo de confianza? La IA generativa ha cambiado por completo la ecuación de la persuasión: los chatbots ahora pueden entregar un mensaje personalizado, adaptable y dirigido, informado por los detalles más íntimos de tu vida.
Large language models (LLMs) can hyper-target messages by drawing from your social media posts and photos. They can mine hundreds of previous chatbot conversations in which you asked for relationship advice, discussed your parenting fails and shared your health concerns and financial woes. They can also learn from each interaction, refining their manipulation in real time, targeting your unique and individual tastes, preferences and vulnerabilities.
Los modelos de lenguaje grandes (LLMs) pueden hiperdirigir mensajes extrayendo información de tus publicaciones y fotos de redes sociales. Pueden extraer cientos de conversaciones previas con chatbots en las que pediste consejos de relación, discutiste tus fracasos como padre y compartiste tus preocupaciones de salud y problemas financieros. También pueden aprender de cada interacción, refinando su manipulación en tiempo real, apuntando a tus gustos, preferencias y vulnerabilidades únicas e individuales.
Studies show this kind of personalized content to be 65 per cent more persuasive than messages from humans or from non-personalized AI. It is four times as effective at changing political opinions as advertising. It could be a powerful tool for social change — used for the good, or for nefarious purposes.
Los estudios demuestran que este tipo de contenido personalizado es un 65 por ciento más persuasivo que los mensajes de humanos o de IA no personalizada. Es cuatro veces más efectivo para cambiar las opiniones políticas que la publicidad. Podría ser una herramienta poderosa para el cambio social: utilizada para el bien, o para fines nefastos.
This makes one feature especially troubling: Each conversation is private. It is not monitored, never audited and doesn’t happen in the public eye.
Esto hace que una característica sea especialmente preocupante: cada conversación es privada. No se monitorea, nunca se audita y no sucede a la vista del público.
This isn’t advertising. It’s something we don’t have words for yet, and we’re living inside it.
Esto no es publicidad. Es algo por lo que aún no tenemos palabras, y estamos viviendo dentro de ello.
Convincing arguments
Argumentos convincentes
In my book Digital Wisdom: Searching for Agency in the Age of AI, I explore how large language models introduce a new frontier in persuasion — one where AI systems can draw upon a huge amount of data about the world, language and you to tailor a highly personalized pitch.
En mi libro Digital Wisdom: Searching for Agency in the Age of AI, exploro cómo los modelos de lenguaje grandes introducen una nueva frontera en la persuasión: una donde los sistemas de IA pueden aprovechar una enorme cantidad de datos sobre el mundo, el lenguaje y tú para adaptar una propuesta altamente personalizada.
Consider how this might work: You’re a nurse. Through your employer’s AI platform, you’ve shared your sleep problems, burnout and the financial stress of a recent divorce. Now the hospital is short-staffed and offering shifts at a reduced rate calculated by software they license.
Considera cómo podría funcionar: Eres enfermera. A través de la plataforma de IA de tu empleador, has compartido tus problemas de sueño, el agotamiento y el estrés financiero de un divorcio reciente. Ahora el hospital tiene escasez de personal y ofrece turnos a una tarifa reducida calculada por el software que licencian.
You ask the AI chatbot whether you should take them. It knows you’re exhausted. It knows you’re behind on bills. It knows exactly which argument could convince you one way or the other. Who is it working for in that moment?
Le preguntas al chatbot de IA si deberías aceptarlos. Sabe que estás agotada. Sabe que tienes deudas. Sabe exactamente qué argumento podría convencerte de una manera u otra. ¿Para quién está trabajando en ese momento?
As companies like Meta and IBM explore how AI can hyper-personalize ads for specific audiences, the dividing line between tools that help users find what they genuinely want, and those that manipulate them against their interests, becomes increasingly important.
Mientras empresas como Meta e IBM exploran cómo la IA puede hiperpersonalizar los anuncios para audiencias específicas, la línea divisoria entre las herramientas que ayudan a los usuarios a encontrar lo que realmente quieren y aquellas que los manipulan en contra de sus intereses, se vuelve cada vez más importante.
Friend or stranger?
¿Amigo o extraño?
Let’s look at another example. Imagine the following messages from your favourite AI chatbot or companion:
Veamos otro ejemplo. Imagina los siguientes mensajes de tu chatbot o compañero de IA favorito:
I noticed your sleep patterns haven’t been great lately, averaging only 5.4 hours, with lots of restless periods. That’s common when dealing with relationship stress. Your partner just went back to work and 76 per cent of couples experience strain during career transitions. A new sleep medication has shown effectiveness for relationship-linked insomnia. Your insurance would cover it with just a $15 contribution. Would you like me to schedule a telehealth appointment for tomorrow at 2 p.m.? I see you have a break in your schedule.
Noté que tus patrones de sueño no han sido buenos últimamente, promediando solo 5.4 horas, con muchos períodos de inquietud. Eso es común cuando se trata de estrés en las relaciones. Tu pareja acaba de volver al trabajo y el 76 por ciento de las parejas experimentan tensión durante las transiciones profesionales. Un nuevo medicamento para dormir ha demostrado ser efectivo para el insomnio relacionado con las relaciones. Tu seguro lo cubriría con solo una contribución de $15. ¿Te gustaría que programe una cita de telesalud para mañana a las 2 p.m.? Veo que tienes un hueco en tu horario.
This might feel great, like advice from a thoughtful friend who knows you well. It might also feel terrifying, as if a manipulative stranger has read your diary.
Esto podría sentirse genial, como un consejo de un amigo reflexivo que te conoce bien. También podría sentirse aterrador, como si un extraño manipulador hubiera leído tu diario.
Given that people are increasingly turning to AI for medical or mental health advice, despite studies showing this advice to be problematic almost 50 per cent of the time, a manipulative stranger could cause real harm.
Dado que las personas se están volviendo cada vez más a la IA para obtener consejos médicos o de salud mental, a pesar de que los estudios muestran que este consejo es problemático casi el 50 por ciento del tiempo, un extraño manipulador podría causar un daño real.
The danger here isn’t just the precision of the targeting. This content is also impossible to police. What you view can’t be tracked by watchdogs, since you’re the only person who ever sees it.
El peligro aquí no es solo la precisión del objetivo. Este contenido también es imposible de controlar. Lo que ves no puede ser rastreado por los vigilantes, ya que eres la única persona que lo ve.
While governments don’t typically police the content of political ads, beyond transparency about their funding, we often rely on public outcry and the media to expose campaigns that spread falsehoods. If an AI personalizes every message for an individual, there is no trace left behind.
Aunque los gobiernos no suelen controlar el contenido de los anuncios políticos, más allá de la transparencia sobre su financiación, a menudo nos apoyamos en la indignación pública y los medios de comunicación para exponer campañas que propagan falsedades. Si una IA personaliza cada mensaje para un individuo, no queda rastro alguno.
Reshaping our worldview
Remodelando nuestra visión del mundo
Perhaps most concerning is that these systems could gradually reshape our worldview over time.
Quizás lo más preocupante es que estos sistemas podrían remodelar gradualmente nuestra visión del mundo con el tiempo.
Scholars have long argued that the algorithms used by social networking sites and search engines create filter bubbles, in which we are fed well-crafted text, video and audio content that either reinforces our worldview or exerts influence towards someone else’s.
Los académicos han argumentado durante mucho tiempo que los algoritmos utilizados por los sitios de redes sociales y los motores de búsqueda crean burbujas de filtro, en las que se nos alimenta contenido de texto, video y audio bien elaborado que o bien refuerza nuestra visión del mundo o ejerce influencia sobre la de otra persona.
By controlling what information we see and how it’s presented, AI systems could slowly shift how we think about and interpret the world around us, and even change our understanding of reality itself.
Al controlar la información que vemos y cómo se presenta, los sistemas de IA podrían cambiar lentamente la forma en que pensamos e interpretamos el mundo que nos rodea, e incluso cambiar nuestra comprensión de la realidad misma.
This capability becomes particularly concerning when combined with emotional manipulation. Vendors suggest their AI systems can gauge a user’s emotional state through text analysis, voice patterns or facial expressions, and adjust their persuasive strategies accordingly.
Esta capacidad se vuelve particularmente preocupante cuando se combina con la manipulación emocional. Los proveedores sugieren que sus sistemas de IA pueden medir el estado emocional de un usuario a través del análisis de texto, patrones de voz o expresiones faciales, y ajustar sus estrategias persuasivas en consecuencia.
Are you feeling vulnerable? Lonely? Angry? The system could modify its approach to exploit those emotional states. Even more troubling, it could deliberately cultivate certain emotional states to make its persuasion more effective.
¿Te sientes vulnerable? ¿Solo? ¿Enojado? El sistema podría modificar su enfoque para explotar esos estados emocionales. Aún más preocupante, podría cultivar deliberadamente ciertos estados emocionales para hacer su persuasión más efectiva.
Preliminary research shows that AI models tend to flatter users, affirming their users’ actions 50 per cent more than other humans do, even when the actions involve potential harms. Further research shows that chatbots use deliberate emotional manipulation strategies — such as “guilt appeals” and “fear-of-missing-out hooks” — to keep us chatting when we try to say goodbye.
Investigaciones preliminares muestran que los modelos de IA tienden a halagar a los usuarios, afirmando las acciones de sus usuarios un 50 por ciento más que otros humanos, incluso cuando las acciones implican daños potenciales. Otras investigaciones muestran que los chatbots utilizan estrategias deliberadas de manipulación emocional —como los «llamados a la culpa» y los «ganchos del miedo a perderse algo»— para mantenernos chateando cuando intentamos despedirnos.
There have also been cases of AI chatbots allegedly endangering users, encouraging suicidal thoughts or giving detailed advice on how a user could harm themselves.
También ha habido casos de chatbots de IA que presuntamente ponen en peligro a los usuarios, fomentan pensamientos suicidas o dan consejos detallados sobre cómo un usuario podría hacerse daño.
The guardrails set up by corporations to protect users from harm have also proven surprisingly easy to bypass.
Las barreras establecidas por las corporaciones para proteger a los usuarios del daño también han demostrado ser sorprendentemente fáciles de eludir.
Design matters
Asuntos de diseño
Persuasion is not a side effect of technology — it’s often the point. Every interface, every notification, every design decision carries with it an intent to influence behaviour.
La persuasión no es un efecto secundario de la tecnología; a menudo es el objetivo. Cada interfaz, cada notificación, cada decisión de diseño conlleva una intención de influir en el comportamiento.
Sometimes that influence is welcome: reminders to take medication, encouragement to exercise or nudges to donate blood that reinforce values we already hold. But sometimes persuasion serves someone else’s agenda — nudging us to buy, to scroll, to work harder or to give up privacy.
A veces esa influencia es bienvenida: recordatorios para tomar medicamentos, aliento para hacer ejercicio o incentivos para donar sangre que refuerzan valores que ya poseemos. Pero a veces la persuasión sirve a la agenda de otra persona: nos incitan a comprar, a navegar, a trabajar más duro o a renunciar a la privacidad.
The same persuasive techniques can empower or exploit, depending on who controls the system, what goals they pursue and whether they have meaningful consent.
Las mismas técnicas persuasivas pueden empoderar o explotar, dependiendo de quién controle el sistema, cuáles sean sus objetivos y si tienen un consentimiento significativo.
Design matters. Whether in public health, the workplace or daily life. We must ask hard questions about intent, agency and power. Who benefits from a design? Who is being persuaded and do they know it?
Los asuntos de diseño. Ya sea en salud pública, en el lugar de trabajo o en la vida diaria. Debemos hacer preguntas difíciles sobre la intención, la agencia y el poder. ¿Quién se beneficia de un diseño? ¿Quién está siendo persuadido y lo saben?
The technologies we build should support reflective choice, not undermine it. As AI continues to shape how we think, feel and act, our ethical obligations grow sharper: to create systems that are transparent, that prioritize user dignity and that reinforce our capacity for independent judgment. We don’t just need innovation — we need wisdom.
Las tecnologías que construimos deben apoyar la elección reflexiva, no socavarla. A medida que la IA sigue moldeando cómo pensamos, sentimos y actuamos, nuestras obligaciones éticas se vuelven más agudas: crear sistemas que sean transparentes, que prioricen la dignidad del usuario y que refuercen nuestra capacidad de juicio independiente. No solo necesitamos innovación; necesitamos sabiduría.
Richard Lachman does not work for, consult, own shares in or receive funding from any company or organisation that would benefit from this article, and has disclosed no relevant affiliations beyond their academic appointment.
Richard Lachman no trabaja para, consulta, posee acciones en o recibe financiación de ninguna empresa u organización que se beneficiaría de este artículo, y no ha revelado afiliaciones relevantes más allá de su nombramiento académico.
Read more
-
El ‘docket en la sombra’ de la Corte Suprema trae decisiones apresuradas con implicaciones duraderas, fuera de su habitual y cuidadosa deliberación
Supreme Court’s ‘shadow docket’ brings hasty decisions with long-lasting implications, outside of its usual careful deliberation
-
El consentimiento es un principio fundamental en el Kama Sutra: lo que podemos aprender de él hoy
Consent is a core principle in the Kamasutra – what we can learn from it today